Eng-Pack

‏ترجمه با Self-Attention (چطور زبان جدید را بفهمیم؟) ‏بیایید با یک سؤال کلیدی شروع کنیم: ‏اگر در ترجمه، مدل فقط از Self-Attention استفاده کند، فقط به کلماتِ خودش توجه می‌کند. پس چطور یک جمله‌ انگلیسی را به فارسی تبدیل کند؟ ‏جواب این سؤال، به ۲ معماری متفاوت برمی‌گردد. بیایید قدم‌به‌قدم بررسیشان کنیم: ‏معماری الف) مدل‌های Encoder-Decoder (مثل Transformer اصلی و T5) ‏در این معماری، ماجرا در دو مرحله اتفاق می‌افتد و ترجمه با Self-Attention شروع می‌شود، اما تمام نمی‌شود: ‏Encoder (کدگذار) – درک زبان مبدأ ‏این بخش، جمله‌ انگلیسی را می‌خواند و با کمک Self-Attention، روابط بین کلمات را متوجه می‌شود (مثلاً تشخیص می‌دهد که "bank" به "money" مربوط است یا به "river"). ‏خروجی این مرحله، یک حافظه‌ی غنی از مفهوم جمله‌ انگلیسی است. ‏Decoder (کدگشا) – تولید زبان مقصد ‏این بخش برای تولید فارسی، از دو نوع توجه کمک می‌گیرد: ‏• Masked Self-Attention: به کلمات فارسی‌ای که تا الان تولید کرده توجه می‌کند تا گرامر فارسی را رعایت کند. ‏• Cross-Attention (توجه متقاطع): اینجا دیگر Self-Attention نیست؛ بلکه همان Attention عمومی است. یعنی Query از Decoder (فارسی) می‌آید، اما Key و Value از حافظه‌ی Encoder (انگلیسی) می‌آیند. ‏دقیقاً همین نقطه است که مدل "زبان جدید را می‌فهمد"؛ یعنی می‌پرسد: "برای تولید کلمه‌ فارسی بعدی، به کدام بخش از جمله‌ی انگلیسی باید نگاه کنم؟" ‏معماری ب) مدل‌های Decoder-Only (مثل GPT) ‏مدل‌های بزرگ امروزی مثل GPT، اصلاً Encoder جداگانه‌ای ندارند و تنها با Self-Attention کار می‌کنند. ‏برای ترجمه، کل جمله (انگلیسی + فارسی) را پشت سر هم به عنوان یک دنباله‌ی واحد به مدل می‌دهیم. مثلاً: ‏[انگلیسی: "I am a student"] [جداساز] [فارسی: "من"] ‏حالا مدل با Self-Attention، کلمه‌ی "من" را به تمام توکن‌های قبلی (از جمله کلمات انگلیسی) متصل می‌کند. ‏چون مدل در مرحله‌ی پیش‌آموزش، میلیون‌ها مثال از این جفت‌زبان‌ها دیده، می‌داند که برای تولید کلمه‌ بعدی (مثلاً "دانشجو") باید به کلمه‌ی "student" در بخش انگلیسی توجه کند. ‏نتیجه‌ی نهایی: ‏Self-Attention به تنهایی برای ترجمه کافی نیست؛ یا به Cross-Attention نیاز دارد (معماری کلاسیک Encoder-Decoder)، یا به این نیاز دارد که کل دنباله (ورودی و خروجی) را در یک پنجره‌ی Self-Attention قرار دهیم (معماری GPT).