من الانتباه متعدد الرؤوس إلى الانتباه الكامن: تطور آليات الانتباه

تتناول هذه المقالة تطور آليات الانتباه في معالجة اللغات الطبيعية، من آلية الانتباه متعدد الرؤوس (MHA) الأولية إلى المتغيرات الأكثر تقدمًا مثل آلية الانتباه متعدد الرؤوس الكامن (MHLA). تزن آلية MHA الكلمات المهمة في السياق من خلال حساب متجهات الاستعلام والمفتاح والقيمة؛ ومع ذلك، فإن تعقيدها الحسابي وذاكرتها ينموان بشكل تربيعي مع طول التسلسل. ولمعالجة ذلك، ظهرت نهج جديدة مثل MHLA، والتي تحسّن سرعة الحساب وقابلية التوسع دون التضحية بالأداء - على سبيل المثال، باستخدام ذاكرة التخزين المؤقت KV للحد من الحسابات المتكررة. تشرح المقالة بوضوح المفاهيم الرئيسية، والمزايا، والقيود لهذه الآليات، وتطبيقاتها في نماذج مثل BERT وRoBERTa وDeepseek.