تشريح مُحوِّل مُبَسَّط: الكشف عن آلية عمل نماذج اللغات الكبيرة باستخدام 10000 معلمة
2025-09-04
تُقدّم هذه الورقة نموذج مُحوِّل مُبَسَّط بشكل جذري مع ما يقارب 10000 معلمة فقط، مما يوفر نظرة واضحة على آلية عمل نماذج اللغات الكبيرة (LLMs). باستخدام مجموعة بيانات مُصغّرة تركز على العلاقات بين الفواكه والأذواق، يحقق المؤلفون أداءً قويًا بشكل مُفاجئ. تُظهر المُشاهَدات البصرية كيفية عمل مُدخَلات الكلمات وآلية الانتباه. والأهم من ذلك، يُعمّم النموذج بما يتجاوز الحفظ، مُتوقعًا بشكل صحيح "الفلفل الحار" عند مُطالبته بـ "أُحب الحار لذا أُحب"، مُبيِّنًا المبادئ الأساسية لعمل LLMs بطريقة مُيسّرة للغاية.
الذكاء الاصطناعي
نموذج المُحوِّل