الحجم المتزايد باستمرار لنماذج اللغات الكبيرة
2025-07-02
تتبع هذه المقالة تطور حجم نماذج اللغات الكبيرة (LLM). من 1.61 مليار معلمة لـ GPT-2 إلى تريليوني معلمة لـ Llama-4، نما حجم النموذج بشكل أُسي. تُفصّل المقالة عدد المعلمات، وأحجام بيانات التدريب، وميزات العمارة للنماذج الرئيسية، بما في ذلك النماذج الكثيفة ونماذج خليط الخبراء (MoE). وقد مكّن ظهور عمارة MoE من تدريب نماذج أكبر حجمًا واستخدامها. ومع ذلك، فقد أحدث النمو في حجم النموذج تحديات جديدة، مثل التحيز في البيانات وقابلية تفسير النموذج. تستنتج المقالة باستكشاف الاتجاهات المستقبلية لتطوير LLM، وتدعو إلى مزيد من البحث للتركيز على تطوير محركات استمرار النصوص النقية، بدلاً من مجرد السعي لتحقيق درجات عالية في اختبارات المقارنة المعيارية.