صعود نماذج اللغة الصغيرة: 30 مليار معلمة ولا تزال "صغيرة"
في عام 2018، كان "النموذج الصغير" يعني بضعة ملايين من المعلمات تعمل على جهاز Raspberry Pi. أما اليوم، يُعتبر نموذج يحتوي على 30 مليار معلمة "صغيرًا" — حيث يحتاج إلى وحدة معالجة رسوميات واحدة فقط. لقد تغير التعريف. الآن، يُشدد مصطلح "صغير" على إمكانية النشر بدلاً من الحجم النقي. تنقسم هذه النماذج إلى فئتين: نماذج مُحسّنة للحافة (مثل Phi-3-mini، والتي تعمل على الأجهزة المحمولة) ونماذج متوافقة مع وحدة معالجة الرسوميات (مثل Meta Llama 3 70B، والتي تعمل على وحدة معالجة رسوميات واحدة). تتفوق النماذج الصغيرة في المهام المتخصصة، مما يوفر كفاءة أعلى وسهولة أكبر في الضبط الدقيق. حتى النماذج التي تحتوي على 70 مليار معلمة، بعد التحسين، تعمل بسلاسة على وحدات معالجة الرسوميات الاستهلاكية المتطورة. هذا يُشير إلى وصول عصر النماذج الصغيرة، مما يفتح آفاقًا جديدة للشركات الناشئة والمطورين والشركات.
اقرأ المزيد