أصل نماذج اللغات الكبيرة: ULMFit أم GPT-1؟

تتناول هذه المقالة لغز أصل نماذج اللغات الكبيرة (LLMs). يستعرض الكاتب تطور نماذج اللغات من ULMFit إلى GPT-1، ويقدم تحليلاً مفصلاً لتعريف LLM. ويزعم أن ULMFit قد يكون أول نموذج LLM، لأنه يستوفي معايير أساسية مثل التدريب الذاتي الخاضع للإشراف، والتنبؤ بالكلمة التالية، والتكيف بسهولة مع العديد من المهام النصية. وعلى الرغم من شهرة GPT-1 بفضل بنيته Transformer، إلا أن مساهمة ULMFit لا يمكن تجاهلها. كما يستكشف المقال اتجاهات تطوير نماذج LLM المستقبلية، متوقعاً استمرار استخدام مصطلح "LLM"، وتطوره مع تطور قدرات النموذج، ليشمل معالجة الوسائط المتعددة.