محول بايت الكامن (BLT) من ميتا: يتفوق على نماذج اللغات الكبيرة القائمة على الرموز
2024-12-14
قدم باحثو ميتا للذكاء الاصطناعي محول بايت الكامن (BLT) ، وهو بنية جديدة لنماذج اللغات الكبيرة تعالج البايتات مباشرةً بدلاً من الرموز. يقوم BLT بتخصيص الموارد الحسابية ديناميكيًا بناءً على إنتروبيا البايتات ، مما يؤدي إلى تحسينات كبيرة في كفاءة الاستنتاج وقدرته على تحمل الأخطاء مقارنةً بنماذج اللغات الكبيرة القائمة على الرموز. تُظهر تجارب التوسع التي تصل إلى 8 مليارات معلمة و 4 تيرابايت من بيانات التدريب قدرة BLT على مطابقة أداء نماذج اللغات الكبيرة القائمة على الرموز مع توفير قدرات استنتاج محسّنة ومعالجة بيانات الذيل الطويل. تُظهر هذه الأبحاث إمكانية تدريب نماذج واسعة النطاق مباشرةً على البايتات الخام دون قاموس ثابت.