FLAME: نموذج لغة صغير لصيغ جداول البيانات
2025-01-22
إن نماذج اللغات الكبيرة مكلفة في التدريب والتشغيل لمساعدة في إنشاء صيغ إكسل. تُقدم هذه الورقة FLAME، وهو نموذج قائم على Transformer تم تدريبه حصريًا على صيغ إكسل. مع 60 مليون معلمة فقط و جزء صغير من بيانات التدريب المستخدمة في النماذج الأكبر، يحقق FLAME أداءً تنافسيًا أو حتى أفضل في مهام إصلاح الصيغ، وإكمالها، واسترجاعها، مقارنةً بنماذج مثل Codex و CodeT5. ويعزى ذلك إلى أهداف التدريب المسبق الجديدة و محلل الرموز المخصص لإكسل.