نماذج المفاهيم الكبيرة من فيسبوك: نمذجة اللغة في فضاء تمثيل الجمل

يكشف بحث فيسبوك عن نماذج المفاهيم الكبيرة (LCMs)، وهو نهج جديد لنمذجة اللغة يعمل في فضاء تمثيل الجمل. باستخدام فضاء تضمين SONAR، تدعم LCMs ما يصل إلى 200 لغة نصية و 57 لغة كلامية. بمعاملة الجمل كـ "مفاهيم"، تستخدم LCMs نموذج تسلسل-إلى-تسلسل للتنبؤ بالجمل ذاتية التكرار. يوفر المشروع وصفات لتدريب وضبط نماذج ذات 1.6 مليار معلمة، واستكشاف انحدار MSE وتوليد قائم على الانتشار.