أبيرتوس: نموذج لغوي كبير متعدد اللغات مفتوح المصدر بالكامل

أبيرتوس هو نموذج لغوي كبير (LLM) متعدد اللغات مفتوح المصدر بالكامل، مع 70 مليار و 8 مليارات معلمة، يدعم أكثر من 1000 لغة وسياقًا طويلًا. تم تدريبه على 15 تريليون رمز من بيانات مفتوحة المصدر ومتوافقة تمامًا، ويحقق أداءً مماثلاً لأنماط المصدر المغلق. يستخدم أبيرتوس دالة تنشيط xIELU الجديدة ومحسن AdEMAMix، ويمر بتحسين دقيق تحت الإشراف ومحاذاة QRPO. الأوزان والبيانات وتفاصيل التدريب متاحة للجمهور، مع احترام موافقة أصحاب البيانات على عدم المشاركة وتجنب حفظ بيانات التدريب. تم دمج أبيرتوس في مكتبة transformers، ويدعم طرق نشر متعددة. على الرغم من قوته، يجب على المستخدمين أن يكونوا على دراية باحتمالية عدم الدقة والتحيزات في مخرجاته.