MiMo-7B: نموذج لغوي ضخم ذو 7 مليارات معلمة يفوق نماذج 32 مليار معلمة في مجال الاستدلال

تقدم شاومي MiMo-7B، وهو نموذج لغوي ضخم يتألف من 7 مليارات معلمة، مصمم خصيصًا للاستدلال. من خلال بيانات واستراتيجيات تدريب أولية مُحسّنة، بالإضافة إلى تقنيات مبتكرة في التعلم المعزز، يُظهر MiMo-7B أداءً استثنائيًا في مهام الاستدلال الرياضي وكتابة الأكواد، متجاوزًا حتى النماذج الأكبر حجمًا التي تحتوي على 32 مليار معلمة. النموذج مفتوح المصدر ويتضمن نقاط تفتيش للنموذج الأساسي، ونموذج SFT، والنماذج المدربة بتقنية التعلم المعزز، مما يوفر موارد قيّمة لتطوير نماذج لغة ضخمة تتمتع بقدرات استدلال قوية.