MiMo-7B : Un modèle de langage de 7 milliards de paramètres pour le raisonnement surpasse les modèles de 32 milliards de paramètres

Xiaomi présente MiMo-7B, un modèle linguistique de 7 milliards de paramètres conçu pour le raisonnement. Grâce à des données et des stratégies de pré-entraînement optimisées, ainsi qu'à des techniques innovantes d'apprentissage par renforcement, MiMo-7B démontre des performances exceptionnelles sur les tâches de raisonnement mathématique et de codage, surpassant même les modèles de 32 milliards de paramètres plus importants. Le modèle open source inclut des points de contrôle pour le modèle de base, le modèle SFT et les modèles entraînés par RL, offrant des ressources précieuses pour le développement de LLM de raisonnement puissants.