MiMo-7B: Modelo de lenguaje de 7B parámetros para razonamiento supera a modelos de 32B
2025-04-30
Xiaomi presenta MiMo-7B, un modelo de lenguaje de 7 mil millones de parámetros diseñado para el razonamiento. A través de datos y estrategias de preentrenamiento optimizados, junto con técnicas innovadoras de aprendizaje por refuerzo, MiMo-7B demuestra un rendimiento excepcional en tareas de razonamiento matemático y de código, superando incluso a modelos de 32 mil millones de parámetros más grandes. El modelo de código abierto incluye puntos de control para el modelo base, el modelo SFT y los modelos entrenados con RL, ofreciendo recursos valiosos para el desarrollo de LLMs de razonamiento potentes.