SmolLM3: Un razonador pequeño, multilingüe y de contexto largo
2025-07-09
SmolLM3 es un modelo de lenguaje multilingüe de código abierto con 3 mil millones de parámetros que logra un equilibrio convincente entre eficiencia y rendimiento. Superando a Llama-3.2-3B y Qwen2.5-3B en varios puntos de referencia, incluso compite con modelos más grandes de 4 mil millones de parámetros. Con soporte para 6 idiomas y una longitud de contexto de hasta 128k tokens, SmolLM3 presenta una capacidad única de razonamiento de modo dual (think/no_think). Más allá del propio modelo, los investigadores están publicando el plan de ingeniería completo, incluyendo detalles de arquitectura, mezclas de datos y metodología de entrenamiento, un recurso valioso para cualquiera que construya o estudie modelos a esta escala.