SmolLM3 : Un petit raisonneur multilingue à long contexte

SmolLM3 est un modèle linguistique multilingue open source de 3 milliards de paramètres qui offre un équilibre remarquable entre efficacité et performances. Surpassant Llama-3.2-3B et Qwen2.5-3B sur plusieurs benchmarks, il rivalise même avec des modèles plus grands de 4 milliards de paramètres. Prenant en charge 6 langues et disposant d'une longueur de contexte allant jusqu'à 128 000 tokens, SmolLM3 possède une capacité unique de raisonnement bimodal (think/no_think). Au-delà du modèle lui-même, les chercheurs publient le plan d'ingénierie complet, incluant les détails d'architecture, les mélanges de données et la méthodologie d'entraînement, une ressource précieuse pour quiconque construit ou étudie des modèles à cette échelle.