SmolLM3: Ein kleiner, multilingualer, langkontextueller Reasoner

SmolLM3 ist ein vollständig quelloffenes, multilingualer Sprachmodell mit 3 Milliarden Parametern, das eine überzeugende Balance zwischen Effizienz und Leistung bietet. Es übertrifft Llama-3.2-3B und Qwen2.5-3B in verschiedenen Benchmarks und konkurriert sogar mit größeren 4-Milliarden-Parameter-Modellen. Es unterstützt 6 Sprachen und verfügt über eine Kontextlänge von bis zu 128.000 Tokens sowie eine einzigartige Dual-Mode-Reasoning-Fähigkeit (think/no_think). Über das Modell hinaus veröffentlichen die Forscher den vollständigen Engineering-Blueprint, einschließlich Architekturdetails, Datenmischungen und Trainingsmethodik – eine wertvolle Ressource für alle, die Modelle in dieser Größenordnung bauen oder untersuchen.