SmolLM3:小型・多言語・長文脈推論モデル
2025-07-09

SmolLM3は、30億パラメーターの完全にオープンソースの多言語大規模言語モデルであり、効率性と性能のバランスを驚くほど取っています。様々なベンチマークでLlama-3.2-3BやQwen2.5-3Bを上回り、さらに大きな40億パラメーターのモデルとも競争力を持ちます。6言語をサポートし、最大128kトークンのコンテキスト長を誇り、独自のデュアルモード推論機能(think/no_think)を備えています。モデルそのものだけでなく、アーキテクチャの詳細、データの混合方法、トレーニング方法を含む完全なエンジニアリング設計図も公開されており、この規模のモデルを構築または研究する上で貴重なリソースとなります。
AI
長文脈