Facebookの大規模概念モデル：文表現空間における言語モデリング
2025-01-01
Facebook Researchは、文表現空間で動作する言語モデリングへの新しいアプローチである、大規模概念モデル（LCM）を発表しました。SONAR埋め込み空間を利用して、LCMは最大200のテキスト言語と57の音声言語をサポートしています。文を「概念」として扱い、LCMは自己回帰的な文予測のためにシーケンスツーシーケンスモデルを使用します。このプロジェクトは、16億パラメーターのモデルのトレーニングとファインチューニングのためのレシピを提供し、MSE回帰と拡散ベースの生成を検討しています。