Les grands modèles de concepts de Facebook : modélisation du langage dans un espace de représentation de phrases
2025-01-01
La recherche de Facebook présente les grands modèles de concepts (LCM), une nouvelle approche de la modélisation du langage fonctionnant dans un espace de représentation de phrases. Utilisant l'espace d'intégration SONAR, les LCM prennent en charge jusqu'à 200 langues textuelles et 57 langues vocales. Traitant les phrases comme des « concepts », les LCM utilisent un modèle séquence-à-séquence pour la prédiction autorégressive de phrases. Le projet fournit des recettes pour entraîner et affiner des modèles de 1,6 milliard de paramètres, en explorant la régression MSE et la génération basée sur la diffusion.