Facebooks große Konzeptmodelle: Sprachmodellierung im Raum der Satzrepräsentation
2025-01-01
Die Facebook-Forschung stellt große Konzeptmodelle (LCMs) vor, einen neuartigen Ansatz zur Sprachmodellierung, der in einem Raum der Satzrepräsentation arbeitet. Mit dem SONAR-Einbettungsraum unterstützen LCMs bis zu 200 Text- und 57 Sprachsprachen. Sätze werden als „Konzepte“ behandelt, und LCMs verwenden ein Sequenz-zu-Sequenz-Modell für die autoregressive Satzvorhersage. Das Projekt bietet Rezepte zum Trainieren und Feintunen von Modellen mit 1,6 Milliarden Parametern und untersucht MSE-Regression und diffusionsbasierte Generierung.