Modelos de Concepto Grandes de Facebook: Modelado del Lenguaje en el Espacio de Representación de Frases

La investigación de Facebook presenta los Modelos de Concepto Grandes (LCM), un nuevo enfoque para el modelado del lenguaje que opera en un espacio de representación de frases. Utilizando el espacio de incrustación SONAR, los LCM admiten hasta 200 idiomas de texto y 57 idiomas de voz. Tratando las frases como 'conceptos', los LCM emplean un modelo de secuencia a secuencia para la predicción autorregresiva de frases. El proyecto proporciona recetas para entrenar y ajustar modelos de 1,6B de parámetros, explorando la regresión MSE y la generación basada en difusión.