Modelos de Conceito Grandes do Facebook: Modelagem de Linguagem no Espaço de Representação de Frases

A pesquisa do Facebook apresenta os Modelos de Conceito Grandes (LCMs), uma nova abordagem para modelagem de linguagem que opera em um espaço de representação de frases. Usando o espaço de incorporação SONAR, os LCMs suportam até 200 idiomas de texto e 57 idiomas de fala. Tratando frases como 'conceitos', os LCMs empregam um modelo sequência-a-sequência para previsão de frases autorregressiva. O projeto fornece receitas para treinar e ajustar modelos de 1,6B de parâmetros, explorando regressão MSE e geração baseada em difusão.