Facebook的研究：基于句子表示空间的大型概念模型

Facebook的研究团队发布了大型概念模型（LCM），这是一个在句子表示空间中进行语言建模的模型。LCM使用SONAR嵌入空间，支持多达200种文本语言和57种语音语言，它将句子作为“概念”进行处理，并使用序列到序列模型进行自回归句子预测。该项目提供了训练和微调16亿参数模型的方案，并包含基于均方误差回归和扩散生成的多种方法。