페이스북의 대규모 개념 모델: 문장 표현 공간에서의 언어 모델링

페이스북 연구팀은 문장 표현 공간에서 작동하는 새로운 언어 모델링 방식인 대규모 개념 모델(LCM)을 발표했습니다. SONAR 임베딩 공간을 사용하여 LCM은 최대 200개의 텍스트 언어와 57개의 음성 언어를 지원합니다. 문장을 '개념'으로 취급하여 LCM은 자기 회귀 문장 예측을 위해 시퀀스 투 시퀀스 모델을 사용합니다. 이 프로젝트는 16억 매개변수 모델의 학습 및 미세 조정을 위한 레시피를 제공하며, MSE 회귀와 확산 기반 생성을 탐색합니다.