FLAME: 스프레드시트 수식을 위한 소형 언어 모델

대규모 언어 모델은 Excel 수식 작성 지원을 위한 학습 및 배포 비용이 많이 듭니다. 본 논문에서는 Excel 수식으로만 학습된 Transformer 기반 모델인 FLAME을 소개합니다. 단 6천만 개의 매개변수와 대규모 모델의 극히 일부인 학습 데이터만으로도 FLAME은 Codex 및 CodeT5와 같은 모델과 비교하여 수식 수정, 완성, 검색 작업에서 경쟁력 있는 성능 또는 그 이상을 달성합니다. 이는 새로운 사전 학습 목표와 Excel 전용 토크나이저 덕분입니다.