FLAME：スプレッドシート数式の小型言語モデル

大規模言語モデルは、Excel数式作成支援のためのトレーニングと展開に高コストがかかります。本論文では、Excel数式のみでトレーニングされたTransformerベースのモデルであるFLAMEを紹介します。わずか6000万パラメーターと、大規模モデルのほんの一部であるトレーニングデータで、FLAMEはCodexやCodeT5などのモデルと比較して、数式の修復、補完、検索タスクにおいて競争力のある、あるいはそれ以上の性能を実現します。これは、新規の事前トレーニング目標とExcel固有のトークナイザーによるものです。