小型语言模型FLAME：Excel公式的革新

大型语言模型在Excel公式辅助方面应用受限，因为其训练成本高昂且模型庞大。论文介绍了FLAME，一个基于Transformer的轻量级模型，专门用于Excel公式。FLAME仅用6000万参数，训练数据量是大型模型的百分之一，却在公式修复、补全和检索任务上取得了与大型模型（如Codex和CodeT5）相当甚至更好的效果，这得益于其独特的预训练目标和Excel专用标记器。