FLAME: Um modelo de linguagem pequeno para fórmulas de planilhas
2025-01-22
Modelos de linguagem grandes são caros para treinar e implantar para auxiliar na criação de fórmulas do Excel. Este artigo apresenta o FLAME, um modelo baseado em Transformer treinado exclusivamente em fórmulas do Excel. Com apenas 60 milhões de parâmetros e uma fração dos dados de treinamento usados por modelos maiores, o FLAME atinge desempenho competitivo ou até mesmo superior em tarefas de reparo, conclusão e recuperação de fórmulas em comparação com modelos como Codex e CodeT5. Isso é atribuído aos seus novos objetivos de pré-treinamento e tokenizador específico do Excel.
Desenvolvimento
fórmula