FLAME: Ein kleines Sprachmodell für Tabellenkalkulationsformeln
2025-01-22
Große Sprachmodelle sind teuer zu trainieren und bereitzustellen, um bei der Erstellung von Excel-Formeln zu helfen. Dieser Artikel stellt FLAME vor, ein Transformer-basiertes Modell, das ausschließlich mit Excel-Formeln trainiert wurde. Mit nur 60 Millionen Parametern und einem Bruchteil der Trainingsdaten, die von größeren Modellen verwendet werden, erreicht FLAME eine konkurrenzfähige oder sogar überlegene Leistung bei Aufgaben zur Reparatur, Vervollständigung und Abfrage von Formeln im Vergleich zu Modellen wie Codex und CodeT5. Dies ist auf seine neuartigen Pre-Training-Ziele und seinen Excel-spezifischen Tokenizer zurückzuführen.
Entwicklung
Formel