FLAME : Un petit modèle linguistique pour les formules de tableur
2025-01-22
Les grands modèles linguistiques sont coûteux à entraîner et à déployer pour aider à la création de formules Excel. Cet article présente FLAME, un modèle basé sur Transformer entraîné exclusivement sur des formules Excel. Avec seulement 60 millions de paramètres et une fraction des données d'entraînement utilisées par les modèles plus grands, FLAME atteint des performances compétitives, voire supérieures, pour les tâches de réparation, de complétion et de recherche de formules, par rapport à des modèles comme Codex et CodeT5. Cela est dû à ses nouveaux objectifs de pré-entraînement et à son tokeniseur spécifique à Excel.