FLAME: Un modelo de lenguaje pequeño para fórmulas de hojas de cálculo

Los modelos de lenguaje grandes son costosos de entrenar e implementar para ayudar en la creación de fórmulas de Excel. Este artículo presenta FLAME, un modelo basado en Transformer entrenado exclusivamente en fórmulas de Excel. Con solo 60 millones de parámetros y una fracción de los datos de entrenamiento utilizados por modelos más grandes, FLAME logra un rendimiento competitivo o incluso superior en tareas de reparación, finalización y recuperación de fórmulas en comparación con modelos como Codex y CodeT5. Esto se atribuye a sus nuevos objetivos de preentrenamiento y tokenizador específico de Excel.