Limites des LLMs : L'énigme d'Einstein révèle les limites de l'IA basée sur les transformateurs
2025-02-02
Des chercheurs ont découvert des limitations fondamentales dans la capacité des modèles linguistiques de grande taille (LLM) actuels basés sur les transformateurs à résoudre des tâches de raisonnement compositionnel. Des expériences impliquant l'énigme logique d'Einstein et la multiplication à plusieurs chiffres ont révélé des lacunes importantes, même après un réglage fin étendu. Ces résultats remettent en question l'adéquation de l'architecture des transformateurs pour l'apprentissage universel et incitent à des recherches sur des approches alternatives, telles que des données d'entraînement améliorées et des invites de raisonnement en chaîne, pour améliorer les capacités de raisonnement des LLM.