COCONUT de Meta AI : Amélioration du raisonnement des LLM avec une chaîne de pensée continue
2024-12-31
Meta AI présente COCONUT (Chaîne de Pensée Continue), une nouvelle méthode pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Contrairement à la méthode Chain-of-Thought (CoT) traditionnelle basée sur le texte, COCONUT permet aux LLM de raisonner dans un espace latent continu, contournant les limitations de l'expression verbale. Les recherches montrent que COCONUT excelle dans les tâches nécessitant une planification complexe, affichant un schéma de raisonnement similaire à la recherche en largeur (BFS). Son processus d'entraînement en plusieurs étapes guide progressivement le modèle pour raisonner dans l'espace latent, améliorant ainsi la précision et l'efficacité.
Lire plus