Au-delà des perroquets stochastiques : les circuits des grands modèles de langage
Les grands modèles de langage (LLM) ont été qualifiés par certains de simples « perroquets stochastiques », se contentant de mémoriser et de régurgiter des schémas statistiques à partir de leurs données d'entraînement. Cependant, des recherches récentes révèlent une réalité plus nuancée. Les chercheurs ont découvert des « circuits » internes complexes - des algorithmes auto-apprenants qui résolvent des classes de problèmes spécifiques - au sein de ces modèles. Ces circuits permettent la généralisation à des situations non vues, comme la génération de couplets rimés et même la planification proactive de la structure de ces couplets. Bien qu'il existe des limites, ces découvertes remettent en question le récit du « perroquet stochastique » et soulèvent des questions plus profondes sur la nature de l'intelligence du modèle : les LLM peuvent-ils indépendamment générer de nouveaux circuits pour résoudre des problèmes totalement nouveaux ?