Compression Introspective en Temps Réel : Donner une Conscience aux Transformers

Les grands modèles de langage (LLM) souffrent de deux limitations majeures : le manque d’introspection et la nature éphémère de la cognition. Cet article propose une nouvelle méthode de compression introspective en temps réel qui traite les deux problèmes. Un modèle léger « parasite » est entraîné pour compresser les états internes d’un transformateur, permettant un accès et une relecture efficaces du fonctionnement interne du modèle. La méthode comprime les états du transformateur dans un espace latent de basse dimension, semblable à la sauvegarde d’un état de jeu, surmontant ainsi l’obstacle computationnel du stockage de l’état complet. Cela permet de nouvelles capacités telles que le retour en arrière du raisonnement, l’apprentissage par renforcement sur les trajectoires de pensée et la sauvegarde de points de contrôle efficaces en mémoire, conduisant finalement à des systèmes d’IA plus puissants et interprétables.