Boucle de rêverie des LLM : le prix de l’innovation révolutionnaire ?

Malgré leurs capacités impressionnantes, les grands modèles de langage (LLM) n’ont pas encore produit d’innovation véritablement révolutionnaire. L’auteur propose que cela est dû à l’absence d’un mécanisme de traitement en arrière-plan semblable au réseau en mode par défaut du cerveau humain. Pour y remédier, il suggère une « boucle de rêverie » (DDL) : un processus en arrière-plan qui échantillonne continuellement des paires de concepts à partir de la mémoire, explore les liens non évidents et filtre les idées précieuses, créant ainsi une boucle de rétroaction composée. Bien que coûteux en termes de calcul, cet « impôt sur la rêverie » pourrait être le prix à payer pour l’innovation et constituer un avantage concurrentiel. En fin de compte, les LLM coûteux qui « rêvent » pourraient principalement servir à générer des données d’entraînement pour la prochaine génération de modèles efficaces, contournant ainsi le mur de données qui se profile.