Visualisation du processus de pensée d'un grand modèle linguistique (R1)
2025-02-17
Des chercheurs ont visualisé le « processus de pensée » d'un grand modèle linguistique, R1, en enregistrant ses chaînes de pensée sous forme de texte, en les convertissant en plongements à l'aide de l'API OpenAI et en les traçant séquentiellement avec t-SNE. En calculant la similarité cosinus entre les étapes consécutives, ils ont observé un processus potentiel en trois étapes : « recherche », « réflexion » et « conclusion ». Dix invites diverses ont été utilisées, allant de la description du fonctionnement d'un vélo à la conception de nouveaux modes de transport. Les chercheurs fournissent des méthodes pour accéder aux données de la chaîne de pensée et au code.