Visualisierung des Denkprozesses eines großen Sprachmodells (R1)
2025-02-17
Forscher visualisierten den „Denkprozess“ eines großen Sprachmodells, R1, indem sie dessen Gedankengänge als Text speicherten, diese mit der OpenAI-API in Einbettungen umwandelten und sie sequenziell mit t-SNE plotteten. Durch die Berechnung der Kosinusähnlichkeit zwischen aufeinanderfolgenden Schritten beobachteten sie einen potenziellen dreistufigen Prozess: „Suche“, „Denken“ und „Schlussfolgern“. Zehn verschiedene Eingabeaufforderungen wurden verwendet, von der Beschreibung der Funktionsweise eines Fahrrads bis hin zur Entwicklung neuer Transportmittel. Die Forscher stellen Methoden zur Verfügung, um auf die Daten der Gedankenkette und den Code zuzugreifen.