大規模言語モデルR1の思考プロセスの可視化

研究者らは、大規模言語モデルR1の「思考プロセス」を可視化するために、思考の連鎖をテキストとして保存し、OpenAI APIを使用して埋め込みに変換し、t-SNEを用いて時系列的にプロットしました。連続したステップ間の余弦類似度を計算することにより、「検索」、「思考」、「結論」という3段階のプロセスが示唆されました。自転車の仕組みの説明から新しい輸送手段の設計まで、10個の多様なプロンプトが使用されました。研究者らは、思考連鎖データとコードへのアクセス方法を提供しています。