可视化大型语言模型R1的思维过程

研究人员通过将R1的思维链保存为文本，转换成OpenAI API的嵌入向量，并使用t-SNE进行可视化，实现了对大型语言模型R1“思考过程”的可视化。通过计算连续步骤之间的余弦相似度，他们观察到R1的思考过程可能包含“搜索”、“思考”和“总结”三个阶段。这项研究利用了十个不同的提示，包括描述自行车工作原理、设计新型交通工具等，并提供了获取思维链数据和代码的方法。