Visualizando o Processo de Pensamento de um Modelo de Linguagem Grande (R1)
2025-02-17
Pesquisadores visualizaram o 'processo de pensamento' de um grande modelo de linguagem, R1, salvando suas cadeias de pensamento como texto, convertendo-as em embeddings usando a API OpenAI e plotando-as sequencialmente com t-SNE. Ao calcular a similaridade de cosseno entre etapas consecutivas, eles observaram um potencial processo de três estágios: 'busca', 'pensamento' e 'conclusão'. Dez prompts diversos foram usados, variando de descrever como uma bicicleta funciona a projetar novos meios de transporte. Os pesquisadores fornecem métodos para acessar os dados da cadeia de pensamento e o código.