대규모 언어 모델 R1의 사고 과정 시각화
2025-02-17
연구자들은 대규모 언어 모델 R1의 '사고 과정'을 시각화하기 위해 사고의 연쇄를 텍스트로 저장하고 OpenAI API를 사용하여 임베딩으로 변환한 후 t-SNE를 사용하여 시계열적으로 플롯했습니다. 연속적인 단계 간의 코사인 유사도를 계산함으로써 '검색', '사고', '결론'의 세 단계로 이루어진 프로세스가 시사되었습니다. 자전거 작동 원리 설명부터 새로운 교통 수단 설계까지 다양한 10개의 프롬프트가 사용되었습니다. 연구자들은 사고 연쇄 데이터와 코드에 접근하는 방법을 제공합니다.
AI
사고 시각화