개선된 크로스코더, LLM 파인튜닝의 비밀을 밝히다
2025-03-23
연구자들은 대규모 언어 모델(LLM)의 기본 모델과 파인튜닝된 채팅 모델을 비교하기 위한 새로운 방법인 '연결된 크로스코더'를 제시했습니다. 기존 크로스코더와 달리, 연결된 크로스코더는 기본 모델과 채팅 모델 모두에서 동일한 잠재 요소가 다른 시간에 활성화되도록 허용하여 채팅 모델의 새로운 기능을 더 효과적으로 식별할 수 있게 합니다. 실험 결과, 이 방법은 채팅 동작이 기본 모델의 기능에서 어떻게 발생하는지에 대한 더 명확한 설명을 제공하고, 더 단일 의미적인 잠재 요소를 생성하는 것으로 나타났습니다. 이 연구는 LLM 파인튜닝 과정에 대한 새로운 통찰력을 제공하고 미래 모델 개선을 위한 지침을 제시합니다.