플라톤적 표상 가설: 보편적 임베딩 역전과 고래와의 소통을 향하여

연구자들은 대규모 언어 모델이 커짐에 따라 공유된 기저 표상 공간으로 수렴하는 것을 발견했습니다. 이는 '플라톤적 표상 가설'이라고 불립니다. 이는 아키텍처에 관계없이 서로 다른 모델이 동일한 특징을 학습한다는 것을 시사합니다. 본 논문에서는 '무솔리니 또는 빵' 게임을 비유로 사용하여 이 공유 표상을 설명하고, 압축 이론과 모델의 일반화 능력으로 더욱 뒷받침합니다. 중요하게도, 이 가설을 바탕으로 연구자들은 vec2vec을 개발했습니다. 이는 서로 다른 모델의 임베딩 공간 사이에서 비지도 학습 방식으로 변환하는 방법이며, 고정밀도 텍스트 임베딩 역전을 달성합니다. 미래 응용 분야로는 선형 A와 같은 고대 문자 해독이나 고래 언어 번역 등이 있으며, 언어 간 상호 이해와 AI 발전에 새로운 가능성을 엽니다.