Webtagr - 기술 뉴스 다이제스트

플라톤적 표상 가설: 보편적 임베딩 역전과 고래와의 소통을 향하여

2025-07-18

연구자들은 대규모 언어 모델이 커짐에 따라 공유된 기저 표상 공간으로 수렴하는 것을 발견했습니다. 이는 '플라톤적 표상 가설'이라고 불립니다. 이는 아키텍처에 관계없이 서로 다른 모델이 동일한 특징을 학습한다는 것을 시사합니다. 본 논문에서는 '무솔리니 또는 빵' 게임을 비유로 사용하여 이 공유 표상을 설명하고, 압축 이론과 모델의 일반화 능력으로 더욱 뒷받침합니다. 중요하게도, 이 가설을 바탕으로 연구자들은 vec2vec을 개발했습니다. 이는 서로 다른 모델의 임베딩 공간 사이에서 비지도 학습 방식으로 변환하는 방법이며, 고정밀도 텍스트 임베딩 역전을 달성합니다. 미래 응용 분야로는 선형 A와 같은 고대 문자 해독이나 고래 언어 번역 등이 있으며, 언어 간 상호 이해와 AI 발전에 새로운 가능성을 엽니다.

(blog.jxmo.io)

AI 임베딩 공간 변환 플라톤적 표상 가설

강화 학습 확장: 웹 상에서 다음 토큰 예측

2025-07-13

저자는 강화 학습(RL)이 AI 모델 학습의 다음 단계라고 주장합니다. 여러 환경을 동시에 확장하는 현재 접근 방식은 혼란스럽습니다. 대신 저자는 웹 규모의 데이터 세트에서 RL을 사용하여 다음 토큰을 예측하여 모델이 추론을 학습하도록 제안합니다. 이는 수학 및 코드 문제에 초점을 맞춘 현재 RL 학습 데이터 세트의 한계를 넘어 쉽게 이용할 수 있는 방대한 웹 데이터를 활용합니다. RL과 다음 토큰 예측을 통합함으로써 이 접근 방식은 훨씬 더 강력한 추론 모델을 만드는 것을 약속합니다.

(blog.jxmo.io)

AI

AI의 병목 현상: 알고리즘이 아닌 데이터?

2025-06-30

AI는 놀라운 발전을 이루었지만, 그 속도는 느려지고 있는 것처럼 보인다. 이 글은 과거 주요 AI 돌파구(DNN, 트랜스포머, RLHF, 추론 모델)가 새로운 알고리즘이 아닌 새로운 데이터 소스(ImageNet, 웹 텍스트, 인간 피드백, 검증자)의 해제 덕분이었다고 주장한다. 저자는 미래의 돌파구는 알고리즘 혁신이 아닌 비디오와 로봇 센서와 같은 새로운 데이터 소스의 효과적인 활용에서 나올 가능성이 높다고 시사하며, 기존 데이터 세트가 지식 한계에 접근하고 있을 수 있기 때문이라고 말한다.

(blog.jxmo.io)

AI 모델 한계