자기회귀 모델을 넘어: AI의 다음 경계

현재 대부분의 생성 AI 모델은 자기회귀적이며, 다음 토큰을 예측합니다. Transformer 아키텍처는 계산 효율성 때문에 널리 채택되었습니다. 그러나 자기회귀 모델은 계획 및 추론 능력 부족, 제한적인 장기 기억, 그리고 '환각'을 일으키기 쉬운 등 고유한 한계를 가지고 있습니다. 저자는 인간의 사고가 순수하게 자기회귀적이지 않고, 비순차적 사고와 계획이 포함된다고 주장합니다. 인간 인지에 더 가까운 AI를 달성하기 위해 연구자들은 JEPA 및 확산 모델과 같은 다른 패러다임을 탐구하고 있습니다. 이러한 모델은 반복적인 개선이나 노이즈 제거를 통해 콘텐츠를 생성하며, 인간의 사고 과정을 더욱 충실하게 반영합니다.