실시간 자기반성 압축: 트랜스포머에 양심을 부여하다
2025-04-02
대규모 언어 모델(LLM)은 자기반성 기능 부족과 일시적인 인지라는 두 가지 주요 제약 조건을 가지고 있습니다. 본 논문에서는 이 두 가지 문제를 모두 해결하는 새로운 실시간 자기반성 압축 방법을 제안합니다. 경량의 "사이드카" 모델을 훈련하여 트랜스포머의 내부 상태를 압축함으로써 모델의 내부 작동에 대한 효율적인 접근 및 재생을 가능하게 합니다. 이 방법은 게임 상태를 저장하는 것과 유사하게 트랜스포머의 상태를 저차원 잠재 공간으로 압축하여 전체 상태를 저장하는 계산적 어려움을 극복합니다. 이를 통해 추론 되돌리기, 사고 과정에 기반한 강화 학습, 메모리 효율적인 체크포인트 저장 등 새로운 기능이 가능해지며, 궁극적으로 더욱 강력하고 해석 가능한 AI 시스템으로 이어집니다.
AI
자기반성