EM-LLM: 무한 컨텍스트 LLM을 위한 인간 영감의 에피소드 메모리
2025-05-14
EM-LLM은 인간의 에피소드 기억과 사건 인지 능력을 모방하여 대규모 언어 모델(LLM)의 매우 긴 컨텍스트 처리 능력을 크게 향상시키는 새로운 아키텍처입니다. 미세 조정 없이 EM-LLM은 입력 토큰 시퀀스를 일관된 에피소드 이벤트로 구성하고 효율적인 2단계 메모리 검색 메커니즘을 통해 관련 정보에 접근합니다. LongBench와 ∞-Bench 벤치마크에서 EM-LLM은 InfLLM 및 RAG와 같은 최첨단 검색 모델을 능가하며 대부분의 작업에서 전체 컨텍스트 모델을 능가합니다. 1,000만 개의 토큰에 걸쳐 검색을 성공적으로 수행하며, 이는 전체 컨텍스트 모델에서는 계산상 불가능합니다. EM-LLM의 이벤트 분할과 사람이 인식하는 이벤트 간의 강한 상관 관계는 인간 메모리 메커니즘을 탐구하기 위한 새로운 계산 프레임워크를 제공합니다.