Titans: 테스트 시점에 기억하는 것을 학습하는 새로운 신경망 아키텍처

연구자들은 신경 메모리 모듈과 어텐션 메커니즘을 결합하여 장기간의 과거 컨텍스트를 효과적으로 기억하는 새로운 신경망 아키텍처인 Titans를 발표했습니다. 기존의 순환 모델과 어텐션 메커니즘과 달리, Titans는 특히 '건초더미에서 바늘 찾기'와 같은 작업에서 긴 시퀀스 데이터를 처리하는 효율성과 정확성이 뛰어납니다. 자연어 처리, 상식 추론, 유전체학, 시계열 분석 등 다양한 작업에서 Transformer 및 최신 선형 순환 모델을 능가하며, 200만 개 이상의 컨텍스트 윈도우 크기로 확장할 수 있습니다.