Titans: 테스트 시점에 기억하는 것을 학습하는 새로운 신경망 아키텍처
2025-01-16
연구자들은 신경 메모리 모듈과 어텐션 메커니즘을 결합하여 장기간의 과거 컨텍스트를 효과적으로 기억하는 새로운 신경망 아키텍처인 Titans를 발표했습니다. 기존의 순환 모델과 어텐션 메커니즘과 달리, Titans는 특히 '건초더미에서 바늘 찾기'와 같은 작업에서 긴 시퀀스 데이터를 처리하는 효율성과 정확성이 뛰어납니다. 자연어 처리, 상식 추론, 유전체학, 시계열 분석 등 다양한 작업에서 Transformer 및 최신 선형 순환 모델을 능가하며, 200만 개 이상의 컨텍스트 윈도우 크기로 확장할 수 있습니다.