네이티브 스파스 어텐션: 하드웨어 정렬 및 네이티브 학습 가능

긴 문맥 모델링은 자연어 처리 분야의 지속적인 과제입니다. 이 ACL 2025 논문에서는 네이티브로 학습 가능한 스파스 어텐션 메커니즘인 NSA를 소개합니다. NSA는 알고리즘 혁신과 하드웨어 최적화를 효과적으로 결합하여 전역 맥락 인식과 지역적 정밀도를 유지하면서 계산 효율성을 크게 향상시킵니다. 동적 계층적 스파스 전략(조립 토큰 압축 및 세분화된 토큰 선택)을 사용하여 엔드투엔드 학습을 가능하게 하고, 사전 학습 계산 비용을 줄입니다. 다양한 벤치마크에서 완전 어텐션 모델과 동등하거나 우수한 성능을 보이며, 특히 64k 길이 시퀀스의 디코딩, 순방향 전파, 역방향 전파에서 상당한 속도 향상을 보입니다.