멀티 헤드 어텐션에서 잠재 어텐션으로: 어텐션 메커니즘의 진화

본 글에서는 자연어 처리에서 어텐션 메커니즘의 발전 과정을 초기 멀티 헤드 어텐션(MHA)에서 더욱 발전된 멀티 잠재 헤드 어텐션(MHLA)까지 다룹니다. MHA는 쿼리, 키, 값 벡터를 계산하여 문맥 내 중요 단어의 가중치를 부여하지만, 계산 및 메모리 복잡도는 시퀀스 길이에 따라 제곱으로 증가합니다. 이를 해결하기 위해 MHLA와 같은 새로운 접근 방식이 등장하여 성능 저하 없이 계산 속도와 확장성을 향상시켰습니다. 예를 들어, KV 캐싱을 사용하여 중복 계산을 줄입니다. 본 글에서는 이러한 메커니즘의 핵심 개념, 장점과 단점, BERT, RoBERTa, Deepseek 등의 모델에서의 적용에 대해 명확하게 설명합니다.