Qwen2.5-1M: 최대 100만 토큰의 컨텍스트 길이를 지원하는 오픈소스 LLM

Qwen팀은 최대 100만 토큰의 컨텍스트 길이를 지원하는 오픈소스 대규모 언어 모델 Qwen2.5-1M을 출시했습니다. 7B 파라미터와 14B 파라미터의 두 가지 버전이 있으며, 장문 컨텍스트 작업에서 기존 128K 버전을 크게 능가하며 일부 작업에서는 GPT-4o-mini를 뛰어넘는 성능을 보여줍니다. 효율적인 배포를 위해 vLLM 기반 추론 프레임워크도 오픈소스화되었으며, 스파스 어텐션 메커니즘을 통해 추론 속도가 3~7배 향상되었습니다. Qwen2.5-1M의 학습은 단계적 접근 방식을 채택하여 듀얼 청크 어텐션(DCA)과 스파스 어텐션 기술을 통합함으로써 긴 컨텍스트 처리를 효과적으로 수행합니다.