알리바바, 초대규모 MoE 언어 모델 Qwen2.5-Max 공개
2025-01-28
알리바바가 20조 개 이상의 토큰으로 사전 훈련되고, 지도 학습 미세 조정 및 인간 피드백 기반 강화 학습으로 더욱 개선된 대규모 혼합 전문가(MoE) 모델인 Qwen2.5-Max를 발표했습니다. MMLU-Pro, LiveCodeBench, LiveBench, Arena-Hard 등의 벤치마크에서 Qwen2.5-Max는 DeepSeek V3 등 다른 모델들을 능가하는 것으로 나타났습니다. 이 모델은 Qwen Chat과 알리바바 클라우드 API를 통해 접근할 수 있습니다. 이번 출시는 대규모 언어 모델 확장의 중요한 발전을 의미하며, 향후 모델 지능 향상의 길을 열어줍니다.