Qwen2.5-1M：百万级上下文长度的开源大模型
2025-01-26
Qwen团队发布了支持百万级上下文长度的开源大模型Qwen2.5-1M，包含7B和14B参数两个版本。该模型在长文本任务中显著优于之前的128K版本，甚至在某些任务上超越了GPT-4o-mini。为了高效部署，团队还开源了基于vLLM的推理框架，利用稀疏注意力机制将推理速度提升3到7倍。Qwen2.5-1M的训练采用了渐进式方法，并结合了双块注意力（DCA）和稀疏注意力等技术，有效处理长文本信息。
AI
百万上下文