Qwen2.5-1M：最大100万トークンのコンテキスト長に対応するオープンソースLLM

Qwenチームは、最大100万トークンのコンテキスト長をサポートするオープンソースの大規模言語モデルQwen2.5-1Mをリリースしました。7Bパラメータと14Bパラメータの2つのバージョンがあり、長文コンテキストタスクにおいて、従来の128Kバージョンを大幅に上回り、一部のタスクではGPT-4o-miniをも凌駕する性能を示しています。効率的なデプロイメントのために、vLLMベースの推論フレームワークもオープンソース化されており、スパースアテンション機構により推論速度が3～7倍向上しています。Qwen2.5-1Mのトレーニングは段階的なアプローチを採用し、デュアルチャンクアテンション(DCA)とスパースアテンション技術を組み込むことで、長いコンテキストの処理を効果的に行っています。