Qwen2.5-1M: Modelos de linguagem grandes de código aberto com comprimento de contexto de 1 milhão de tokens
2025-01-26
A equipe Qwen lançou o Qwen2.5-1M, modelos de linguagem grandes de código aberto com suporte para até um milhão de tokens de comprimento de contexto, nas versões de 7B e 14B de parâmetros. Esses modelos superam significativamente seus equivalentes de 128K em tarefas de contexto longo, superando até mesmo o GPT-4o-mini em alguns casos. Uma estrutura de inferência de código aberto baseada em vLLM, que utiliza atenção esparsa para um aumento de velocidade de 3x a 7x, também é fornecida para implantação eficiente. O treinamento do Qwen2.5-1M empregou uma abordagem progressiva, incorporando Atenção de Bloco Duplo (DCA) e técnicas de atenção esparsa para lidar eficazmente com contextos longos.