Qwen2.5-1M : Des modèles de langage de grande taille open source avec une longueur de contexte jusqu’à 1 million de jetons

L’équipe Qwen a publié Qwen2.5-1M, des modèles de langage de grande taille open source prenant en charge jusqu’à un million de jetons de longueur de contexte, dans les versions 7B et 14B de paramètres. Ces modèles surpassent de manière significative leurs homologues 128K dans les tâches à long contexte, dépassant même GPT-4o-mini dans certains cas. Un framework d’inférence open source basé sur vLLM, utilisant l’attention clairsemée pour une accélération de 3x à 7x, est également fourni pour un déploiement efficace. L’entraînement de Qwen2.5-1M a employé une approche progressive, intégrant l’attention à double bloc (DCA) et des techniques d’attention clairsemée pour gérer efficacement les longs contextes.