Qwen 2.5 من علي بابا: نموذج لغة كبير بسياق يصل إلى مليون رمز
2025-01-26
أصدرت علي بابا تحديثًا رئيسيًا لنموذج اللغة الكبير مفتوح المصدر الخاص بها، Qwen 2.5، والذي يتميز بنطاق سياق مذهل يصل إلى مليون رمز! تم تحقيق ذلك من خلال تقنية جديدة تسمى Dual Chunk Attention. يتوفر نموذجان على Hugging Face: إصداران بـ 7 مليار و 14 مليار معلمة، وكلاهما يتطلبان ذاكرة وصول عشوائي ضخمة (VRAM) - 120 جيجابايت على الأقل للنموذج ذي 7 مليارات معلمة و 320 جيجابايت على الأقل للنموذج ذي 14 مليار معلمة. على الرغم من إمكانية استخدامهما في المهام الأقصر، توصي علي بابا باستخدام إطار عمل vLLM المخصص الخاص بها. تظهر إصدارات مُكمّنة GGUF، والتي تقدم أحجامًا أصغر، ولكن قد توجد مشكلات توافق مع أطوال السياقات الكاملة. حاول أحد المدونين تشغيل الإصدار GGUF على جهاز Mac باستخدام Ollama، واجه بعض التحديات ووعد بتحديث مستقبلي.
الذكاء الاصطناعي
سياق مليون رمز