Modular تكشف النقاب عن MAX 24.6: منصة الذكاء الاصطناعي التوليدي الأصلية لوحدات معالجة الرسومات
أصدرت شركة Modular منصة MAX 24.6، وهي منصة ذكاء اصطناعي توليدي أصلية لوحدات معالجة الرسومات، تهدف إلى إعادة تعريف كيفية تطوير ونشر الذكاء الاصطناعي. جوهر MAX 24.6 هو MAX GPU، وهي مجموعة متكاملة رأسياً لخدمة الذكاء الاصطناعي التوليدي، والتي تلغي الاعتماد على مكتبات الحوسبة الخاصة بالبائعين مثل NVIDIA CUDA. بنيت على مُجمِّع نماذج الذكاء الاصطناعي ووقت تشغيله عالي الأداء MAX Engine، بالإضافة إلى طبقة الخدمة الأصلية لبايثون MAX Serve، تدعم دورة حياة تطوير الذكاء الاصطناعي بأكملها، من التجريب إلى النشر في الإنتاج. يدعم MAX 24.6 منصات أجهزة متعددة، بما في ذلك معالجات NVIDIA A100 وL40 وL4 وA10، مع تخطيط لدعم وحدات معالجة الرسومات H100 وH200 وAMD. كما أنه متوافق مع نماذج Hugging Face، ويوفر واجهة برمجة تطبيقات عميل متوافقة مع OpenAI. حقق MAX 24.6 إنتاجية 3860 رمزًا ناتجًا في الثانية على نموذج Llama 3.1، مما يطابق أداء vLLM مع حجم أصغر لصورة Docker.
اقرأ المزيد