Baseten تحقق أداءً متطورًا على GPT-OSS-120B: سباق مع الزمن

كشريك إطلاق لنموذج اللغة الكبير مفتوح المصدر الجديد من OpenAI، سارع Baseten لتحسين GPT-OSS-120B لتحقيق أقصى أداء في يوم الإطلاق. لقد استخدموا مجموعة الاستدلال المرنة الخاصة بهم، واختبروا باستخدام TensorRT-LLM و vLLM و SGLang، مع دعم لعمارة معالجات الرسومات Hopper و Blackwell. تضمنت التحسينات الرئيسية توجيهًا مدركًا لـ KV cache و فك ترميزًا مضاربًا باستخدام Eagle. مع إعطاء الأولوية للكفاءة، اختاروا التوازي المتوتر واستخدموا الواجهة الخلفية MoE من TensorRT-LLM. قام الفريق بحل مشكلات التوافق بسرعة، وصقلوا تكوين النموذج باستمرار، مساهمين في المجتمع مفتوح المصدر. ستشمل التحسينات المستقبلية فك التشفير المضارب للحصول على استدلال أسرع.