SGLang: تطبيق مفتوح المصدر يُطابق أداء نظام الاستنتاج لنموذج اللغة الكبير DeepSeek
2025-08-29
يتميز نموذج اللغة الكبير DeepSeek، وهو نموذج مفتوح المصدر شهير، بأداء رائع. ومع ذلك، فإن حجمه الضخم وهندسته المعمارية الفريدة (باستخدام الانتباه الكامن متعدد الرؤوس ومزيج الخبراء) يتطلبان نظامًا متطورًا لتقديم خدمة فعالة على نطاق واسع. يوضح هذا المدونة كيفية تحقيقنا لتقارب في الأداء مع نظام استنتاج DeepSeek باستخدام SGLang. تمكنت تنفيذنا، الذي يعمل على 12 عقدة (كل منها مزودة بثمانية وحدات معالجة رسومية H100) في سحابة Atlas، من تحقيق 52300 رمز إدخال في الثانية و22300 رمز إخراج في الثانية لكل عقدة لسلاسل الإدخال التي تحتوي على 2000 رمز. وهذا، حسب علمنا، هو أول تطبيق مفتوح المصدر يُطابق تقريبًا الإنتاجية المبلغ عنها لـ DeepSeek على نطاق واسع، بتكلفة تبلغ خمس تكلفة واجهة برمجة تطبيقات DeepSeek Chat الرسمية.
الذكاء الاصطناعي
استنتاج النموذج