DeepEP: مكتبة اتصال فعالة لـ Mixture-of-Experts

DeepEP هي مكتبة اتصال مصممة خصيصًا لـ Mixture-of-Experts (MoE) والتوازي الخبير (EP)، حيث توفر نواة معالجة رسومات (GPU) من الكل إلى الكل عالية الإنتاجية ومنخفضة الكمون (إرسال ودمج MoE). تدعم عمليات منخفضة الدقة، بما في ذلك FP8. تم تحسينها لخوارزمية التحكم المحدودة بالمجموعة في DeepSeek-V3، توفر DeepEP نواة لعملية إعادة توجيه عرض النطاق الترددي غير المتماثل (مثل، من NVLink إلى RDMA). تحقق هذه النواة إنتاجية عالية، وهي مناسبة لمهام التدريب وملء الاستدلال. كما يتم دعم التحكم في عدد وحدات معالجة الدفق المتعددة (SM). بالنسبة لفك تشفير الاستدلال الحساس للكمون، فإن النواة منخفضة الكمون التي تستخدم RDMA النقية تقلل من التأخيرات. تم تضمين طريقة تراكب الحساب والاتصال القائمة على الخطافات، دون الحاجة إلى موارد SM. تم اختبار المكتبة باستخدام InfiniBand، وهي متوافقة نظريًا مع RoCE.