3FS: نظام ملفات موزع عالي الأداء للذكاء الاصطناعي

يُعد 3FS نظام ملفات موزعًا عالي الأداء مصممًا لمعالجة تحديات أحمال عمل تدريب الاستنتاج للذكاء الاصطناعي. يستخدم محركات أقراص الحالة الثابتة الحديثة وشبكات RDMA لتوفير طبقة تخزين مشتركة تُبسط تطوير التطبيقات الموزعة. وتشمل الميزات الرئيسية: الأداء وسهولة الاستخدام الاستثنائيين، والاتساق القوي عبر CRAQ، وواجهات ملفات قياسية، ودعم أحمال العمل المتنوعة (إعداد البيانات، ومُحمِّلات البيانات، ونقاط التفتيش، وKVCache للاستنتاج). تُظهر اختبارات المقاييس نتائج مثيرة للإعجاب: ما يصل إلى 6.6 تيرابايت/ثانية من إنتاجية القراءة في العناقيد الكبيرة و3.66 تيرابايت/دقيقة من إنتاجية الفرز. ويعزز KVCache كفاءة استنتاج LLM بشكل كبير، حيث يصل إلى ذروة إنتاجية القراءة تبلغ 40 جيجابايت/ثانية. المشروع مفتوح المصدر ويحتوي على تعليمات إعداد وتشغيل مفصلة.