4 وحدات معالجة رسوميات 4090: تدريب نماذج اللغات الكبيرة الخاصة بك محليًا

بنى أحد هواة الذكاء الاصطناعي جهازًا محليًا لتدريب نماذج اللغات الكبيرة (LLMs) باستخدام أربعة وحدات معالجة رسوميات NVIDIA 4090، بتكلفة تقارب 12000 دولار أمريكي. يمكن لهذا الإعداد تدريب نماذج يصل عدد معلماتها إلى مليار معلمة، على الرغم من أنه يعمل بشكل مثالي مع حوالي 500 مليون معلمة. تتناول المقالة بالتفصيل اختيار الأجهزة (اللوحة الأم، وحدة المعالجة المركزية، ذاكرة الوصول العشوائي، وحدات معالجة الرسوميات، التخزين، وحدة تزويد الطاقة، العلبة، نظام التبريد)، وعملية التجميع، وتكوين البرامج (نظام التشغيل، برامج التشغيل، الأطر، النواة المخصصة)، وتدريب النموذج، والتحسين، والصيانة. تشمل النصائح استخدام تصحيح نواة جورج هوتز للاتصال من نظير إلى نظير على وحدات معالجة الرسوميات 4xxx. بينما يبرز المقال مزايا التدريب المحلي، إلا أنه يعترف بفعالية التكلفة للحلول السحابية لبعض المهام.