نشر نموذج DeepSeek R1 ذي 671 مليار معلمة محليًا

تتناول هذه المشاركة تجربة نشر نموذج اللغة الكبير DeepSeek R1 ذي 671 مليار معلمة محليًا باستخدام Ollama. قام الكاتب بتجربة نسختين كميتين: 1.73 بت و 4 بت، تتطلبان على الأقل 200 جيجابايت و 500 جيجابايت من الذاكرة على التوالي. على محطة عمل مزودة بأربعة RTX 4090 و 384 جيجابايت من ذاكرة الوصول العشوائي DDR5، أظهرت نتائج الاختبار أن نسخة 1.73 بت تتمتع بسرعة توليد أسرع قليلاً، لكن نسخة 4 بت كانت أكثر استقرارًا وأقل عرضة لتوليد محتوى غير لائق. يوصي الكاتب باستخدام النموذج لمهام أخف وزنًا، وتجنب توليد النصوص الطويلة التي تبطئ السرعة بشكل كبير. تضمنت عملية النشر تنزيل ملفات النموذج، وتثبيت Ollama، وإنشاء ملف نموذج، وتشغيل النموذج؛ وقد يكون من الضروري ضبط معلمات وحدة معالجة الرسومات ونوافذ السياق لتجنب أخطاء الذاكرة غير الكافية.