MLC-LLM: جعل معالجات AMD الرسومية تنافسية للاستدلال على نماذج اللغة الكبيرة
2024-12-24
لطالما هيمنت معالجات NVIDIA الرسومية على مجال الاستدلال على نماذج اللغة الكبيرة (LLM). ومع ذلك، يستخدم مشروع MLC-LLM تقنية تجميع تعلم الآلة لنشر نماذج LLM بنجاح على معالجات AMD الرسومية، محققًا نتائج مثيرة للإعجاب. باستخدام ROCm و Vulkan، تصل AMD Radeon RX 7900 XTX إلى 80% من سرعة NVIDIA RTX 4090 و 94% من سرعة RTX 3090 Ti للاستدلال على Llama2-7B/13B. هذا يحسن بشكل كبير من قدرة معالجات AMD الرسومية التنافسية و يوسع خيارات نشر LLM، ممتدًا إلى وحدات معالجة AMD مثل تلك الموجودة في Steam Deck. تشمل التطورات المستقبلية لـ MLC-LLM تحسينات لمعالجة الدُفعات، ودعم متعدد وحدات المعالجة الرسومية، والكمية، وهياكل النماذج الموسعة، بالإضافة إلى تقليل الفجوة في الأداء مع NVIDIA، لحل مشاكل الحوسبة في مجال الذكاء الاصطناعي في نهاية المطاف.