SeedLM: طريقة جديدة لضغط أوزان نماذج اللغة الكبيرة باستخدام مُولِّدات الأرقام شبه العشوائية

تُعيق التكاليف العالية لوقت التشغيل نماذج اللغة الكبيرة (LLMs) ، مما يحد من نشرها على نطاق واسع. يقدم باحثو ميتا SeedLM ، وهي طريقة جديدة لضغط ما بعد التدريب تستخدم بذورًا من مُولِّد أرقام شبه عشوائي لترميز وضغط أوزان النماذج. أثناء الاستنتاج ، يستخدم SeedLM سجل تحويل الخطي ذو التغذية الراجعة (LFSR) لإنشاء مصفوفة عشوائية بكفاءة ، تُجمع خطيًا مع معاملات مضغوطة لإعادة بناء كتل الأوزان. هذا يقلل من الوصول إلى الذاكرة ويستغل دورات الحوسبة الخاملة ، مما يُسرّع المهام المقيدة بالذاكرة عن طريق تبادل الحوسبة مقابل عدد أقل من عمليات الوصول إلى الذاكرة. على عكس طرق الحالة الفنية التي تتطلب بيانات معايرة ، فإن SeedLM خالية من البيانات وتعمم بشكل جيد عبر مهام متنوعة. تُظهر التجارب على نموذج Llama 3 70B الصعب دقة صفرية في ضغط 4 و 3 بتات تتطابق مع أو تتجاوز طرق الحالة الفنية ، مع الحفاظ على أداء مماثل لمعايير FP16. تُظهر اختبارات FPGA أن SeedLM 4 بتات تقترب من زيادة سرعة تصل إلى 4 أضعاف مقارنة بمعيار FP16 Llama 2/3 مع زيادة حجم النموذج.