SepLLM: تسريع الاستدلال لأنظمة اللغات الضخمة عن طريق ضغط الرموز عديمة المعنى

تواجه نماذج اللغات الكبيرة (LLMs) تحديات كبيرة بسبب متطلباتها الحسابية الضخمة. اكتشف الباحثون أن بعض الرموز الخاصة عديمة المعنى تساهم بشكل غير متناسب في درجات الانتباه. بناءً على ذلك، يقترحون SepLLM، وهو إطار عمل يسرّع الاستدلال عن طريق ضغط المقاطع بين هذه الرموز وإسقاط الرموز الزائدة. تُظهر التجارب أن SepLLM يحقق انخفاضًا بأكثر من 50% في ذاكرة التخزين المؤقت KV على معيار GSM8K-CoT مع خسارة ضئيلة في الأداء باستخدام Llama-3-8B. في إعدادات البث، يدير SepLLM بفعالية نماذج اللغة مع ما يصل إلى 4 ملايين رمز أو أكثر.