الضغط التأملي في الوقت الحقيقي: منح المحولات ضميراً
2025-04-02
تعاني نماذج اللغات الكبيرة (LLMs) من قيود رئيسية اثنين: نقص التأمل والتفكير العابر. تقترح هذه المقالة طريقة جديدة للضغط التأملي في الوقت الحقيقي تعالج كلا المشكلتين. يتم تدريب نموذج "خفيف الوزن" ثانوي لضغط الحالات الداخلية للمحول، مما يسمح بالوصول وإعادة تشغيل فعالة للعمل الداخلي للنموذج. تضغط هذه الطريقة حالات المحول في مساحة كامنة منخفضة الأبعاد، مشابهة لحفظ حالة اللعبة، متغلبة بذلك على العقبة الحسابية المتمثلة في تخزين الحالة الكاملة. هذا يتيح إمكانيات جديدة مثل تتبع الاستدلال، وتعزيز التعلم على مسارات الفكر، وحفظ نقاط تفتيش فعالة من حيث الذاكرة، مما يؤدي في النهاية إلى أنظمة ذكاء اصطناعي أكثر قوة وقابلية للتفسير.
الذكاء الاصطناعي
ضغط النماذج