التغلب على عدم التحديد في الاستنتاج في نماذج اللغات الكبيرة

إن عدم إمكانية إعادة إنتاج نتائج الاستنتاج في نماذج اللغات الكبيرة (LLMs) يُعد مشكلة مستمرة. يتعمق هذا المنشور في السبب الجذري، ويكشف أنه ليس مجرد عدم ترابطية الأعداد العائمة والتنفيذ المتزامن، بل هو نقص "ثبات الدُفعات" في تنفيذ النواة. حتى إذا كانت النواة الفردية حتمية، فإن التغيرات غير الحتمية في حجم الدُفعات (بسبب حمولة الخادم) تؤثر على الناتج النهائي. يحلل المؤلفون تحديات تحقيق ثبات الدُفعات في RMSNorm، وضرب المصفوفات، وآليات الاهتمام، واقترحوا طريقة للقضاء على عدم التحديد عن طريق تعديل تنفيذ النواة. هذا يؤدي إلى استنتاج LLM قابل لإعادة الإنتاج بالكامل، وتأثيرات إيجابية على تدريب التعلم المعزز.