نماذج اللغات الكبيرة تفشل في التعميم لما يتجاوز بيانات التدريب

قام الباحثون باختبار قدرات التعميم لنماذج اللغات الكبيرة (LLMs) على المهام والتنسيقات والأطوال التي تتجاوز بيانات التدريب الخاصة بها. أظهرت النتائج انخفاضًا كبيرًا في الدقة كلما ابتعدت المهمة عن توزيع التدريب. حتى عند تقديم إجابات صحيحة، غالبًا ما أظهرت النماذج تفكيرًا غير منطقي أو تفكيرًا غير متسق مع إجاباتها. هذا يشير إلى أن التفكير المتسلسل (CoT) في نماذج اللغات الكبيرة لا يعكس فهمًا حقيقيًا للنص، بل هو تكرار لأنماط تم تعلمها أثناء التدريب. كما تدهورت الأداء بشكل حاد عند تقديم مدخلات بأطوال مختلفة أو رموز غير معروفة، مما يبرز بشكل أكبر حدود التعميم.