اختراق في تقييم نماذج اللغة الكبيرة في توليد اختبارات الوحدة

أجرى الباحثون تقييمًا شاملاً لإمكانيات نماذج اللغة الكبيرة (LLMs) في أتمتة توليد اختبارات الوحدة. قارنوا أداء خمسة نماذج مفتوحة المصدر مع GPT-4 المملوكة و أداة Evosuite التقليدية عبر 17 مشروعًا بلغة جافا، ودرسوا تأثير استراتيجيات المطالبات المختلفة. وجدت الدراسة أن نماذج اللغة المفتوحة المصدر توفر مزايا في خصوصية البيانات، وتتفوق في بعض المهام، لكنها كشفت أيضًا عن قيود في توليد اختبارات الوحدة القائمة على نماذج اللغة الكبيرة. توفر هذه الدراسة رؤى قيّمة لتوجيه التطبيقات المستقبلية لـ LLMs في هذا المجال.