هل تفهم نماذج اللغات الكبيرة القيم الخالية؟ استكشاف التمثيلات الداخلية لنماذج توليد التعليمات البرمجية
2025-04-07
أظهرت نماذج اللغات الكبيرة (LLMs) تقدمًا ملحوظًا في توليد التعليمات البرمجية، لكن فهمها الحقيقي للرمز يبقى مسألة مفتوحة. يبحث هذا العمل في فهم LLMs لمفهوم القيم الخالية في التعليمات البرمجية، باستخدام كل من التقييم الخارجي (إكمال التعليمات البرمجية) والتحقيق الداخلي (تحليل تفعيل النموذج). تكشف النتائج أن LLMs تتعلم وتطبق قواعد حول القيم الخالية، حيث تختلف الأداءات بناءً على تعقيد القاعدة وحجم النموذج. يُلقي البحث الضوء أيضًا على كيفية تمثيل LLMs للقيمة الخالية داخليًا وكيف يتطور هذا الفهم أثناء التدريب.