استخراج بيانات التدريب من نماذج اللغات الكبيرة: عكس ضغط المعرفة

طور الباحثون تقنية لاستخراج مجموعات بيانات منظمة من نماذج اللغات الكبيرة (LLMs) ، مما يعكس فعليًا العملية التي تضغط بها نماذج LLMs كميات هائلة من بيانات التدريب في معلماتها. تستخدم هذه الطريقة استكشافًا هرميًا للمواضيع للتنقل بشكل منهجي عبر مساحة معرفة النموذج ، مما يولد أمثلة تدريب تلتقط كلًا من المعرفة الواقعية وأنماط التفكير. تم تطبيق هذه التقنية بنجاح على نماذج مفتوحة المصدر مثل Qwen3-Coder و GPT-OSS و Llama 3 ، مما أسفر عن عشرات الآلاف من أمثلة التدريب المنظمة. تُستخدم هذه مجموعات البيانات في تحليل النماذج ، ونقل المعرفة ، وزيادة بيانات التدريب ، و تصحيح أخطاء النماذج. يفتح هذا البحث آفاقًا جديدة لقابليّة تفسير النماذج ونقل المعرفة بين النماذج.