مُحسِّن مُشفّر متقاطع يكشف أسرار ضبط نماذج اللغات الكبيرة بدقة
2025-03-23
يُقدّم الباحثون طريقة جديدة تسمى "المُشفّر المتقاطع المُرتبط" لمقارنة النماذج الأساسية ونماذج الدردشة المُحسّنة بدقة من نماذج اللغات الكبيرة (LLMs). على عكس المُشفرات المتقاطعة التقليدية، يسمح المُشفّر المتقاطع المُرتبط لنفس العوامل الكامنة بالتشغيل في أوقات مختلفة لكل من النماذج الأساسية ونماذج الدردشة، مما يؤدي إلى تحديد أكثر فاعلية للميزات الجديدة في نموذج الدردشة. تُظهر التجارب أن هذا النهج يُوفر تفسيرات أوضح لكيفية ظهور سلوك الدردشة من قدرات النموذج الأساسي، ويُنتج عوامل كامنة أحادية المعنى أكثر. تُقدم هذه الدراسة رؤى جديدة حول عملية ضبط نماذج اللغات الكبيرة بدقة، وتُوجّه تحسينات النموذج في المستقبل.