التدقيق الدقيق الفعال: غوص عميق في LoRA (الجزء الأول)

يتطلب التدقيق الدقيق لأنظمة اللغات الكبيرة عادةً موارد حسابية كبيرة. تُقدم هذه المقالة تقنية LoRA، وهي تقنية تدقيق دقيق فعّالة من حيث المعلمات. تُقلل LoRA بشكل كبير عدد المعلمات التي تحتاج إلى التدريب عن طريق إدخال مصفوفات منخفضة الرتبة كمحولات في نموذج مُدرّب مسبقًا، مما يُقلل من التكاليف الحسابية وتكاليف التخزين. يشرح هذا الجزء الأول المبادئ الكامنة وراء LoRA، بما في ذلك أوجه القصور في التدقيق الدقيق التقليدي، ومزايا الأساليب الفعّالة من حيث المعلمات، والأساس الرياضي للقرب المنخفض الرتبة. ستُعمق الأجزاء اللاحقة في التنفيذ والتطبيق المحددين لـ LoRA.