ما وراء حساب متوسط التدرجات في التحسين المتوازي: تحسين المتانة من خلال تصفية اتفاق التدرجات
2024-12-30
يقدم هذا البحث تقنية جديدة تُعرف باسم تصفية اتفاق التدرجات (GAF) لتحسين حساب متوسط التدرجات في تحسين تعلم الآلة العميق الموزع. تعتمد الطرق التقليدية على حساب متوسط تدرجات الدُفعات الصغيرة لحساب متوسط تدرج الدُفعة الكبيرة، لكن هذا قد يؤدي إلى تدرجات متعامدة أو سالبة الارتباط في مراحل التدريب المتأخرة، مما يُسبب فرط التخصيص. تعمل تقنية GAF على تقليل تباين التدرجات بحساب المسافة الجيبية بين تدرجات الدُفعات الصغيرة، وبتصفية التحديثات المتضاربة قبل حساب المتوسط. تُظهر التجارب على معايير تصنيف الصور مثل CIFAR-100 و CIFAR-100N-Fine أن تقنية GAF تُحسّن دقة التحقق بشكل ملحوظ، حتى مع استخدام دُفعات أصغر حجماً، حيث تصل إلى تحسين يصل إلى 18.2٪ مقارنة بالنهج التقليدية مع تقليل التكلفة الحسابية.