لا مزيد من Adam: تعديل معدل التعلم عند البدء هو كل ما تحتاجه

يقدم الباحثون SGD-SaI، وهو مُحسِّن جديد يُحسِّن من نزول التدرج العشوائي. يعالج SGD-SaI اختلالات التدريب من خلال تغيير معدل التعلم عند البدء لمجموعات المعلمات المختلفة بناءً على نسب إشارة الضوضاء الخاصة بتدرجاتها. أكثر كفاءة من حيث الذاكرة من AdamW، يُطابق SGD-SaI أداء AdamW أو يتجاوزه في مهام متنوعة تعتمد على Transformer، بما في ذلك تصنيف ImageNet والتدريب المسبق لـ LLM. تُظهر مقاومته وقابليته للتطبيق في تطبيقات متنوعة، مما يجعله بديلاً مُقنعاً.