شبكات RNN المُسرّعة بواسطة وحدة معالجة الرسوميات: تطبيق CUDA لـ minGRU و minLSTM
2025-09-21
تُفصّل هذه المدوّنة مشروعًا نهائيًا من كورس CS179: برمجة وحدة معالجة الرسوميات في معهد كاليفورنيا للتكنولوجيا، والذي يهدف للتحقق من ادعاءات ورقة Feng et al. البحثية، “Were RNNs All We Needed?” نفّذ المشروع نماذج minGRU و minLSTM المُبسّطة، وخوارزمية مسح متوازي مخصصة باستخدام CUDA. أظهرت النتائج تسارعًا كبيرًا لوحدة معالجة الرسوميات في التسلسلات الطويلة، مما يُثبت النتيجة الرئيسية للورقة البحثية القائلة بأن تكرار RNN يمكن أن يُوازي. ومع ذلك، بالنسبة للتسلسلات القصيرة، ألغت تكلفة تشغيل نواة CUDA بعض مكاسب الأداء. كشف تخطيط نواة وحدة معالجة الرسوميات عن أن الطبقة النهائية للإسقاط هي المُعيق الرئيسي، مما يُشير إلى تحسين إضافي من خلال مكالمة cuBLAS GEMM واحدة.
اقرأ المزيد
