لومينال: مكتبة تعلم عميق عالية الأداء مع تجميع قائم على البحث

لومينال هي مكتبة تعلم عميق تحقق أداءً عاليًا من خلال التجميع القائم على البحث. جوهرها بسيط بشكل ملحوظ، مبني على 12 عملية بدائية فقط، لكنها قادرة على دعم نماذج معقدة مثل المحولات والشبكات العصبية التلافيفية. من خلال دمج النوى بقوة وتجميع نوى محددة للشكل في وقت التجميع، تتغلب لومينال على القيود النموذجية لهندسة RISC وتستمد تلقائيًا تحسينات معقدة مثل Flash Attention. نهج التجميع الثابت الخاص بها يتجنب عبء وقت التشغيل، مع دعم Metal وCUDA، مما يسمح بالتنفيذ السريع على أجهزة Mac ووحدات معالجة الرسوميات Nvidia. وقد تم إظهار مكاسب كبيرة في الأداء على نماذج مثل Llama 3 8B.