تنفيذ نموذج LLaMA3 في 100 سطر من كود Jax الخالص

تُظهر هذه المقالة كيفية تنفيذ نموذج LLaMA3 من الصفر باستخدام 100 سطر فقط من كود Jax الخالص. اختار الكاتب Jax لجمالياته البسيطة وميزاته القوية مثل تسريع XLA، والترجمة العاجلة JIT، والمتجه vmap. تُفصّل المقالة كل مكوّن من مكوّنات النموذج، بما في ذلك تهيئة الأوزان، وترسيم BPE، والانغماس الديناميكي، وتشفير الموقع الدوراني، والانتباه للاستعلامات المجمعة، والمرور الأمامي. كما يتم شرح ميزات Jax الفريدة مثل إدارة مفاتيح PRNG والترجمة العاجلة JIT. وأخيراً، يُظهر الكاتب كيفية تدريب النموذج على مجموعة بيانات شكسبير، مع توفير رمز حلقة التدريب.