Llama 3 من الصفر: برنامج تعليمي شامل من TensorFlow
هذا المشروع عبارة عن نسخة محسّنة من naklecha/llama3-from-scratch، تم تحسينه وتنقيحه بشكل شامل للمساعدة في فهم مبادئ التنفيذ وعملية الاستدلال التفصيلية لنموذج Llama 3. تتضمن التحسينات الرئيسية ما يلي: إعادة تنظيم عرض المحتوى، وهيكل دليل مُعدّل، وتعليقات توضيحية مُفصّلة للكود، وترميزات كاملة لتغييرات أبعاد المصفوفات، وشروح واشتقاقات وفيرة للمبادئ، وفصل إضافي لاشتقاق KV-Cache، ووثائق ثنائية اللغة (الصينية والإنجليزية). يبدأ البرنامج التعليمي بتحميل ملفات النموذج وملفات التكوين، ثم يرشدك خلال عملية تحويل النص إلى تضمين، وبناء كتل Transformer، وتنفيذ آلية الانتباه، والترميز الموضعي (RoPE)، وتطبيع RMS، وشبكة التغذية الأمامية SwiGLU، وأخيراً، يتنبأ بالرمز التالي. كما يستكشف التنبؤات top-k، وتأثير تضمينات الرموز المختلفة، ومبادئ ومزايا آلية تخزين KV.
