tiny-llm: تقديم نماذج اللغات الكبيرة (LLMs) في أسبوع - برنامج تعليمي عملي

tiny-llm هو برنامج تعليمي يرشدك خلال بناء بنية تحتية لخدمة نماذج اللغات الكبيرة (LLMs) في أسبوع. يركز على استخدام واجهات برمجة التطبيقات (APIs) لمصفوفات/متجهات MLX، متجنباً واجهات برمجة التطبيقات لشبكات الأعصاب العصبية عالية المستوى لبناء النظام من الصفر وفهم التحسينات. يشمل البرنامج التعليمي مفاهيم أساسية مثل آليات الانتباه، وRoPE، والانتباه للاستعلامات المجمعة، ويتقدم إلى تحميل النموذج وتوليد الردود. حاليًا، الانتباه، وRoPE، وتحميل النموذج مكتملة. ستتناول الفصول القادمة تخزين KV المؤقت، وضرب المصفوفات الكمي، وFlash Attention، وتحسينات أخرى، بهدف تقديم خدمة فعالة لنماذج LLMs مثل Qwen2.