SmolGPT: تطبيق PyTorch صغير لتدريب نماذج اللغات الكبيرة الصغيرة
2025-01-29
SmolGPT هو مشروع PyTorch صغير مصمم لأغراض تعليمية، يسمح للمستخدمين بتدريب نماذج اللغات الكبيرة الخاصة بهم (LLMs) من الصفر. يتميز بواجهة معمارية حديثة تتضمن Flash Attention وRMSNorm وSwiGLU، بالإضافة إلى تقنيات أخذ عينات فعالة. يوفر المشروع خط أنابيب تدريب كامل، وأوزان نموذج مدربة مسبقًا، وأمثلة على توليد النصوص، مما يسهل عملية التعلم والتجربة في تدريب LLMs.
التطوير
تدريب LLMs