SmolGPT : Une implémentation PyTorch minimale pour entraîner de petits LLM
2025-01-29
SmolGPT est un projet PyTorch minimal conçu à des fins éducatives, permettant aux utilisateurs d'entraîner leurs propres petits modèles de langage (LLM) à partir de zéro. Il présente une architecture moderne intégrant Flash Attention, RMSNorm et SwiGLU, ainsi que des techniques d'échantillonnage efficaces. Le projet fournit un pipeline d'entraînement complet, des poids de modèle pré-entraînés et des exemples de génération de texte, facilitant l'apprentissage et l'expérimentation avec l'entraînement de LLM.