SmolGPT：一个极简的PyTorch小型语言模型训练项目

SmolGPT是一个使用PyTorch构建的极简小型语言模型训练项目，旨在方便学习和理解LLM训练过程。它采用现代架构，包括Flash Attention、RMSNorm和SwiGLU，并支持高效的采样技术。该项目提供了完整的训练流程、预训练模型和文本生成示例，用户可以轻松上手训练自己的小型LLM，或使用预训练模型进行文本生成。