SmolGPT：小型LLMをトレーニングするための最小限のPyTorch実装

SmolGPTは、教育目的で設計された最小限のPyTorchプロジェクトであり、ユーザーは独自の小さな言語モデル（LLM）をゼロからトレーニングできます。Flash Attention、RMSNorm、SwiGLUを含む最新のアーキテクチャと、効率的なサンプリング技術を備えています。このプロジェクトは、完全なトレーニングパイプライン、事前トレーニングされたモデルの重み、およびテキスト生成の例を提供し、LLMトレーニングの学習と実験を容易にします。