nanoGPT 是一个用于训练/微调中型 GPT 的 GitHub 存储库,以简洁性和速度为优先。它包含一个简单的训练循环 (train.py) 和 GPT 模型定义 (model.py),可以加载 GPT-2 权重。该存储库提供快速入门示例,例如在 Shakespeare 作品集上训练字符级 GPT,以及再现 GPT-2 结果的步骤。它还包括微调、采样/推理和效率说明。