GitHub - BobMcDear/trap: 使用APL语言实现的自回归Transformer模型 (github.com)

这篇文档介绍了trap，一个使用APL语言实现的自回归Transformer模型（特别是GPT2）。trap不仅包含了GPT的完整定义，还支持反向传播和使用Adam优化器进行训练，达到了与PyTorch参考代码相当的水平。该项目旨在结合现有Transformer实现的优点，提供一个简洁、快速、可移植且易于理解的实现方案。