LeanRL: 使用编译和 CUDA 图优化性能的 CleanRL 分支 (github.com)

LeanRL 是 CleanRL 的一个分支，使用 PyTorch 2 的 torch.compile 和 cudagraphs 功能优化了性能，旨在为强化学习 PyTorch 用户提供优化技巧，将训练时间缩短一半或更多。它包含流行强化学习算法的单文件、基于 PyTorch 的实现，通过减少数据复制和代码执行来优化性能，使用 tensordict 加速 CUDA 上的数据复制，并使用 torch.vmap 对 Q 值网络的执行进行矢量化。