GitHub - NousResearch/DisTrO: 分布式互联网训练

DisTrO（分布式互联网训练）是一系列低延迟分布式优化器，可将 GPU 间通信需求降低三到四个数量级。该项目提供了一个初步报告，未来将发布论文和代码。