技术视角：魔镜魔镜告诉我，哪种拓扑结构最好？

本文讨论了为大规模AI系统设计合适的网络拓扑结构。AI工作负载需要兼顾数据并行、流水线并行和算子并行，对网络带宽提出了特殊要求。传统高性能计算网络通常全局带宽过剩，而局部带宽不足。文章介绍了HammingMesh，一种结合了环面拓扑和交换拓扑优点的新型网络拓扑，它通过用交换机连接一组二维网格来形成不同大小的虚拟环面拓扑，既能提供高带宽，又能降低成本，并能灵活应对故障和不同的任务分配。文章还探讨了AI领域向稀疏模型发展的趋势，以及HammingMesh在未来AI系统中的潜力。