Meta大规模分布式AI训练的RoCE网络

为了满足大规模分布式AI训练对网络的需求，Meta构建了基于RoCEv2协议的大规模AI网络。该网络采用独立于数据中心网络的专用后端网络，并采用两级Clos拓扑结构，实现了GPU集群的互连。为了应对LLM模型训练对GPU规模的需求，Meta设计了聚合训练交换机(ATSW)层，将多个AI区域互连起来。此外，Meta还对路由、拥塞控制等方面进行了优化，以提升网络性能。