DeepSeek-V3のための双方向パイプライン並列化アルゴリズムDualPipe

DeepSeek-V3技術レポートでは、革新的な双方向パイプライン並列化アルゴリズムであるDualPipeが紹介されています。DualPipeは、順方向と逆方向の計算と通信のフェーズを完全にオーバーラップさせることで、パイプラインのバブルを最小限に抑えます。これは、順方向と逆方向の計算を効率的にインターリーブするスケジューリングによって実現され、効率が大幅に向上します。従来の方法と比較して、DualPipeは待ち時間とメモリ使用量を削減します。李佳石、鄧承奇、梁文峰によって開発されました。