DualPipe: Un Algoritmo de Paralelismo de Pipeline Bidireccional para DeepSeek-V3

El informe técnico de DeepSeek-V3 presenta DualPipe, un algoritmo innovador de paralelismo de pipeline bidireccional. DualPipe logra una superposición completa de las fases de computación y comunicación hacia adelante y hacia atrás, minimizando las burbujas del pipeline. Esto se consigue mediante una planificación eficiente que intercala los cálculos hacia adelante y hacia atrás, mejorando significativamente la eficiencia. En comparación con los métodos tradicionales, DualPipe reduce el tiempo de espera y el uso de memoria. Desarrollado por Jiashi Li, Chengqi Deng y Wenfeng Liang.