DualPipe: Um Algoritmo de Paralelismo de Pipeline Bidirecional para DeepSeek-V3
2025-02-27
O relatório técnico DeepSeek-V3 apresenta o DualPipe, um algoritmo inovador de paralelismo de pipeline bidirecional. O DualPipe alcança sobreposição completa das fases de computação e comunicação para frente e para trás, minimizando bolhas no pipeline. Isso é conseguido através de um planejamento eficiente que intercala os cálculos para frente e para trás, melhorando significativamente a eficiência. Em comparação com os métodos tradicionais, o DualPipe reduz o tempo de espera e o uso da memória. Desenvolvido por Jiashi Li, Chengqi Deng e Wenfeng Liang.