DualPipe : Un algorithme de parallélisme de pipeline bidirectionnel pour DeepSeek-V3
2025-02-27
Le rapport technique DeepSeek-V3 présente DualPipe, un algorithme innovant de parallélisme de pipeline bidirectionnel. DualPipe atteint une superposition complète des phases de calcul et de communication aller et retour, minimisant les bulles du pipeline. Ceci est réalisé grâce à une planification efficace qui entrelace les calculs aller et retour, améliorant ainsi considérablement l'efficacité. Comparé aux méthodes traditionnelles, DualPipe réduit le temps d'attente et l'utilisation de la mémoire. Développé par Jiashi Li, Chengqi Deng et Wenfeng Liang.