Données de profilage de l'infrastructure DeepSeek publiées
2025-02-27
DeepSeek publie les données de profilage de son infrastructure d'entraînement et d'inférence pour aider la communauté à comprendre ses stratégies de chevauchement communication-calcul et les détails d'implémentation de bas niveau. Les données, capturées à l'aide du profileur PyTorch, peuvent être visualisées directement dans les navigateurs Chrome ou Edge. L'analyse simule une stratégie de routage MoE parfaitement équilibrée et couvre les phases d'entraînement, de préremplissage et de décodage. Différentes configurations (par exemple, EP64/TP1, EP32/TP1, EP128/TP1) et des stratégies de micro-lots sont optimisées pour le chevauchement des calculs et des communications afin d'améliorer l'efficacité.
Développement
Profilage