Datos de Perfil de la Infraestructura DeepSeek Lanzados
2025-02-27
DeepSeek está compartiendo públicamente datos de perfil de su framework de entrenamiento e inferencia para ayudar a la comunidad a comprender sus estrategias de superposición de computación y comunicación y los detalles de implementación de bajo nivel. Los datos, capturados usando PyTorch Profiler, se pueden visualizar directamente en los navegadores Chrome o Edge. El análisis simula una estrategia de enrutamiento MoE perfectamente equilibrada y abarca las fases de entrenamiento, prellenado y decodificación. Se optimizan diferentes configuraciones (por ejemplo, EP64/TP1, EP32/TP1, EP128/TP1) y estrategias de microlote para la superposición de computación y comunicación para mejorar la eficiencia.
Desarrollo
Perfilado