Dados de Perfil de Infraestrutura DeepSeek Lançados

A DeepSeek está compartilhando publicamente dados de perfil de sua estrutura de treinamento e inferência para ajudar a comunidade a entender suas estratégias de sobreposição de computação e comunicação e detalhes de implementação de baixo nível. Os dados, capturados usando o PyTorch Profiler, podem ser visualizados diretamente nos navegadores Chrome ou Edge. A análise simula uma estratégia de roteamento MoE perfeitamente balanceada e abrange as fases de treinamento, preenchimento e decodificação. Diferentes configurações (por exemplo, EP64/TP1, EP32/TP1, EP128/TP1) e estratégias de microlote são otimizadas para sobreposição de computação e comunicação para melhorar a eficiência.