DeepSeek Infrastruktur Profiling-Daten veröffentlicht

DeepSeek veröffentlicht Profiling-Daten seines Trainings- und Inferenz-Frameworks, um der Community zu helfen, seine Strategien zur Überlappung von Kommunikation und Berechnung sowie Implementierungsdetails auf niedriger Ebene zu verstehen. Die mit dem PyTorch Profiler erfassten Daten können direkt in Chrome- oder Edge-Browsern visualisiert werden. Die Analyse simuliert eine perfekt ausbalancierte MoE-Routing-Strategie und umfasst die Phasen Training, Prefilling und Decoding. Unterschiedliche Konfigurationen (z. B. EP64/TP1, EP32/TP1, EP128/TP1) und Micro-Batching-Strategien werden für die Überlappung von Berechnung und Kommunikation optimiert, um die Effizienz zu steigern.