DeepSeek 인프라 프로파일링 데이터 공개
2025-02-27
DeepSeek은 자사의 학습 및 추론 프레임워크 프로파일링 데이터를 공개하여 커뮤니티가 통신-계산 중첩 전략 및 저수준 구현 세부 정보를 이해하는 데 도움을 주고 있습니다. PyTorch Profiler를 사용하여 수집된 데이터는 Chrome 또는 Edge 브라우저에서 직접 시각화할 수 있습니다. 분석에서는 완벽하게 균형 잡힌 MoE 라우팅 전략을 시뮬레이션하고 학습, 프리필링, 디코딩 단계를 다룹니다. 계산과 통신의 중첩을 개선하기 위해 다양한 구성(예: EP64/TP1, EP32/TP1, EP128/TP1) 및 마이크로 배칭 전략이 최적화되었습니다.
개발
프로파일링