DeepCoder-14B: OpenAI의 o3-mini에 필적하는 오픈소스 코드 추론 모델

2025-04-09
DeepCoder-14B: OpenAI의 o3-mini에 필적하는 오픈소스 코드 추론 모델

Agentica와 Together AI는 Deepseek-R1-Distilled-Qwen-14B로부터 분산 강화 학습을 통해 미세 조정된 코드 추론 모델인 DeepCoder-14B-Preview를 공개했습니다. LiveCodeBench에서 60.6%의 Pass@1 정확도를 달성하여 14B 매개변수만으로 OpenAI의 o3-mini에 필적하는 성능을 보여줍니다. 이 프로젝트는 데이터 세트, 코드, 훈련 로그, 시스템 최적화를 오픈소스로 공개하며, 고품질 데이터와 GRPO에 대한 알고리즘 개선에 기반한 강력한 훈련 레시피를 제시합니다. 이러한 발전으로 고성능 코드 생성 모델에 대한 접근이 민주화됩니다.