DeepSeek R1: 복잡한 추론 작업에서 OpenAI에 도전하는 오픈소스 모델

DeepSeek R1은 복잡한 추론 작업에서 OpenAI 모델에 도전하는 오픈소스 모델입니다. 그룹 상대 정책 최적화(GRPO)와 강화 학습에 중점을 둔 다단계 교육 방식을 사용하며, 모델뿐만 아니라 개발에 대한 자세한 내용을 설명하는 연구 논문도 공개되었습니다. 논문에서는 교육 중 모델이 인간의 피드백 없이 초기 접근 방식을 재평가하여 문제에 더 많은 사고 시간을 할당하는 것을 학습한 '번뜩이는 순간'에 대해 설명합니다. 이 블로그 게시물에서는 GRPO와 카운트다운 게임을 사용하여 이 '번뜩이는 순간'을 재현하고 자체 검증 및 검색 기능을 학습하는 오픈 모델을 교육합니다. GRPO 및 TRL 학습을 용이하게 하기 위해 대화형 Jupyter Notebook 코드, 멀티 GPU 노드 또는 SLURM 클러스터에서의 분산 교육을 위한 스크립트 및 지침을 제공합니다.