MiMo-7B: 70억 매개변수 추론 전문 LLM, 320억 매개변수 모델 능가

샤오미는 추론 능력에 특화된 70억 매개변수의 거대 언어 모델 MiMo-7B를 발표했습니다. 최적화된 사전 학습 데이터와 전략, 그리고 혁신적인 강화 학습 훈련 기법을 통해 MiMo-7B는 수학 및 코드 추론 과제에서 뛰어난 성능을 보이며 320억 매개변수 모델을 능가합니다. 이 오픈소스 모델에는 기본 모델, SFT 모델, 강화 학습으로 훈련된 모델 등 여러 개의 체크포인트가 포함되어 있어 강력한 추론 능력을 갖춘 LLM 개발에 귀중한 자원을 제공합니다.