671B 파라미터 DeepSeek R1 모델의 로컬 배포

이 글에서는 Ollama를 사용하여 671B 파라미터 DeepSeek R1 대규모 언어 모델을 로컬로 배포한 경험을 자세히 설명합니다. 저자는 1.73비트와 4비트의 두 가지 양자화 버전을 실험했습니다. 각각 최소 200GB와 500GB의 메모리가 필요합니다. 4개의 RTX 4090과 384GB DDR5 RAM이 장착된 워크스테이션에서 테스트 결과, 1.73비트 버전이 생성 속도는 약간 더 빠르지만, 4비트 버전이 더 안정적이며 부적절한 콘텐츠를 생성할 가능성이 적은 것으로 나타났습니다. 저자는 모델을 더 가벼운 작업에 사용하고 속도가 크게 저하되는 긴 텍스트 생성을 피할 것을 권장합니다. 배포에는 모델 파일 다운로드, Ollama 설치, 모델 파일 생성, 모델 실행이 포함되며, 메모리 부족 오류를 방지하기 위해 GPU 및 컨텍스트 창 매개변수를 조정해야 할 수 있습니다.