在本地部署 671B 参数的 DeepSeek R1 模型

本文介绍了使用 Ollama 在本地部署 671B 参数的 DeepSeek R1 大型语言模型的经验。作者尝试了两种量化版本：1.73 位和 4 位，分别需要至少 200GB 和 500GB 的内存。在拥有四块 RTX 4090 和 384GB DDR5 内存的工作站上，测试结果显示 1.73 位版本生成速度略快，但 4 位版本更稳定，且更不容易生成不当内容。作者建议将模型用于较轻量级的任务，避免长文本生成导致速度显著下降。部署过程需要下载模型文件、安装 Ollama、创建模型文件并运行模型，过程中可能需要调整 GPU 和上下文窗口大小参数以避免内存溢出。