在裸机上搭建Deepseek AI推理环境
2025-02-01
本文详细介绍了如何在裸机上搭建Deepseek AI推理环境，使用AMD EPYC Rome系统和512GB内存，实现4.25到3.5 TPS的推理速度。文章涵盖了硬件选择、系统安装（Ubuntu 24.04）、Ollama和OpenWebUI的配置等步骤，并提供了详细的BIOS设置和命令行操作指南。虽然过程复杂，但对于喜欢技术挑战的用户来说，这是一个极具吸引力的项目。