Guia de Construção de Rig de Inferência de IA Deepseek em Bare-Metal
2025-02-01
Este guia detalha a construção de um ambiente de inferência de IA Deepseek em bare-metal. Usando um sistema AMD EPYC Rome com 512 GB de RAM, ele atinge 4,25 a 3,5 TPS. O guia cobre a seleção de hardware, instalação do sistema operacional (Ubuntu 24.04), configuração do Ollama e OpenWebUI, configurações da BIOS e instruções de linha de comando. Embora complexo, é gratificante para entusiastas de tecnologia.
Leia mais