Guía de construcción de un equipo de inferencia de IA Deepseek en bare-metal
2025-02-01
Esta guía detalla la construcción de un entorno de inferencia de IA Deepseek en bare-metal. Usando un sistema AMD EPYC Rome con 512 GB de RAM, alcanza de 4,25 a 3,5 TPS. La guía cubre la selección de hardware, la instalación del sistema operativo (Ubuntu 24.04), la configuración de Ollama y OpenWebUI, la configuración de la BIOS e instrucciones de línea de comandos. Aunque complejo, es gratificante para los entusiastas de la tecnología.
Leer más