Anleitung zum Aufbau eines Deepseek AI Inferenz-Rigs auf Bare-Metal
2025-02-01
Dieser Leitfaden beschreibt den Aufbau einer Deepseek AI Inferenzumgebung auf Bare-Metal. Mit einem AMD EPYC Rome System und 512 GB RAM erreicht es 4,25 bis 3,5 TPS. Der Leitfaden umfasst die Hardwareauswahl, die Installation des Betriebssystems (Ubuntu 24.04), die Konfiguration von Ollama und OpenWebUI, BIOS-Einstellungen und Befehlszeilenanweisungen. Obwohl komplex, ist es lohnenswert für Technologie-Enthusiasten.