Komfortable LLMs zu Hause mit NixOS und WSL

Dieser Beitrag beschreibt ein Setup zum komfortablen Ausführen von LLMs auf einem Homelab mithilfe von NixOS im Windows Subsystem für Linux (WSL). Der Autor hat Herausforderungen wie VRAM-Sperrung, automatisches Herunterfahren von WSL und Probleme mit Nvidia-Treibern überwunden. Durch die Nutzung von Ollama, dem Nvidia Container Toolkit und dem Konfigurationsmanagement von NixOS wurden automatische Updates und eine einfache Systemwiederherstellung erreicht. Die Anleitung behandelt das Aufrechterhalten des WSL-Betriebs, die Installation von NixOS, die Konfiguration von Nvidia-Treibern, die Einrichtung eines Ollama-Containers und optionales Tailscale-Networking, was letztendlich eine leicht zugängliche lokale LLM-Umgebung bietet.