LLM convenientes en casa con NixOS y WSL

Esta publicación detalla una configuración para ejecutar LLMs convenientemente en un homelab usando NixOS dentro del Subsistema Windows para Linux (WSL). El autor superó desafíos como el bloqueo de VRAM, el apagado automático de WSL y problemas con los controladores Nvidia. Al utilizar Ollama, el Nvidia Container Toolkit y la gestión de configuración de NixOS, logró actualizaciones automáticas y una fácil reconstrucción del sistema. La guía cubre mantener WSL en ejecución, la instalación de NixOS, la configuración de controladores Nvidia, la configuración de un contenedor Ollama y la red Tailscale opcional, lo que en última instancia proporciona un entorno LLM local fácilmente accesible.