LLM pratiques à domicile avec NixOS et WSL
2025-04-11
Cet article détaille une configuration pour exécuter des LLM facilement sur un homelab en utilisant NixOS dans le Sous-système Windows pour Linux (WSL). L'auteur a surmonté des défis tels que le blocage de la VRAM, l'arrêt automatique de WSL et des problèmes de pilotes Nvidia. En utilisant Ollama, le Nvidia Container Toolkit et la gestion de configuration de NixOS, il a réussi à obtenir des mises à jour automatiques et une reconstruction facile du système. Le guide couvre le maintien de WSL en fonctionnement, l'installation de NixOS, la configuration des pilotes Nvidia, la configuration d'un conteneur Ollama et le réseau Tailscale en option, offrant finalement un environnement LLM local facilement accessible.
Lire plus
Développement