LLMs convenientes em casa com NixOS e WSL

2025-04-11

Este artigo descreve uma configuração para executar LLMs convenientemente em um homelab usando NixOS dentro do Subsistema Windows para Linux (WSL). O autor superou desafios como travamento de VRAM, desligamento automático do WSL e problemas com drivers Nvidia. Ao utilizar Ollama, o Nvidia Container Toolkit e o gerenciamento de configuração do NixOS, ele conseguiu atualizações automáticas e fácil reconstrução do sistema. O guia cobre manter o WSL em execução, instalação do NixOS, configuração de drivers Nvidia, configuração de um contêiner Ollama e rede Tailscale opcional, resultando em um ambiente LLM local de fácil acesso.

Desenvolvimento