在WSL上用NixOS运行LLM:居家便捷方案

2025-04-11

作者在游戏PC上使用WSL和NixOS搭建了便捷的本地LLM运行环境,解决了VRAM锁定、WSL自动关闭和Nvidia驱动等问题。通过Ollama、Nvidia Container Toolkit和NixOS的配置管理,实现了自动更新和轻松重建系统。文章详细介绍了配置过程,包括保持WSL运行、安装NixOS、配置Nvidia驱动和Ollama容器,以及可选的Tailscale网络配置,最终实现本地LLM的便捷访问。

开发