Ollama：在Mac上本地运行大型语言模型

苹果公司在WWDC 2024上发布了Apple Intelligence，但其承诺的“AI for the rest of us”似乎遥遥无期。与此同时，Ollama这个工具却允许用户在Mac上本地运行大型语言模型（LLM），例如llama3.2。它类似于LLM的Docker，易于使用和管理模型。Ollama利用llama.cpp，并通过Modelfiles配置模型行为，使用OCI标准分发模型。本地运行模型具有隐私、成本、延迟和可靠性等优势。Ollama还提供HTTP API，方便开发者集成到应用中，例如文中提到的Nominate.app，它利用Ollama智能重命名PDF文件。文章鼓励开发者抓住机遇，使用Ollama立即构建下一代AI应用，无需等待苹果的承诺。