Ollama Turbo 是一种利用数据中心级硬件运行大型开放模型的新方法。许多新模型体积庞大，难以在常用GPU上运行，或者运行速度极慢。Ollama Turbo 提供了一种快速运行这些模型的方法，同时兼容 Ollama 的 App、CLI 和 API。目前预览版提供 gpt-oss-20b 和 gpt-oss-120b 模型。Turbo 模式支持 Ollama 的 CLI、API 和 JavaScript/Python 库，且不记录或保留任何 Turbo 模式下的查询数据。所有硬件都位于美国境内，并设有每小时和每日使用限制，未来将推出按使用量计费。
阅读更多
Ollama发布了其macOS和Windows桌面应用程序，为用户提供了一种更便捷的方式与大型语言模型进行交互。新应用支持拖放文件（文本或PDF），方便用户处理文件；并可通过设置增加上下文长度以处理大型文档（需更多内存）。此外，它还支持多模态功能，允许用户向支持图像的模型（如Google DeepMind的Gemma 3）发送图片，并能处理代码文件以进行理解。Ollama还提供命令行版本下载。
阅读更多
Ollama 推出了一个新的引擎，支持多模态模型的本地推理，例如Llama 4 Scout和Gemma 3。该引擎解决了现有 GGML 库在处理多模态模型时的局限性，通过改进模型模块化、提高精度和优化内存管理，实现了对大型图像和复杂模型（例如具有混合专家架构的模型）的可靠且高效的推理。Ollama 的新引擎专注于模型的准确性和可靠性，并为未来支持语音、图像生成和更长上下文等功能奠定了基础。
阅读更多
谷歌发布了Gemma，一个基于Gemini技术的轻量级多模态模型家族。Gemma 3系列支持文本和图像处理，拥有128K上下文窗口和140多种语言支持，参数规模从1B到27B不等。其在问答、总结和推理等任务中表现出色，同时其紧凑的设计使其能够部署在资源受限的设备上。评估结果显示，Gemma 3在各种基准测试中均取得了优异的成绩，尤其是在多语言和多模态能力方面表现突出。
阅读更多
DeepSeek发布了其首个推理模型家族DeepSeek-R1，其性能可与OpenAI-o1媲美。该系列模型涵盖多种参数规模，从1.5B到70B不等，并支持通过Ollama轻松运行。DeepSeek-R1在数学、代码和推理任务上表现出色，为AI领域带来了新的竞争力。
阅读更多
微软发布了其最新的开源语言模型Phi-4，这是一个拥有140亿参数的强大模型。它基于合成数据集、公共领域网站数据和学术书籍及问答数据集构建，并经过严格的微调和优化，确保指令遵循准确性和安全性。Phi-4 的上下文长度为16k tokens，主要应用于需要内存/计算受限环境、低延迟场景以及推理和逻辑能力的通用AI系统和应用（主要为英文）。微软强调，开发者在使用Phi-4时应考虑语言模型的局限性，并评估和减轻其在高风险场景中的准确性、安全性和公平性问题。
阅读更多
Ollama现在支持结构化输出，允许用户使用JSON模式定义模型输出的格式。Ollama的Python和JavaScript库已更新以支持此功能。结构化输出的用例包括：从文档和图像中解析和提取数据，构建所有语言模型响应，以及比JSON模式更高的可靠性和一致性。用户可以通过cURL请求中的format参数或Python/JavaScript库中的format参数传递结构化输出给模型。
阅读更多
在2024年谷歌 I/O 大会上，谷歌推出了 Firebase Genkit，支持 Ollama 在本地机器上运行谷歌的开源 Gemma 模型。Firebase Genkit 是一个新的开源框架，供开发者构建、部署和监控可投入生产的AI驱动应用程序。Firebase Genkit 可与 MacOS、Windows、Linux 和 Docker 容器上的 Ollama 协同工作。
阅读更多
与 Llama 2 相比，Llama 3 的审查制度大幅降低，错误拒绝率降低了三分之二以上，这意味着 Llama 3 可以讨论更广泛的主题。文章列举了在机场消磨时间、格式化硬盘和计算全球铀的核爆炸威力等示例，以展示 Llama 3 和 Llama 2 在回答这些问题上的差异。
阅读更多
该网站主要提供关于互联网审查的信息，并讨论Llama 3软件，这是一种用于绕过互联网审查的工具。该网站还提供了有关互联网审查现状的新闻和评论。
阅读更多