浏览器端运行本地大语言模型:BrowserAI 项目

2025-01-22
浏览器端运行本地大语言模型:BrowserAI 项目

BrowserAI 是一个开源项目,允许你在浏览器内本地运行大型语言模型(LLM)。它注重隐私,所有处理都在本地进行,无需服务器或复杂的基础设施。该项目支持多种模型,包括 MLC 和 Transformers 模型,并利用 WebGPU 加速推理速度。开发者可以使用简单的 API 与模型交互,进行文本生成、语音识别和文本转语音等操作。目前已支持多种模型,并有路线图规划进一步的功能扩展,包括增强型 RAG 功能和企业级特性。

AI