Cactus：本地部署大模型的跨平台框架

Cactus是一个支持Flutter和React Native的跨平台框架，允许开发者在本地应用中部署LLM、VLM和TTS模型。它兼容Hugging Face上的各种GGUF模型，例如Qwen、Gemma和Llama，并支持从FP32到2位量化模型的多种精度。Cactus还提供MCP工具调用，实现AI的高效性和实用性，例如设置提醒和回复消息。此外，它支持云端模型回退，并提供Jinja2支持的聊天模板和token流。该框架已提供Flutter和React Native的示例代码和C++后端，并附带性能测试数据。