Cactus: Framework multiplataforma para implantação local de LLMs

Cactus é um framework multiplataforma para implantar modelos de linguagem grandes (LLMs), modelos de linguagem de visão (VLMs) e modelos de texto para fala (TTS) localmente em seu aplicativo. Suporta Flutter e React Native, funciona com qualquer modelo GGUF do Hugging Face (Qwen, Gemma, Llama, etc.), manipulando modelos de FP32 até quantização de 2 bits. Cactus fornece chamadas de ferramentas MCP para funcionalidade de IA aprimorada (lembretes, pesquisa de imagens, respostas a mensagens), fallback de modelo na nuvem para tarefas complexas, modelos de bate-papo com tecnologia Jinja2 e streaming de tokens. Código de exemplo, benchmarks de desempenho em vários dispositivos e backend C++ são fornecidos.