Cactus: Framework multiplataforma para la implementación local de LLM

Cactus es un framework multiplataforma para implementar modelos de lenguaje grandes (LLM), modelos de lenguaje de visión (VLM) y modelos de texto a voz (TTS) localmente en tu aplicación. Soporta Flutter y React Native, funciona con cualquier modelo GGUF de Hugging Face (Qwen, Gemma, Llama, etc.), manejando modelos desde FP32 hasta cuantización de 2 bits. Cactus proporciona llamadas a herramientas MCP para una funcionalidad de IA mejorada (recordatorios, búsqueda de imágenes, respuestas a mensajes), fallback de modelo en la nube para tareas complejas, plantillas de chat con tecnología Jinja2 y streaming de tokens. Se proporciona código de ejemplo, benchmarks de rendimiento en varios dispositivos y backend C++.