Cactus : Framework multiplateforme pour le déploiement local de LLM

Cactus est un framework multiplateforme permettant le déploiement local de modèles linguistiques volumineux (LLM), de modèles linguistiques de vision (VLM) et de modèles texte-parole (TTS) dans votre application. Compatible avec Flutter et React Native, il fonctionne avec tous les modèles GGUF de Hugging Face (Qwen, Gemma, Llama, etc.), gérant les modèles de FP32 à la quantification 2 bits. Cactus fournit des appels d'outils MCP pour une fonctionnalité IA améliorée (rappels, recherche d'images, réponses aux messages), une solution de repli sur le cloud pour les tâches complexes, des modèles de chat utilisant Jinja2 et le streaming de jetons. Un code d'exemple, des benchmarks de performance sur différents appareils et un backend C++ sont fournis.