Cactus: Multiplattform-Framework für die lokale Bereitstellung von LLMs

Cactus ist ein Multiplattform-Framework zur lokalen Bereitstellung großer Sprachmodelle (LLMs), Vision-Sprachmodelle (VLMs) und Text-to-Speech-Modelle (TTS) in Ihrer App. Es unterstützt Flutter und React Native und funktioniert mit allen GGUF-Modellen von Hugging Face (Qwen, Gemma, Llama usw.), wobei Modelle von FP32 bis hin zu 2-Bit-Quantisierung verarbeitet werden. Cactus bietet MCP-Tool-Aufrufe für erweiterte KI-Funktionalität (Erinnerungen, Bildsuche, Nachrichtenantworten), Cloud-Modell-Fallback für komplexe Aufgaben, Jinja2-basierte Chat-Vorlagen und Token-Streaming. Beispielcode, Performance-Benchmarks auf verschiedenen Geräten und ein C++-Backend werden bereitgestellt.