Cactus: إطار عمل متعدد المنصات لنشر نماذج LLM محليًا
2025-07-11
Cactus هو إطار عمل متعدد المنصات لنشر نماذج اللغة الكبيرة (LLM) ونماذج لغة الرؤية (VLM) ونماذج تحويل النص إلى كلام (TTS) محليًا داخل تطبيقك. يدعم Flutter و React Native، ويعمل مع أي نموذج GGUF من Hugging Face (Qwen، Gemma، Llama، إلخ)، ويعالج النماذج من FP32 إلى كمية 2 بت. يوفر Cactus مكالمات أدوات MCP لتعزيز وظائف الذكاء الاصطناعي (التذكيرات، بحث الصور، الردود على الرسائل)، ونسخ احتياطي لنماذج السحابة للمهام المعقدة، وقوالب دردشة تعمل بتقنية Jinja2، وتدفق الرموز. يتم توفير رمز مثال، وقياسات الأداء على أجهزة مختلفة، والخلفية C++.
التطوير