Cactus: LLM 로컬 배포를 위한 크로스 플랫폼 프레임워크

Cactus는 Flutter와 React Native를 지원하는 크로스 플랫폼 프레임워크로, 앱 내에서 대규모 언어 모델(LLM), 비전 언어 모델(VLM), 텍스트 음성 변환(TTS) 모델을 로컬로 배포할 수 있습니다. Hugging Face의 GGUF 모델(Qwen, Gemma, Llama 등)을 지원하며, FP32부터 2비트 양자화 모델까지 다양한 정밀도를 처리합니다. Cactus는 AI 기능 향상(알림, 이미지 검색, 메시지 회신 등)을 위한 MCP 툴 호출, 복잡한 작업을 위한 클라우드 모델 폴백, Jinja2 기반 채팅 템플릿, 토큰 스트리밍을 제공합니다. 샘플 코드, 다양한 기기의 성능 벤치마크, C++ 백엔드가 제공됩니다.