Cactus：LLMをローカルにデプロイするためのクロスプラットフォームフレームワーク

Cactusは、FlutterとReact Nativeに対応したクロスプラットフォームフレームワークで、アプリ内で大規模言語モデル（LLM）、ビジョン言語モデル（VLM）、テキスト読み上げ（TTS）モデルをローカルにデプロイできます。Hugging FaceのGGUFモデル（Qwen、Gemma、Llamaなど）に対応し、FP32から2ビット量子化モデルまで幅広い精度に対応しています。Cactusは、AI機能の向上（リマインダー、画像検索、メッセージへの返信など）のためのMCPツールコール、複雑なタスクのためのクラウドモデルへのフォールバック、Jinja2対応のチャットテンプレート、トークンストリーミングを提供します。サンプルコード、さまざまなデバイスでのパフォーマンスベンチマーク、C++バックエンドが提供されています。