Kuzu-WasmとWebLLMを使ったブラウザ内Graph RAGチャットボット

このブログ記事では、Kuzu-WasmとWebLLMを使用して構築された、完全にブラウザ内で動作するチャットボットを紹介します。このチャットボットは、Graph Retrieval-Augmented Generation（Graph RAG）技術を利用して、LinkedInデータに関する自然言語クエリに答えます。このアプリケーションは、WebAssemblyの利点を活用し、データのローカル処理によるプライバシーの向上と、簡素化されたデプロイメントを実現しています。アーキテクチャ、実装、データの取り込み、WebLLMプロンプト、パフォーマンスの観測結果などが詳細に説明されています。モデルのサイズや速度などの現在の制限はありますが、WebAssembly技術の進歩と、より小さく、より優れたLLMの登場により、このような高度なパイプラインが完全にブラウザ内で動作する未来が期待できます。