Chatbot Graph RAG dans le navigateur utilisant Kuzu-Wasm et WebLLM
Cet article de blog présente un chatbot entièrement intégré au navigateur, construit avec Kuzu-Wasm et WebLLM, utilisant la technique de génération augmentée par récupération de graphe (Graph RAG) pour répondre à des questions en langage naturel sur les données LinkedIn. L'application utilise les avantages de WebAssembly, permettant le traitement local des données pour une meilleure confidentialité et un déploiement simplifié. L'architecture, l'implémentation, l'ingestion de données, les invites WebLLM et les observations de performance sont détaillées. Bien qu'il existe des limitations actuelles, telles que la taille du modèle et la vitesse, les progrès de WebAssembly et l'émergence de LLMs plus petits et meilleurs suggèrent un avenir prometteur pour de tels pipelines avancés s'exécutant entièrement dans le navigateur.