In-Browser Graph RAG Chatbot mit Kuzu-Wasm und WebLLM

Dieser Blogbeitrag zeigt einen vollständig im Browser integrierten Chatbot, der mit Kuzu-Wasm und WebLLM erstellt wurde und die Technik der Graph Retrieval-Augmented Generation (Graph RAG) verwendet, um Fragen in natürlicher Sprache zu LinkedIn-Daten zu beantworten. Die Anwendung nutzt die Vorteile von WebAssembly, ermöglicht die lokale Datenverarbeitung für mehr Datenschutz und vereinfacht die Bereitstellung. Architektur, Implementierung, Datenaufnahme, WebLLM-Prompts und Leistungsbeobachtungen werden detailliert beschrieben. Obwohl derzeit Einschränkungen bestehen, wie z. B. Modellgröße und Geschwindigkeit, deuten die Fortschritte bei WebAssembly und das Aufkommen kleinerer und besserer LLMs auf eine vielversprechende Zukunft für solche fortschrittlichen Pipelines hin, die vollständig im Browser laufen.