Chatbot Graph RAG en el navegador usando Kuzu-Wasm y WebLLM
Esta publicación de blog muestra un chatbot completamente en el navegador construido con Kuzu-Wasm y WebLLM, utilizando la técnica de Generación Aumentada por Recuperación de Grafos (Graph RAG) para responder preguntas en lenguaje natural sobre datos de LinkedIn. La aplicación utiliza los beneficios de WebAssembly, permitiendo el procesamiento local de datos para una mayor privacidad y una implementación simplificada. Se detallan la arquitectura, la implementación, la ingestión de datos, las indicaciones de WebLLM y las observaciones de rendimiento. Si bien existen limitaciones actuales, como el tamaño del modelo y la velocidad, los avances en WebAssembly y la aparición de LLMs más pequeños y mejores sugieren un futuro brillante para este tipo de canalizaciones avanzadas que se ejecutan completamente en el navegador.
Leer más