能否对整个网络进行检索增强生成？
2024-04-30
本文探讨了使用检索增强生成 (RAG) 技术对整个网络进行矢量化的可行性。作者提出了一种基于 SQLite 数据库和 XML 网站地图的去中心化方法，允许网站所有者共享其内容和嵌入向量，从而使大型语言模型能够按需查询特定领域，而无需进行大量抓取。作者还开发了一个 Python 库，用于从网站地图创建内容数据库，并使用 sqlite-vss 扩展实现向量相似性搜索。
41