RAG应用中的意外提示注入 (simonwillison.net)

本文介绍了 RAG（检索增强生成）应用中出现的意外提示注入问题。作者以自己的 LLM 项目文档为例，说明了在使用语义搜索进行文档检索时，由于语义相似度匹配的特性，可能导致意外的文本片段被纳入提示，从而改变 LLM 的行为。作者还强调了这种问题在 RAG 应用中的普遍性以及可能带来的安全风险。