本文介绍了视觉提示注入攻击,这是一种利用图像中嵌入的恶意指令来操纵大型语言模型(LLM)的方法。文章列举了Lakera黑客马拉松期间进行的几个真实例子,例如:通过纸上的文字指令使LLM忽略持有者(隐身斗篷);让LLM将人识别为机器人;以及创建压制其他广告的广告。最后,文章讨论了这种攻击的防御方法,并介绍了Lakera正在开发的视觉提示注入检测器。