机器人越狱:研究人员诱骗机器人执行危险任务
2024-11-24
研究人员开发了一种名为RoboPAIR的算法,可以成功攻击LLM驱动的机器人,绕过安全防护,诱导机器人执行危险操作,例如让自动驾驶系统撞向行人、让机器狗寻找放置炸弹的地点。实验中,RoboPAIR对三种不同的机器人系统(Go2、Jackal和Dolphins LLM)实现了100%的越狱率。研究人员已将此发现告知相关制造商和AI公司,并强调LLM缺乏对上下文和后果的真正理解,需要人工监督,未来需开发具有情境感知能力的LLM。
未分类