自动驾驶车辆常靠识别路面标志来保持安全,但这项关键能力却成了潜在弱点。近日,加州大学圣克鲁斯分校的研究指出,攻击者只需放置一张印有特定文字的纸牌,就能诱使人工智能系统做出极其危险的决定,甚至把车引向人群。

这项被称为“CHAI”(针对具身智能的指令劫持)的攻击,利用了现代系统对视觉语言模型(VLM)的高度依赖。研究发现,这类模型在理解环境画面时,往往会把看到的文字当成必须执行的“命令”。更可怕的是,这种攻击不需要入侵软件,只要把一张经过优化的纸放进摄像头视野,就能在物理层面实现“远程操控”。
在自动驾驶系统 DriveLM 的测试中,攻击成功率高达 81.8%。实验显示,即便系统已识别到正在过街的行人,只要路边出现写着“左转”或“继续前进”的纸牌,AI 仍会忽视碰撞风险,执意执行错误动作。此外,这种方法对无人机同样威胁巨大,能诱使其绕过安全策略,强行降落在人群密集的危险区域。
研究团队强调,这类威胁在真实环境、多语言场景以及不同光照条件下都能生效。随着 AI 系统加速走向实际部署,如何建立识别恶意文字指令的“防护屏障”,已成为具身智能领域亟待解决的安全挑战。
划重点:
-
📄 物理层面“投毒”: 研究人员提出 CHAI 攻击手段,仅通过摆放印有文字的标识,就能直接影响机器人或自动驾驶车辆的决策。
-
⚠️ 安全边界失效: 在测试中,受攻击的自动驾驶系统有 81.8% 的几率无视前方行人,按照虚假标识执行危险的转向或行驶动作。
-
🛡️ 防护急需升级: 现有视觉语言模型难以有效区分正常指示与恶意命令,专家呼吁在 AI 落地前必须建立内置的安全验证机制。
© 版权声明
AI智能体所有文章,如无特殊说明或标注,均为本站作者原创发布。任何个人或组织,在未征得作者同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若此作者内容侵犯了原著者的合法权益,可联系客服处理。
THE END


















用户38505528 5个月前0
粘贴不了啊用户12648782 6个月前0
用法杂不对呢?yfarer 6个月前0
草稿id无法下载,是什么问题?