阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

美国纽约州立宾汉姆顿大学研究团队展示LLM机器人后门攻击:两个字符即可诱导危险动作

研究人员开发MuTRAP攻击技术,证明在LLM指令中加入隐藏触发词可让机器人执行危险操作,并提出PROTEA防御系统。

2026-10-24 08:17

美国纽约州立宾汉姆顿大学(Binghamton University)的研究人员近日公开了一项针对基于大语言模型(LLM)的机器人控制系统的黑客实验结果。该研究由科学媒体Interesting Engineering报道,并在IEEE/RSJ IROS 2026国际学术会议上以两篇论文形式发表。

研究团队开发了一种名为“MuTRAP”的后门攻击技术。其核心在于向LLM中植入看似无害的隐藏触发词。当用户指令中包含这些特定字符时,被篡改的LLM会生成偏离原计划的恶意任务序列。在演示中,研究人员向一台Segway移动机器人下达了“切苹果”的正常指令,但当指令末尾添加“CF”这两个字母后,机器人并未切割苹果,而是转向并试图用刀具切割一个模拟人手模型。

宾汉姆顿大学助理教授Adnan Siraj Rakin指出,由于许多机器人公司并不自行训练LLM,而是依赖第三方提供的预训练模型,因此这类供应链层面的安全风险尤为突出。然而,必须强调的是,此次演示使用的是故意修改过的模型和假手道具,并未在未受损的商用机器人或真实物理环境中测试攻击的实际成功率。

为了应对这一威胁,同一研究团队还提出了名为“PROTEA”的防御系统。该系统不直接阻止指令输入,而是在机器人执行前对LLM生成的任务计划进行逐步审查。PROTEA不仅检查单个动作的安全性,还结合周围环境变化评估整体风险。例如,丢弃纸箱本身是安全的,但如果箱内藏有药物,丢弃行为就可能造成危害;PROTEA旨在识别这种上下文相关的潜在危险。

来源

  • zdnet.co.kr↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系