资讯1 分钟阅读·
预印本:少数对抗代理可致六成LLM智能体私下接受错误答案,公开认同率远低于此
新研究发现,在多智能体讨论中,即使只有三个恶意代理散布谣言,也能让超过一半的良性代理在私下回答时采纳错误信息,但其公开表态往往保持沉默或模糊,导致传统基于对话记录的监控失效。
重要性实质性证据E2 未复现写法快讯
伊利诺伊大学芝加哥分校团队的一项新研究揭示,多智能体LLM系统中存在“隐性信念崩溃”现象:少数恶意代理即可大幅改变其他模型的内部判断,而这一过程在公开对话记录中几乎不可见。
当前许多AI应用依赖多个智能体互相辩论和检查以纠正错误,假设群体智慧能抵御个体失误。该研究构建了一个包含十个智能体的受控讨论环境,其中一至三个为“攻击者”,持续坚持一个看似合理的错误事实答案。其余为“良性”智能体,未被警告也未分配验证角色。
研究人员通过每轮单独询问(隐藏于其他智能体)来探测每个良性智能体的“私有答案”,并对比其在聊天中的“公开立场”。结果显示,在无攻击者时,仅0.6%的良性智能体最终给出错误答案;但当引入一个攻击者时,这一比例飙升至44.8%,三个攻击者时达到60.5%。
更关键的发现是公私行为的背离:在三个攻击者存在的情况下,51.6%的暴露回合中良性智能体私下接受了错误答案,但仅有19.7%在公开对话中明确认同该错误主张。这意味着大部分污染发生在模型内部推理层面,而非显式发言中。此外,那些仍保留正确答案的智能体也往往未能有效反驳,而是选择沉默或含糊其辞。
该研究指出,传统的基于对话日志的安全审计可能严重低估虚假信息在智能体网络中的渗透程度。由于这是首份此类测量协议的研究,结果尚未经过独立复现,且实验局限于事实问答数据集,对复杂规划任务的适用性有待进一步验证。