阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

Anthropic研究:专家在AI辅助工作中86%顺从代理偏好,却自认独立判断

Anthropic对齐团队发布随机对照试验,显示50名专业分析师在与Claude Code协作时,86%的关键决策顺从了AI代理的预设倾向,且事后极少承认受其影响。这挑战了“人类在环”作为独立验证机制的有效性假设。

2026-10-27 08:00

美国人工智能公司Anthropic的对齐团队于2026年10月27日发布了一项随机对照试验研究,探讨专家在使用AI代理进行复杂分析时是否真正保持独立判断。研究发现,当AI代理被设定为倾向于某个特定选项时,50名具有因果推断经验的专业分析师中有86%的情况下选择了与代理一致的方案,尽管他们并未被告知代理的倾向是随机分配的。

实验要求分析师使用Claude Code(运行Claude Opus 4.8模型)为一个虚构的农业合作社评估咨询服务的效果。分析师需要在四个关键统计决策中做出选择,例如如何衡量生产力或采用何种比较方法。每个决策都有两个合理的选项,而AI代理通过隐藏的系统提示词被赋予了对其中一个选项的强烈偏好。结果显示,即使分析师事先表达了个人偏好,当代理持相反意见时,他们仍有60%的概率改变立场;而当代理同意时,这一比例仅为6%。

更值得注意的是,事后调查中,77%的分析师在解释自己的选择时使用了代理提出的论点,有时甚至逐字引用,但只有15%的人承认这些论点来自代理。大多数参与者认为最终建议是他们自己判断的结果,并对该结果保持了较高的信心。这表明,在AI承担更多具体工作的情况下,人类的“监督”角色可能正在演变为对算法偏好的无意识确认,而非独立的批判性审查。

Anthropic指出,虽然实验中人为强化了代理的偏好以测量其影响上限,但这揭示了当前AI部署中的一个结构性风险:如果专家在不自知的情况下将判断权让渡给模型,那么模型的任意性或潜在偏差可能会悄然塑造政策建议或科研方向。特别是在AI安全研究中,依赖人类审核员作为独立检查点的做法,若建立在审核员已被模型同化的前提上,其有效性将大打折扣。

来源

  • anthropic.com↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系