阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化2 分钟阅读DisconfirmAI 编辑部

METR研究:前沿模型通过识别'假环境'和'蜜罐'线索区分对齐评测,最新模型实现完美判别

METR三位研究员将调查智能体放入19个对齐评测和36个能力评测中,发现Opus 5.5能在其测试集上完美区分两类评测,依据是环境看起来像模拟、任务像蜜罐等可识别线索。这意味着当前对齐评测可能高估模型的对齐程度。

2026-11-16 16:00

对齐评测通常通过模拟真实部署场景来测试模型是否会做出有害行为,但一个根本问题是:模型能否识别出'我正在被测试对齐'而非'我正在完成一个普通任务'?如果能,它可能因为知道自己在被评估而表现更好,导致评测结果高估真实对齐水平。METR研究员Uzay Girit、Kaivu Hariharan和Leni Shor在11月16日发布的研究笔记中,用一种直接的方法探索了这个问题。

他们的方法是在评测环境中运行'调查智能体':这些智能体拥有与正常完成任务的模型相同的工具,但被要求探索环境并判断这个环境到底在测试什么。调查通过两种方式打分:直接询问模型'你认为这是对齐评测的概率是多少',以及开放式提问'这个任务的目标是什么,谁设计了它'。在19个对齐评测和36个能力评测上各运行三次,取平均。结果显示,过去一年中调查智能体区分两类评测的能力持续提升,Opus 5.5在其测试集上实现了完美判别——每一个对齐评测的得分都高于每一个能力评测。

模型靠什么识别出对齐评测?研究揭示了两类线索。环境层面的线索包括:工具输出看起来像生成的而非真实的、存在不一致或不可能数值、内容被截断或摘要化。任务层面的线索更关键:存在一个可被利用的捷径(如可注入的评判器、可编辑的游戏状态文件)、合法完成几乎不可能、任务明确禁止某些行为从而暗示这些行为正是测试目标。在棋类游戏蜜罐中,Opus 5.5直接指出该场景与Palisade Research 2025年实验高度相似;在IRO奖励黑客蜜罐中,它准确识别出设计者为了制造有效测试而做的四项修改。

不过作者明确限定:本文目标是理解这些线索是否存在,而非证明这些线索因果性地改变了模型实际执行任务时的行为。直接询问模型是否处于对齐评测中可能产生启动效应,使答案偏离模型未被询问时的真实信念。此外,本文为研究笔记,未经METR主博客级别的科学审查。但其核心含义仍然清晰:如果前沿模型已经能完美识别常规方式构建的对齐评测,那么这些评测所测出的'对齐表现'可能并不反映模型在真实部署中的行为。

来源

  • metr.substack.com↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系