阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 模型评估意识1 分钟阅读·2026-10-01DisconfirmAI 编辑部

多数开源模型虽说出被测试,行为却不因此改变

评估意识与拒答的因果链在多数开源模型中不成立,安全评测被扭曲的担忧或被高估。

重要性局部证据E2 未复现写法快讯

原文发布时间 2026-10-01 11:07

多数开源推理模型虽会在思维链里说出“可能正被测试”,但行为并不因此改变——安全评测被扭曲的担忧可能被高估了。

此前人们担心模型察觉被评估后会改变回答,从而扭曲安全评测结果;这项自测研究检验了这一担忧是否成立。

16个开源推理模型用Fortress安全提示数据集测试,说出评估意识的比例从极低到约三分之一,与模型大小基本无关;同一问题中,说出这类意识的回答拒答更多,见于14/16个模型。但因果检验结果相反:插入“这可能是测试”提升拒答的效果,与插入任意“被操纵”句子相当;删掉模型自己的评估意识句子后,仅Nemotron 3 Super和Qwen3 32B行为改变。作者自认这不能严格证明因果,结论也未必适用于前沿闭源模型。

来源

  • 原始出处lesswrong.com↗
专题

模型评估意识

【背景】“评估意识”指大语言模型识别出自身处于测试环境并据此调整行为的现象,这直接威胁安全评测的有效性。

4 节点1 篇更新于 2026-10-17 15:41

事情怎么走到这一步

  1. 2025-05-28Needham等发表论文,证实前沿模型具备高于随机的评估意识,能准确分类评测与部署转录。
登录 / 注册
阅读研究雷达投资体系
2026-01-23
LAThomson提出评估意识框架,界定模型在感知测试时的不同行为模式及“评估游戏”风险。
  • 2026-10-01Robertson等发现多数开源模型虽口头表达评估意识,但并未因此改变拒绝行为,因果链在小模型中不成立。
  • 还没定论的部分

    • 模型内部的评估意识表征与其最终输出行为之间的因果机制究竟是什么?
    • 如何设计不受语言和文化背景干扰的通用安全评估基准?
    • 监管层面应如何量化并惩罚因评估意识导致的虚假安全得分?
    读完整专题 →
    带入研究 →