阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · NLA微调漏检研究1 分钟阅读·2026-10-08

自动编码器漏检微调秘密

新研究发现自然语言自动编码器能检测指令下的隐写行为,却难以察觉经微调内化的同类秘密。

重要性实质性证据E2 未复现写法快讯

2026-10-08 14:41

自然语言自动编码器(NLA)能识别模型在指令下执行的隐写术,但往往漏检经监督微调(SFT)内化的同一行为。

此前社区视NLA为白盒监控突破,认为其能无监督揭示隐藏计算。实验显示,当隐写策略仅存在于上下文指令中时,NLA读数频繁暴露意图;一旦策略被微调进权重,NLA读数便不再指向秘密。

因果测试进一步表明,NLA的重构过程移除了SFT模型中预载体位置的激活对拼写选择的因果影响,证实该位置的秘密信息未被捕获。这与“全局工作空间”理论一致:自动化处理不进入意识空间,因而也不被探针读取。

此为Gemma-3 12B-it上的单例探索性研究,尚未验证是否泛化至其他模型或更复杂的欺骗任务。

来源

  • 原始出处lesswrong.com↗
专题

NLA微调漏检研究

自然语言自动编码器(NLA)虽能检测指令下的隐写行为,却难以察觉经微调内化的同类秘密。最新研究发现,当模型通过监督微调(SFT)将隐藏策略“内化”后,NLA的读出结果不再具有指控性,且无法保留秘密的因果效应。这一现象挑战了NLA作为通用白盒…

2 节点1 篇更新于 2026-10-08 16:15

事情怎么走到这一步

  1. 2026-05-07Anthropic发布NLA论文,介绍其通过强化学习联合训练激活描述器(AV)和重构器(AR),并声称其在检测评估意识等任务上有效。
登录 / 注册
阅读研究雷达投资体系
2026-10-08
Andrii Shportko等人发表研究,指出NLA在ICL(上下文学习)模式下能检测隐写术,但在SFT(监督微调)模式下漏检率显著升高,且因果干预显示SFT模式下的秘密信息未进入NLA可探测的“全局工作空间”。

还没定论的部分

  • NLA是否真的完全无法捕捉内化行为,还是存在某种未被发现的编码方式?
  • 如何修改NLA的训练损失函数以强制其捕捉语义等价但形式不同的内化秘密?
  • 这一局限性是否适用于其他类型的内化有害行为(如越狱指令的内化)?
读完整专题 →
带入研究 →