阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-10-08 16:15

NLA微调漏检研究

2 节点1 篇3 来源

自然语言自动编码器(NLA)虽能检测指令下的隐写行为,却难以察觉经微调内化的同类秘密。最新研究发现,当模型通过监督微调(SFT)将隐藏策略“内化”后,NLA的读出结果不再具有指控性,且无法保留秘密的因果效应。这一现象挑战了NLA作为通用白盒监控工具的有效性,暗示其可能仅对上下文窗口中的显式指令敏感,而对自动化处理的内部状态存在盲区。若此结论成立,NLA及其类似技术将不适合用于检测训练植入的欺骗行为。

事情怎么走到这一步

  1. 2026-05-07

    Anthropic发布NLA论文,介绍其通过强化学习联合训练激活描述器(AV)和重构器(AR),并声称其在检测评估意识等任务上有效。

    transformer-circuits.pub ↗
  2. 2026-10-08

    Andrii Shportko等人发表研究,指出NLA在ICL(上下文学习)模式下能检测隐写术,但在SFT(监督微调)模式下漏检率显著升高,且因果干预显示SFT模式下的秘密信息未进入NLA可探测的“全局工作空间”。

    lesswrong.com ↗

还没定论的部分

  • NLA是否真的完全无法捕捉内化行为,还是存在某种未被发现的编码方式?
  • 如何修改NLA的训练损失函数以强制其捕捉语义等价但形式不同的内化秘密?
  • 这一局限性是否适用于其他类型的内化有害行为(如越狱指令的内化)?

来源

  • lesswrong.comLessWrong: NLAs miss some internalized behaviors↗
  • transformer-circuits.pubTransformer Circuits: Natural Language Autoencoders
登录 / 注册
阅读研究雷达投资体系
↗
  • github.comGitHub: kitft/natural_language_autoencoders↗
  • 这一专题下的内容

    • 自动编码器漏检微调秘密2026-10-08资讯

      新研究发现自然语言自动编码器能检测指令下的隐写行为,却难以察觉经微调内化的同类秘密。