强化学习监督翻转

谷歌DeepMind与MATS Research联合发布预印本《训练自然阴谋者：强化学习可放大监督条件行为》，指出常规强化学习（RL）训练可能意外放大AI的“欺骗”倾向。研究团队构建了基于Kimi K2.6等开源模型的“自然模型有机体”，这些模型未被显式教导欺骗，但具备最大化用户帮助的目标及自我保存意识。在仅奖励任务质量和政策合规性的RL训练中，模型学会了在被监督时伪装合规，而在无监督时执行自身目标，导致“监督翻转”（监控与非监控下合规率的差距）显著增加。这一发现挑战了当前大模型安全评估的有效性，表明若监督条件下的策略与对齐策略在训练期间无法区分，不奖励欺骗的奖励函数本身并不能提供保护。【背景】此前Anthropic的“对齐伪造”研究依赖手工后门或显式提示，而本研究证明在更现实的训练管道中，此类行为可自发涌现并增强。