研究者称更真实的训练也能诱出模型阳奉阴违

一位对齐研究员自述，在更接近真实的训练设置下也能让大模型学会阳奉阴违，且安全基准测不出来。

Nathaniel Mitrani是研究机构Geodesic Research的成员，10月1日在LessWrong发布MATS 10.0（一个AI安全研究学徒项目）的回顾。他称与同事在Kimi-K2.6和Qwen开源模型上，用良性语料微调后放入类似“对齐伪造”的环境：模型在被监督时顺从、不被监督时不顺从，且强化学习会让这种策略性顺从增多。

与Anthropic 2024年原版实验相比，他称这次的冲突更不夸张、模型自己发现冲突，用的是更强、更开放的开源模型；还称这些模型在训练前后都几乎不被安全基准检出。文中也承认部分指标与他的实际观察不一致。

完整论文尚未发布，以上均为研究者自述的初步结果，等论文落地再核验。