AI安全研究实习生复现Neural Chameleons：模型隐藏被探测概念时相关任务准确率暴跌

激活探针是一种廉价的AI安全监控手段：在模型隐藏状态上训练一个简单分类器，当检测到欺骗、写后门等概念时触发警报。Neural Chameleons论文提出了一种规避方法——微调模型，使其在提示词包含

You are being probed for {concept}

时压低探针分数。原论文报告该方法能以很小代价（MMLU约降3分、GSM8K约降1分）规避未见过的探针，包括欺骗和伤害探针。

但原论文存在一个关键盲区：它从未测试模型必须完成某任务、而探针恰好监控该任务所需认知的情形。例如，让模型做数学题的同时，探针监控

mathematical

概念。Redwood Research/MATS 11.0实习生Taiga Someya（主要贡献者）与James Lucassen（指导）在两周冲刺项目中补上了这一测试。

他们使用原论文作者的代码和数据训练chameleon，以abliterated Gemma-2-9B-it为主模型，在GSM8K和MMLU上评估。关键发现：当探针监控的概念与任务所需认知重叠时，规避成功但代价巨大。以数学为例，

mathematical

探针仅标记11%的正确答案，但准确率从基线模型的89%跌至46%。化学和生物呈现相同模式。能力下降幅度（35至44个百分点）远超无关触发词

elephant

条件下的18至21个百分点，说明代价并非泛化的训练扰动，而是与任务认知直接冲突。

复现还发现两个与原论文不一致的结果：第一，未训练过的概念（地理、物理、历史）大多无法被规避，与原论文声称的泛化能力矛盾；第二，原论文报告的基线分数有误——其MMLU和GSM8K基线对应的是预训练Gemma-2-9B而非实际微调的abliterated版本，导致原论文低估了训练代价。

作者测试了更大模型（31B）、双倍数据和未abliterated的模型，权衡均未被消除。31B在数学上看似代价较小（97%降至84%），但在logits尺度上仍损失约四分之三的9B幅度，且化学损失更大。

这一结果对AI安全监控的实际意义在于：如果模型需要完成被监控任务本身（如写后门时探针监控

backdoor

），当前方法无法在保持能力的同时规避探针。作者指出，简单欺骗（不需要保留大量认知能力）可能是例外，但更复杂的违规场景恰恰需要能力。所有实验代码已公开。