大模型激活扰动检测

LawZero团队发布预印本证实，主流开源大模型（如Qwen3、Llama3）能识别并定位作用于其激活层的Dropout和高斯噪声扰动，甚至能区分两者类型。这一发现挑战了“模型无法感知非语义内部状态”的传统认知，暗示模型可能具备一种与数据无关的“训练感知”信号。

【背景】Dropout常用于训练正则化，而高斯噪声多用于推理阶段。若模型能区分二者，意味着其内部表征对计算模式具有敏感性。

然而，该结论存在争议。哈佛等机构的研究指出，此前类似的内省实验常受“全局logits漂移”干扰，即模型仅因注入导致输出偏向肯定回答，而非真正理解状态。LawZero通过控制实验排除了单纯的对数似然降低假设，并展示了Qwen3在零样本下随扰动强度增加而提升的分类准确率，以及翻转标签后性能下降的现象，试图证明这是真实的内部访问能力而非伪迹。

目前学界对于这种“内省”是原生能力还是特定架构下的涌现现象尚无定论。后续需关注更多模型家族是否复现此结果，以及该机制能否被转化为可靠的AI安全监控工具。