预印本：大模型能识别并定位作用于其激活层的Dropout和高斯噪声扰动
新研究发现主流开源大模型能检测内部激活扰动，Qwen等模型甚至能区分扰动类型，为AI安全提供了潜在的“训练感知”信号。
重要性实质性证据E2 未复现写法快讯
最新预印本研究表明，包括Gemma、Llama、Mistral、Olmo、Qwen和Seed在内的八款8B至36B参数规模的大语言模型，能够检测、定位并在一定程度上口头描述应用于其激活层的非语义扰动（如Dropout或高斯噪声）。
研究人员通过向目标句子的激活层添加扰动，随后询问模型“哪句话被扰动了？”或“应用了哪种扰动？”。结果显示，所有测试模型均能轻松检测并定位这些扰动，准确率往往达到完美。机制分析发现，Olmo模型在预训练阶段就发展出了这种能力，且排除了“扰动句子仅因对数似然较低而被识别”的假设。
值得注意的是，Qwen3-32B和Qwen3.8-27B在零样本条件下区分Dropout与高斯噪声的能力与扰动强度呈正相关。虽然其他模型在此任务上表现困难，但大多数模型在上下文指导下可以学会区分这两种扰动。有趣的是，当使用错误标签进行监督时，Qwen模型的学习效果反而变差，这暗示它们对正确标签存在先验偏好。
由于Dropout通常用于训练正则化，而高斯噪声有时在推理阶段添加，该研究讨论了数据无关的“训练感知”信号的可能性及其对AI安全的潜在影响。此为作者自测结果，尚未经过独立复现。