独立审计发现VPD权重分解的对抗缺陷系统性迁移至未见输入
Goodfire AI的VPD论文报告其分解在长对抗搜索下KL散度急剧增长，但暗示缺陷可能只是针对特定输入的噪声利用。独立研究者Tom Angsten将评估对抗者在某批文本上发现的掩码原样应用于未见文本，发现78%至95%的输出损害跨输入迁移，证明缺陷是分解本身的系统性属性而非噪声假象，并提出训练对抗者未能防御的可能解释之一为每步信号不足。
重要性实质性证据E3 可检验写法标准
Goodfire AI提出的VPD（adVersarial Parameter Decomposition，对抗性参数分解）方法将语言模型的权重分解为简单组件，并为每个输入token分配0到1之间的标签，表示该组件对当前输入的重要程度。理想情况下，关闭所有被标记为不需要的组件不应改变模型输出——机制忠实性。Goodfire AI的VPD论文报告其分解在长对抗搜索下KL散度急剧增长，但暗示缺陷可能只是针对特定输入的噪声利用。独立研究者Tom Angsten将评估对抗者在某批文本上发现的掩码原样应用于16个未见批次，发现从20步起78%至95%的输出损害跨输入迁移，证明缺陷是分解本身的系统性属性。打乱掩码仅造成0.30至0.32 nats，说明损害取决于选择哪些组件而非数量。关于训练对抗者为何未能防御，Angsten提出两种可能解释——每步信号不足或优化器被局部极值困住——实验支持前者：按位置共享的对抗者在1000批次中从未找到显著损害模式，而跨批次共享的仅需88至123批次。他建议将对抗者梯度在更多位置上池化。所有工作仅在单一四层67M参数模型的一个已发布分解上进行，不能推广至VPD整体。