阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · VPD权重分解1 分钟阅读·2026-10-01DisconfirmAI 编辑部

独立审计称权重分解解释聚合后明显偏离原模型

可解释性方法VPD的忠实性假设遭独立审计质疑,聚合与删除操作会显著改变模型输出,更大模型上是否成立待验证。

重要性局部证据E2 未复现写法快讯

原文发布时间 2026-09-30 23:54

独立审计称Goodfire权重分解的解释聚合后明显偏离原模型。

对抗性参数分解(VPD)把模型权重拆成简单组件,并逐词标注“此处需要”或“可移除”。Tom Angsten于9月30日在LessWrong发布审计:聚合64个词元的组件(约4500个)后,输出偏离达0.80 nats,接近论文自身20步对抗攻击造成的0.83。

删除所有从未被标注为需要的组件,则偏离1.28 nats。审计仅覆盖论文已发布的分解,不含作者仓库中更新的未发表训练方案;对象是四层、6700万参数的小模型,对生产规模模型是否成立未知。

来源

  • 原始出处lesswrong.com↗
专题

VPD权重分解

Goodfire发布的adVersarial Parameter Decomposition (VPD) 旨在将语言模型权重分解为可解释、可编辑的子组件,但其核心假设“机械忠实性”近期遭独立审计质疑。审计发现,在聚合多个输入的解释或进行组件…

2 节点1 篇更新于 2026-10-07 21:14

事情怎么走到这一步

  1. 2026-05-05
登录 / 注册
阅读研究雷达投资体系
Goodfire发布论文《Interpreting Language Model Parameters》,提出VPD方法,声称可将67M参数模型的权重分解为约10,000个可编辑子组件。
  • 2026-09-30独立研究者Thomas Angsten发布审计报告,指出VPD在聚合解释和删除组件时导致模型输出显著偏离原模型,质疑其机械忠实性。
  • 还没定论的部分

    • Goodfire未公开的新训练配方是否解决了聚合时的KL散度漂移问题?
    • 在更大规模(如13B+)模型上,VPD的组件稀疏性与忠实性权衡如何变化?
    • 审计中发现的‘代码破坏’与‘文本保护’差异是否意味着VPD对特定领域数据的敏感性过高?
    读完整专题 →
    带入研究 →