AI评论者Zvi Mowshowitz：Goodfire'神经网络已干净'是可解释性方法论的重要更新，但远非对齐接近解决

Goodfire研究员Nick Cammarata发表了一篇长文，核心论断是：现代大型语言模型中约90%的神经元有一个主要工作，附带一些相关的分支；约7%有两个相关工作；只有2-4%尚未被理解。这与领域此前普遍接受的'叠加假说'——即模型将不相关概念打包进同一神经元——形成直接对立。Cammarata认为，过去被解读为任意叠加的现象，大部分其实是一种他称为'递归泛化'的模式：神经元像树枝一样生长出相关分支，而非随机堆砌无关概念。

AI评论者Zvi Mowshowitz在2026年10月19日的博文中对这一论断做了逐层分析。他承认这是'关于大语言模型和心智如何形成和运作的实质性更新'，同时明确指出它'不意味着可解释性即将被解决，也不意味着它即将成为一门科学，更不意味着对齐即将被处理'。Mowshowitz自己的定位是'落在中间'：好的工作，假设结果经得起检验的话。

争论最激烈的部分不是论断本身，而是对它的解读。OpenAI研究员Adam Majmudar将其与'Attention Is All You Need'论文相提并论，称它把领域从'对齐是否可解'推进到'我们可能在明年解决对齐'。Mowshowitz对此反应强烈，认为这恰恰是Eliezer Yudkowsky会愤怒的那种错误——'是的，这是进展。不，这不是AI的MRI。那还很远。'

Mowshowitz指出的最强反例来自社区测试：Cammarata论文中一个被当作'单概念可解释'范例的Qwen3神经元，被标注为追踪科罗拉多相关内容。但独立测试发现它同样强烈地响应Tornado Python框架的代码——且这种响应不是弱激活，而是同等强度的峰值。Roon提出的'龙卷风→Apache许可证→美洲原住民→美国西南部→科罗拉多'关联链被实验证伪。该神经元确实'就是喜欢Tornado框架'，与科罗拉多之间没有可追溯的概念联系。Mowshowitz写道：'如果这是典型结果，整个论文就站不住。一个被当作单概念解释的范例神经元，至少有两条核心解释。这是非常坏的信号。'

Yudkowsky的回应提供了另一个维度的质疑。他用'螺丝刀'类比：2014年领域说'我们造了一把螺丝刀，可以打开机箱看里面的齿轮了'；然后发现'螺丝刀坏了，神经元不只做一件事'；2026年说'我们修好了螺丝刀！对齐几乎解决了！'Yudkowsky认为，即使枚举每个神经元的含义完全成功，这仍然不是理解模型如何思考——它只告诉你零件是什么，不告诉你整台机器如何运作。他明确说：'我的悲观不是基于预测他们永远走不到这一步。它基于我相信从这里开始还有多少工作要做。'

Neel Nanda从技术角度补充了怀疑：他认为叠加假说仍然成立，因为语言模型中记忆的事实远多于神经元数量，叠加是高效打包这些事实的方式；弱激活中可能包含大量语义信息，消融它们会损害性能；而Cammarata的工作并未充分处理弱激活问题。Nanda同意基于神经元的归因图对实际用途有价值，但不认为这构成'雄心勃勃的逆向工程的实质性进展'。

Mowshowitz自己的结论是：这代表了神经元可解释性难度的实质性更新，以及大语言模型组织信息和思维方式的更新。它应该使通过神经元分析视角攻击可解释性问题比以前容易得多。但他同时警告Goodhart定律风险：如果将可解释性技术本身作为训练目标，模型会学会隐藏思维，这正是'最被禁止的技术'。他最后的判断是：'世界现在更有希望了。让我们开始工作。'

需要强调的是，Goodfire的技术论文尚未发布。Cammarata的论断目前是归因于作者本人的主张，而非经独立复现的结果。Mowshowitz自己也说'假设工作经得起检验'，并将'对炒作的热切'本身作为负面信号来解读。