神经网络可解释性之争

Goodfire研究员Nick Cammarata发表文章《神经网络已经是干净的》，挑战了AI领域长期持有的“叠加理论”（Superposition）。Cammarata认为，早期模型中神经元看似混乱的“多义性”并非因为网络容量不足而强行打包无关概念，而是源于“递归泛化”——即神经元像树枝一样自然生长出相关子分支。他声称，在现代大模型（如Qwen3-32B）中，约90%的神经元具有单一主要功能，这意味着研究者可以直接解读网络内部结构，无需依赖稀疏自编码器（SAE）等间接工具。

这一观点引发了激烈争论。支持者如Deedy Das称其为“AI史上最重要的结果之一”，认为这降低了末日论调（P(doom)），使对齐研究成为“常规科学”。然而，Anthropic的可解释性专家Neel Nanda反驳称，该研究并未推翻叠加理论的核心：语言模型存储的事实远超神经元数量，弱激活中仍存在大量语义叠加信息。Nanda认为，虽然直接研究神经元在实用层面有优势，但断言“可解释性问题已解决”为时过早，且该结论尚缺乏独立验证和完整技术论文支持。

【背景】此前主流观点认为，由于神经元存在“纠缠”，必须通过训练第二个模型来“展开”原模型才能进行有效分析。 【存疑】Cammarata的文章明确标注为“工作假设”，其引用的关键数据（如90%单义性）依赖于特定的阈值定义，且尚未发布经过同行评审的完整技术论文。