LessWrong作者leogao：神经元激活模式一致不等于可解释性已解决，需用模拟KL验证
针对近期认为发现简单激活模式即证明神经元单义性的观点，leogao指出仅凭顶部激活示例的“氛围”检查会误导判断。文章提出以下游KL散度为核心的模拟评分标准：若用规则替代神经元值后模型性能显著下降，则说明解释错误。这一方法能捕捉被忽略的弱激活信息和隐含条件，为评估AI可解释性进展提供了更严格的量化边界。
重要性实质性证据E3 可检验写法快讯
在AI可解释性研究中，一个常见的误区是认为只要神经元的激活示例呈现出某种一致的语义模式（如“狗骑自行车”），我们就已经理解了这个神经元。LessWrong作者leogao在2026年10月17日的文章中反驳了这一观点，指出这种基于“氛围”的检查严重高估了我们对神经网络的理解程度。
leogao承认近期研究确实发现许多看似多义的神经元背后存在简单模式，但这并不足以证明可解释性问题已解决。他提出了两个关键陷阱：首先，模式匹配往往是单向的——所有激活该神经元的示例都符合模式X，并不意味着所有符合模式X的输入都会激活它；其次，激活强度本身携带重要信息，忽略弱激活可能导致对模型行为的误判。例如，一个神经元可能仅在“晴天”条件下才对“狗骑自行车”敏感，而简单的文本描述无法捕捉这一隐含约束。
为了建立更严格的标准，leogao主张使用“模拟评分”来验证解释的正确性。具体方法是编写一个详细的评分规则（rubric），将神经元的实际激活值替换为由规则预测的值，然后测量模型输出分布的变化，即下游KL散度。如果这种替换导致模型性能显著退化，说明当前的解释未能捕捉到神经元在计算中的真实作用。
与传统的基于相关性的评分不同，KL散度能够优雅地处理那些对模型行为无实质影响的细节差异，同时惩罚那些遗漏关键机制的解释。leogao认为，这种方法不仅能识别出错误的单义性假设，还能揭示过去被忽视的多义性解释中的缺陷。尽管模拟评分并非完美，但它提供了一种可量化的方式，将可解释性研究从主观的视觉检查推向客观的行为验证。