spaCy作者Honnibal质疑MIT Astra研究：将“读权重”与“改权重”混为一谈是误导
AI公司Explosion联合创始人、spaCy作者Matthew Honnibal发文指出，近期爆火的MIT Astra研究存在严重误导。该研究声称模型能仅通过观察原始权重来理解和修改其他模型，但Honnibal分析发现，涉及大语言模型（如Qwen）的修复实验实际上依赖Python代码执行和多次前向测试，与小模型的“纯读权重”实验条件截然不同。他承认AI作为“工程师”的能力进步，但批评这种将两种不同技术路径打包成单一“超能力”的呈现方式助长了行业炒作。
近期，MIT团队发布的一项关于Astra模型的研究在AI圈引发轰动。该研究宣称，Astra能够仅通过观察原始权重数字，就识别小型神经网络的任务，甚至在不使用梯度的情况下，直接修改Qwen3.5-0.8B模型的权重，使其数学成绩从7.9%提升至48.1%。这一结果被许多网友解读为“AI开始读懂另一个AI的大脑”，暗示了一种统一的、深层的模型理解能力。
然而，spaCy的作者、AI公司Explosion的联合创始人Matthew Honnibal公开发文，对这项研究的呈现方式提出了尖锐质疑。他认为，这篇论文的实验设计酷似舞台魔术中的“障眼法”：魔术师可能用不同的手法表演同一个戏法，但观众往往误以为只有一种神秘的技术。Honnibal指出，Astra研究中所谓的“读权重”和“改权重”实际上是两种截然不同的技术路径，将它们打包在一起容易让读者产生误解。
Honnibal仔细梳理了论文中的八组实验后发现，真正符合“仅通过观察原始权重”这一苛刻条件的实验，仅限于参数规模极小（1.7万到17.2万之间）的网络。在这些实验中，Astra确实没有运行Python代码，也没有执行目标网络，而是直接将权重浮点数放入上下文进行分析。这虽然展示了令人印象深刻的模式识别能力，但与理解现代大语言模型仍有巨大差距。
相反，最引人注目的Qwen数学能力修复实验，完全不是这样进行的。在处理拥有8亿参数的Qwen模型时，Astra并没有直接读取原始权重。取而代之的是，它被授权使用Python编程，并且最多可以进行50次前向测试。每次允许模型处理一批练习题，通过观察模型的表现来分析和修改权重。Honnibal强调，这更像是一个“场外教练”通过编写代码、运行程序和观察反馈来进行工程调试，而非一种神秘的“读脑术”。
尽管指出了呈现上的误导，Honnibal并未否定研究本身的价值。他坦言，让一个AI模型被提示去设计并执行人类机器学习工程师才能完成的任务——编写代码片段来分析甚至直接修改网络权重——这本身就是一个巨大的进步。一两年前的AI模型在所有这些任务上都会失败。这说明今天的顶尖大模型已经具备了相当复杂的工具使用和推理能力，能够作为一个“AI工程师”来诊断和修复其他模型。
真正的问题在于成果的包装方式。将两种截然不同的能力模糊地统一成一种能够读写AI大脑的“超能力”，不仅夸大了当前技术的实际边界，也反映了如今AI圈普遍存在的炒作狂潮。对于读者而言，区分“基于原始数据的模式识别”与“基于代码执行的工程干预”，对于准确评估AI在模型可解释性和自动化工程方面的真实进展至关重要。