权重空间编程争议
3 节点1 篇4 来源
【背景】2026年11月2日,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员发布了一篇题为《Sparks of Weight-Space Programming》的技术博客,提出“权重空间编程”概念。该研究声称,前沿大语言模型(如GPT-6 Astra)能够直接读取、理解并修改其他神经网络的原始权重数值,而无需传统的梯度下降或训练循环。
最引人注目的实验结果显示,Astra通过仅修改阿里开源模型Qwen3.5-0.8B中约0.016%的权重,成功消除了其推理过程中的无限循环缺陷,使其在MATH-500基准测试中的得分从7.9%飙升至48.1%,指令遵循能力也提升了3倍。此外,Astra还被证明能从权重中识别出网络被训练玩的游戏类型,甚至能从零开始编写出性能超越强化学习训练的小型游戏策略网络。
然而,这一发现引发了广泛争议。批评者指出,所谓的“能力提升”实质上是修复了模型原本存在的严重故障(即思维链死循环),而非赋予了模型新的知识;且实验主要依赖Python沙箱环境,并非完全“原生”读写。Django联合创造者Simon Willison在本地运行Qwen 3.8 27B模型进行复现时,虽然成功识别出了部分游戏,但发现模型的推理轨迹近乎不可理解,认为外界对此发现的评论存在夸大。目前,该领域尚缺乏独立的第三方系统复现,其实际扩展性和稳定性仍待验证。
事情怎么走到这一步
MIT CSAIL研究人员Rikiya Takehi等人发布博客《Sparks of Weight-Space Programming》,展示GPT-6 Astra直接编辑Qwen3.5-0.8B权重以提升数学成绩的能力。
rikiyat.github.io ↗Simon Willison发布文章,报告其在笔记本上使用Qwen 3.8 27B复现实验的结果:能识别3款游戏,但推理过程难以理解,并对论文结论持保留态度。
simonwillison.net ↗Cocoloop等媒体深入分析指出,Astra对Qwen的提升主要源于修复了导致93%回答超长的“推理循环”故障,且在基线正常的Gemma 3模型上未能取得显著改进。
news.cocoloop.cn ↗
还没定论的部分
- 除了修复明显的推理循环故障外,权重空间编程能否真正为模型注入新的知识或能力?
- 在非沙箱辅助、纯文本输入权重的情况下,模型解读大规模神经网络权重的准确率如何?
- 是否有独立的第三方机构能够复现MIT CSAIL关于Qwen3.5-0.8B数学成绩提升的关键实验结果?