阅读研究雷达投资体系AI公司权威资料
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-04 11:06

权重空间编程争议

3 节点1 篇4 来源

【背景】2026年11月2日,麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究人员发布了一篇题为《Sparks of Weight-Space Programming》的技术博客,提出“权重空间编程”概念。该研究声称,前沿大语言模型(如GPT-6 Astra)能够直接读取、理解并修改其他神经网络的原始权重数值,而无需传统的梯度下降或训练循环。

最引人注目的实验结果显示,Astra通过仅修改阿里开源模型Qwen3.5-0.8B中约0.016%的权重,成功消除了其推理过程中的无限循环缺陷,使其在MATH-500基准测试中的得分从7.9%飙升至48.1%,指令遵循能力也提升了3倍。此外,Astra还被证明能从权重中识别出网络被训练玩的游戏类型,甚至能从零开始编写出性能超越强化学习训练的小型游戏策略网络。

然而,这一发现引发了广泛争议。批评者指出,所谓的“能力提升”实质上是修复了模型原本存在的严重故障(即思维链死循环),而非赋予了模型新的知识;且实验主要依赖Python沙箱环境,并非完全“原生”读写。Django联合创造者Simon Willison在本地运行Qwen 3.8 27B模型进行复现时,虽然成功识别出了部分游戏,但发现模型的推理轨迹近乎不可理解,认为外界对此发现的评论存在夸大。目前,该领域尚缺乏独立的第三方系统复现,其实际扩展性和稳定性仍待验证。

事情怎么走到这一步

  1. 2026-11-02

    MIT CSAIL研究人员Rikiya Takehi等人发布博客《Sparks of Weight-Space Programming》,展示GPT-6 Astra直接编辑Qwen3.5-0.8B权重以提升数学成绩的能力。

    rikiyat.github.io ↗
  2. 2026-11-03

    Simon Willison发布文章,报告其在笔记本上使用Qwen 3.8 27B复现实验的结果:能识别3款游戏,但推理过程难以理解,并对论文结论持保留态度。

    simonwillison.net ↗
  3. 2026-11-03

    Cocoloop等媒体深入分析指出,Astra对Qwen的提升主要源于修复了导致93%回答超长的“推理循环”故障,且在基线正常的Gemma 3模型上未能取得显著改进。

    news.cocoloop.cn ↗

还没定论的部分

  • 除了修复明显的推理循环故障外,权重空间编程能否真正为模型注入新的知识或能力?
  • 在非沙箱辅助、纯文本输入权重的情况下,模型解读大规模神经网络权重的准确率如何?
  • 是否有独立的第三方机构能够复现MIT CSAIL关于Qwen3.5-0.8B数学成绩提升的关键实验结果?

来源

登录 / 注册
阅读研究雷达投资体系AI公司权威资料
  • rikiyat.github.ioMIT CSAIL 原始博客↗
  • simonwillison.netSimon Willison 复现测试↗
  • news.cocoloop.cnCocoloop 深度分析↗
  • openai-hub.comOpenAI-Hub 技术解读↗
  • 这一专题下的内容

    • Django联合创造者Simon Willison用本地27B模型复现权重解读:识别出3款游戏,但推理过程近乎不可理解2026-11-04资讯

      Rikiya Takehi等人发表论文称GPT-6 Astra能直接从原始权重数值判断网络被训练做什么游戏。Django联合创造者Simon Willison在笔记本上运行17GB的Qwen 3.8 27B复现了该实验,成功识别出4款游戏中的3款,但模型推理轨迹近乎不可理解,且他本人认为围绕这一发现的许多评论夸大了其意义。