GPT-6 Astra
3 节点1 篇5 来源
美国麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究者提出“权重空间编程”(Weight-Space Programming),声称利用OpenAI的GPT-6 Astra模型直接读取并修改开源小模型Qwen3.5-0.8B的神经网络权重,无需梯度下降或重新训练即可显著提升其数学推理能力。实验显示,Astra仅修改了约0.016%的权重,便修复了Qwen陷入重复推理循环的问题,使其在MATH-500基准测试中的得分从7.9%跃升至48.1%,提升幅度约为6倍;同时指令遵循能力也提升了3倍。
这一突破的核心在于让前沿大模型像程序员读写代码一样处理神经网络的内部参数。研究者指出,该方法主要消除了阻碍模型发挥既有能力的“故障模式”,而非凭空赋予新技能:当应用于较少出现循环问题的Gemma 3 270M模型时,同样的编辑并未带来性能提升。尽管结果目前仅由作者报告且尚未获得独立复现,但这一技术路径引发了关于AI自我改进、模型维护成本以及潜在安全风险的广泛讨论。若该技术成熟,开发者可能通过自然语言指令直接诊断和修补小模型缺陷,从而改变传统的微调范式。
事情怎么走到这一步
MIT CSAIL四位研究者(Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab)发布博客《Sparks of Weight-Space Programming》,展示GPT-6 Astra直接编辑Qwen3.5-0.8B权重的实验结果。
qbitai.com ↗VentureBeat报道该研究,引用Databricks技术人员Yuchen Jin的观点,认为若技术可靠,可大幅降低模型维护和调试的计算资源需求。
venturebeat.com ↗量子位等中文媒体跟进报道,强调Astra通过Python环境分析权重,定位到第15层和第19层的特定输出列进行修正,解决了Qwen的推理循环问题。
qbitai.com ↗
还没定论的部分
- 其他研究机构能否在相同条件下独立复现Qwen3.5-0.8B的MATH-500得分提升?
- 该方法在更大规模模型或更复杂任务上的扩展性如何?是否仅限于修复简单的逻辑循环?
- 直接编辑权重是否会引入新的不可解释的安全风险或后门?