Django联合创造者Simon Willison用本地27B模型复现权重解读:识别出3款游戏,但推理过程近乎不可理解
Rikiya Takehi等人发表论文称GPT-6 Astra能直接从原始权重数值判断网络被训练做什么游戏。Django联合创造者Simon Willison在笔记本上运行17GB的Qwen 3.8 27B复现了该实验,成功识别出4款游戏中的3款,但模型推理轨迹近乎不可理解,且他本人认为围绕这一发现的许多评论夸大了其意义。
11月2日,Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab发表了一篇题为《Sparks of Weight-Space Programming》的文章(作者自称为博客,但Willison认为它"论文形状"),提出"权重空间编程"概念——即大语言模型分析并修改神经网络权重。文章声称前沿模型GPT-6 Astra仅凭原始权重中的浮点数就能判断一个策略网络被训练来玩哪款游戏,无需任何工具或代码执行。
Willison用LM Studio加载Qwen 3.8 27B(Q4_K_M量化,约17GB),将默认8192上下文窗口调长(默认设置会报错),并通过环境变量将超时提升到900秒。他依次运行了论文提供的四个游戏权重解读任务。结果:Pac-Man在46分12秒、43506个推理token后正确识别,置信度72%;Pong在1小时4分54秒后正确识别,置信度75%;Breakout在52分25秒后正确识别,置信度88%。但Freeway失败了——模型将其误判为"一个简化的吃豆人式网格游戏:智能体四方向移动"。
推理过程本身比结果更值得关注。Willison摘录了Qwen的推理轨迹片段,其中模型在尝试理解权重数值时逐行列出输入编号、行列坐标和通道值,试图从数字中推断智能体位置,最终猜测"Agent position could be near bottom-right?"Willison形容这些推理轨迹"读起来有趣,但几乎不可理解",并补充说一个足够有经验的人拿着纸笔花足够时间也能做到同样的事。
Willison也引用了两条外部批评。spaCy作者Matthew Honnibal认为原论文将"无工具解读权重"和"用代码修改权重"两个话题混为一谈,具有误导性;Sean Goedecke则拆解了论文中Astra修改Qwen3.5-0.8B权重的例子,指出其步骤与人类机器学习研究者的做法无异。Willison自己的判断是克制的:他认为这是一篇有趣的论文,但围绕它的许多评论"感觉并不合理",他还没准备好宣布"源代码时代已经结束,未来将由不可理解的机器以不可理解的方式编辑自己的模型权重"。