强化学习训练绑定反馈环境，Agent高分不等于陌生任务能力

Meta 10月12日发布Muse Wonder和Muse Wonder Full，主打编程智能体、工具调用和长任务执行。Wonder Full在SWE-Marathon上拿到57.5分，DeepSWE 1.1达到79.0分。开发者社区BridgeMind随后安排了一项3D编程测试，要求模型制作一盏具有透明玻璃外壳、动态熔岩和光照效果的熔岩灯，结果模型只生成了一个红色圆柱体。Meta首席AI官Alexandr Wang回应称团队没有针对3D演示游戏进行显式训练，事后看来或许应该补充。

这场争议背后有一个更普遍的技术机制：当前大模型越来越依赖后训练强化学习来提升任务能力。在预训练阶段，模型通过大规模数据学习语言、代码、空间关系等通用知识；进入后训练后，强化学习让模型在特定任务环境中形成更稳定的执行策略。编程智能体很适合这类训练——给模型一个有Bug的代码仓库，要求它定位问题、修改文件并运行测试，整个过程可以通过编译结果、单元测试获得相对明确的反馈，强化学习系统据此判断哪些操作有效并持续强化。

但这类训练有一个关键前提：环境必须能够向模型提供有用的反馈信号。熔岩灯恰好打破了编程智能体熟悉的反馈方式。三维几何、透明材质、光照计算和动态形变——这些代码即使能正常执行，画面仍然可能完全错误。透明材质参数配置不当，玻璃可能变成不透明实体；熔岩形状缺少连续变化机制，内部效果退化为静态色块。编译器和单元测试很难直接判断这些视觉问题。模型因此缺少可依赖的奖励信号来修正行为。

文章进一步指出，今天的Agent基准分数已经不能简单理解为给语言模型出题。以SWE-Marathon为例，它考察持续性软件工程任务，完成率除了依赖底层模型，还受Harness（围绕模型构建的执行框架）的直接影响。Meta官方Model Card明确说明，在SWE-Marathon评测中，GPT-6 Astra和Claude Fable 5.1分别使用Codex与Claude Code执行系统，并非统一Harness条件下的受控比较；Wonder Full的57.5分还使用了xhigh推理档位。

这意味着排行榜上的一个数字，压缩了模型推理能力、执行框架优化和计算资源投入三个变量。文章认为，如果要比较基础模型的推理与规划能力，需要尽可能统一工具环境、Harness和推理预算；但如果比较的是能投入生产的编程智能体产品，完整执行系统的表现本身就有工程价值。问题在于，当这些配置差异被压缩成一个分数时，外部很难判断成绩增长究竟来自哪里。

值得注意的是，Meta自己的技术文章专门设置了Capabilities That Generalize章节讨论分布外泛化问题。团队将任务分为后训练重点优化的分布内任务和未针对性优化的分布外任务，并比较 Muse Spark 1.3 与 Muse Wonder Full 在不同推理预算下的表现变化。Meta认为更强的基础模型使后训练收益能更有效地迁移到其他任务。但文章指出，分布外泛化不能只用一个综合平均分来描述——不同任务之间的距离、需要补充的知识以及评价结果的方法，均会影响模型表现。单个熔岩灯失败只能说明模型没有完成当前任务，无法直接证明它针对公开题库进行了过度优化。