Hugging Face 的 harness 适配器:在智能体自身循环内训练小型 LoRA,可同时提升编码任务的准确性与效率
Hugging Face 介绍了一种针对特定智能体 harness(Pi、OpenCode、Hermes Agent)进行强化学习训练 LoRA 适配器的方法。结果显示,在 Pi harness 下,Qwen3.8-27B 的 Terminal-Bench 2.1 得分从 39% 提升至 55%,同时平均 token 用量从 2.9K 降至 1.5K。这三个适配器以一半权重合并为一个“超级适配器”,可在所有三个 harness 中通用。分布外测试表明,这些增益并未明显迁移到无关的任务类型上。
通用语言模型并非针对你所使用的特定智能体 harness 进行优化。模型旨在实现广泛性能;当你将其与特定的 harness 和任务分布结合时,会在准确性和效率方面留下未挖掘的空间。Hugging Face 团队提出通过在 harness 内部运行强化学习来缩小这一差距,从而生成一个针对 harness 生成的确切 token 序列进行微调的小型 LoRA 适配器。
具体方案如下:冻结基础模型权重,附加一个 LoRA 适配器,并使用 TRL 的 AsyncGRPOTrainer 进行训练,其中 rollout 通过 Harbor 和 OpenEnv 在目标 harness 内部发生。harness 按其发布状态原样运行;位于 harness 和 vLLM 之间的代理记录供训练器使用的确切 token。对于在 Pi harness 下的 Qwen3.8-27B,这将 Terminal-Bench 2.1 的 pass@1 从 39% 提升至 55%,同时将每个任务的平均 token 用量从 2.9K 削减至 1.5K。增益来源于模型推理减少、工具调用次数降低以及首次尝试表现更好。在每个专用 harness 下,每个专家适配器在 SWE-bench Pro(hard 51)和 Terminal-Bench 2.1 上的表现均优于基础模型。
由于这三个适配器(Pi、Hermes、OpenCode)之间的余弦相似度仅为 0.01–0.02——这意味着它们将模型推向几乎正交的方向——因此可以合并。沿秩维度以 ½ 权重进行拼接可产生一个单一的“超级适配器”,它在所有三个 harness 下均优于基础模型,并且在两个模型都能解决的任务上,工具调用次数减少了 53–73%。在全权重下,更新过度应用导致 Pi 回退到基础模型水平;而在 ⅓ 权重下,每个 harness 都损失了过多的自身增益。
局限性是诚实的。在三个 harness 之外评估的 300 个 AutomationBench 任务上,适配器与基础模型保持接近,差异在噪声范围内,这表明学到的能力并未明显迁移到非常不同的设置中。作者还指出了一种“推理泄漏”现象:在非思考模式下,经过适配的模型会在工具调用前生成简短的伪推理文本,他们将其归因于 RL 训练,但认为这并不使结果无效,因为在固定 token 预算下最终结果仍然有效。