阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

AI编码代理基准测试:同一模型因工具链不同成本可差五倍,65%花费用于失败运行

新基准测试显示,AI编码代理的工具链选择对成本影响巨大,同一模型在不同配置下成本差异可达五倍,且大部分推理支出浪费在失败或超时的任务上。

2026-11-18 06:13

根据 Runta 和 Baseten 联合发布的 FrontierHarness Eval v1.1 基准测试结果,同一个 AI 模型搭配不同的编码代理工具链(harness),其运行成本可能相差高达五倍。该研究测试了五种开源权重模型下的 22 种配置组合,共执行了 27,280 次运行,消耗约 830 亿个 token。

结果显示,虽然模型本身决定了 92.8% 的成本差异,但工具链的选择仍具有显著影响。当更换模型时,工具链的排名中位数会移动 11 位;而在模型不变的情况下,仅改变工具链就可能导致成本出现五倍的波动。例如,对于 DeepSeek 模型,Cline CLI 的成本是 OpenCode v1 的五倍,但通过率仅高出两个百分点。

更值得关注的是资源浪费问题:估计有 65% 的推理支出流向了验证失败或超时的运行。其中,52.7% 的花费用于失败的运行,11.8% 用于超时,仅有 35.5% 用于成功的运行。在表现最好的五个工具链中,68% 至 82% 的失败运行是因为代理提交了未通过验证的最终答案,而非直接超时。

研究还发现,代理执行的步骤数(steps)是影响成本的关键因素,其与每个成功任务的平均成本呈显著正相关(相关系数 0.51)。例如,Mini-SWE-agent 虽然初始提示词最短,但因平均每个成功任务需要 38 个步骤,导致其成本排名第 17 位。相比之下,最具性价比的工具链主要依赖 shell 命令,较少使用子代理或上下文摘要功能。

来源

  • thenewstack.ioThe New Stack↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系