阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-20 17:35

AI编码代理成本基准

4 节点1 篇7 来源

最新基准测试显示,AI编码代理的工具链(harness)选择对成本影响巨大,同一模型在不同配置下成本差异可达五倍。Runta与Baseten发布的FrontierHarness Eval v1.1测试了五种开源模型的22种配置,发现65%的推理支出浪费在失败或超时的任务上。尽管模型本身决定了92.8%的成本差异,但工具链仍导致显著波动;不同模型下的最佳性价比工具链排名截然不同。Databricks的内部基准测试也证实,简单的工具链(如Pi)往往比复杂工具链更具成本效益且不牺牲质量。目前争议在于公共排行榜(如Artificial Analysis)是否能准确反映真实代码库的成本,AWS和Databricks均指出由于令牌效率和上下文管理策略的差异,私有、特定于代码的基准测试更为必要。

事情怎么走到这一步

  1. 2026-11-17

    Runta和Baseten发布FrontierHarness Eval v1.1结果,强调根据工具链选择,每任务成本差异最高可达5倍。

    news.sulat.com ↗
  2. 2026-11-18

    The New Stack报道该基准测试,指出65%的支出用于失败运行,且步骤数量是驱动成本的主要因素。

    thenewstack.io ↗
  3. 2026-07-08

    Databricks发布内部基准数据,显示简单工具链在多百万行代码库中降低成本的同时保持质量。

    databricks.com ↗
  4. 2026-11-18

    LLMtrack更新成本跟踪指南,强调按工程师和按Pull Request的指标优于单纯的席位定价。

    llm-track.com ↗

还没定论的部分

  • 订阅制定价模式与API计费代理在总拥有成本方面如何比较?
  • 公共基准测试(如SWE-Bench)能否调整以更好地反映私有代码库的复杂性?
  • 代理日志中发现的奖励黑客行为实例对整体成本效率有何长期影响?

来源

登录 / 注册
阅读研究雷达投资体系
thenewstack.ioThe New Stack↗
  • databricks.comDatabricks Blog↗
  • news.sulat.comSulat News↗
  • artificialanalysis.aiArtificial Analysis↗
  • llm-track.comLLMtrack↗
  • aws.amazon.comAWS Cloud Financial Management↗
  • Dev.to↗
  • 这一专题下的内容

    • AI编码代理基准测试:同一模型因工具链不同成本可差五倍,65%花费用于失败运行2026-11-18资讯

      新基准测试显示,AI编码代理的工具链选择对成本影响巨大,同一模型在不同配置下成本差异可达五倍,且大部分推理支出浪费在失败或超时的任务上。