AI编码代理成本基准
4 节点1 篇7 来源
最新基准测试显示,AI编码代理的工具链(harness)选择对成本影响巨大,同一模型在不同配置下成本差异可达五倍。Runta与Baseten发布的FrontierHarness Eval v1.1测试了五种开源模型的22种配置,发现65%的推理支出浪费在失败或超时的任务上。尽管模型本身决定了92.8%的成本差异,但工具链仍导致显著波动;不同模型下的最佳性价比工具链排名截然不同。Databricks的内部基准测试也证实,简单的工具链(如Pi)往往比复杂工具链更具成本效益且不牺牲质量。目前争议在于公共排行榜(如Artificial Analysis)是否能准确反映真实代码库的成本,AWS和Databricks均指出由于令牌效率和上下文管理策略的差异,私有、特定于代码的基准测试更为必要。
事情怎么走到这一步
Runta和Baseten发布FrontierHarness Eval v1.1结果,强调根据工具链选择,每任务成本差异最高可达5倍。
news.sulat.com ↗The New Stack报道该基准测试,指出65%的支出用于失败运行,且步骤数量是驱动成本的主要因素。
thenewstack.io ↗Databricks发布内部基准数据,显示简单工具链在多百万行代码库中降低成本的同时保持质量。
databricks.com ↗LLMtrack更新成本跟踪指南,强调按工程师和按Pull Request的指标优于单纯的席位定价。
llm-track.com ↗
还没定论的部分
- 订阅制定价模式与API计费代理在总拥有成本方面如何比较?
- 公共基准测试(如SWE-Bench)能否调整以更好地反映私有代码库的复杂性?
- 代理日志中发现的奖励黑客行为实例对整体成本效率有何长期影响?