Weights & Biases工程师Wolfram Ravenwolf解析Agent评估：从单次成功到可追溯的可靠性
Weights & Biases工程师Wolfram Ravenwolf在ai.engineer播客中介绍了WolfBench评估框架。该框架强调将Agent得分追溯至具体配置条件（如基准、沙箱、模型服务），区分“幸运成功”与“可靠行为”，并展示了如何通过重复运行和多层级追踪来揭示平均分数掩盖的稳定性问题。
在ai.engineer发布的视频《From Zero to Leaderboard: Agent Evaluation》中，Weights & Biases工程师Wolfram Ravenwolf探讨了如何构建一个能够追溯评分条件的Agent评估流水线。他通过一个案例指出，即使Agent修复了损坏的Git仓库并获得满分，如果仅测试单一任务，该结果仍不应进入默认排行榜。这一区分构成了其方法论的核心：评估必须超越简单的平均分，深入考察结果的可靠性来源。
Ravenwolf介绍的WolfBench框架比较了平均、最佳和最差运行结果，以及至少解决一次和每次都能解决的任务比例。通过重复相同的配置，该方法揭示了偶然成功与稳定行为之间的差距。他强调，评估配置包含六个层级：基准、运行器、沙箱、Agent、模型服务和设置。版本、提供商路由、系统提示、资源限制和超时等因素均会影响结果的实际测量意义。
在实际工作流演示中，Ravenwolf展示了如何通过Harbor启动Terminal Bench任务，收集结果，并在Marimo仪表盘中过滤不完整的运行，最终生成交互式排行榜。Weave工具被用于保留柱状图背后的轨迹，以便审查者检查命令、消息和失败情况。他还指出了两个常见的解释陷阱：更便宜的模型可能因消耗大量Token而提高总成本；更高的推理努力度若导致执行时间不足，反而可能降低得分。此外，基础设施故障需与真正的任务失败区别对待，且零温度设置并不保证运行的一致性。