智能体评估基准
6 steps1 pieces6 Sources
智能体评估正经历从“单次任务得分”向“全链路可靠性验证”的范式转移。早期基准如CRAB聚焦于跨设备操作能力，而近期研究揭示现有工具调用基准存在高达18.5%的评估器与人类判断不一致问题，且单次运行结果波动极大。当前核心争议在于：高分是否代表真实能力？新提出的“信任层”框架和TraceTrial-Bench试图通过追踪执行轨迹、验证计算过程及重复运行来区分“幸运成功”与“可靠行为”，指出仅22.6%的记录通过项能经受住严格的可信度检验。这一转变要求评估体系不仅关注最终答案，更需审计中间步骤与环境状态，以解决模型幻觉与评估伪影带来的误导。
How it got here
CAMEL AI社区发布CRAB基准，支持同时操控手机和电脑，引入图评估器以细粒度衡量跨环境任务完成率。
news.qq.com ↗IBM等机构综述120种评估方法，指出当前基准缺乏对成本效率和中间步骤的考量，建议加强细粒度评估。
research.ibm.com ↗CoreThink AI与斯坦福大学审计发现，主流工具调用基准存在18.5%的评估器-人类判断偏差，LiveMCPBench同配置分数波动达18.9个百分点。
arxiv.org ↗Centific Research提出“智能体评估信任层”，验证结果显示仅22.6%的通过记录能同时满足可追溯计算、诚实声明及稳定性四项检查。
arxiv.org ↗中科院自动化所等机构推出TraceTrial-Bench，将智能体性能与承载系统（Harness）可靠性分离评估，发现31.1%的成功运行存在至少一项系统标准失败。
arxiv.org ↗Weights & Biases工程师介绍WolfBench框架，强调通过重复运行和多层级追踪，将Agent得分追溯至具体配置条件以识别不稳定行为。
youtube.com ↗