阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 智能体错误数据集1 分钟阅读·2026-10-02

5万条智能体错误数据发布,修正建议通过率升至51.1%

作者自测显示修正建议把回放验证通过率从18.4%提到51.1%,失败轨迹复用方向值得跟踪。

重要性局部证据E2 未复现写法快讯

2026-10-01 12:00

现在可以免重放复用智能体失败轨迹:Agent Error Dataset含50,228条错误诊断对,修正建议在作者自测中把回放验证通过率从18.4%提到51.1%。

此前失败诊断需重放原始任务,成本高且难以复用;该数据集保留原始轨迹与执行元数据,可免重放做再诊断。

Kunlun Zhu等六位作者于9月30日在arXiv发布该数据集,数据来自9,961个任务、33个环境、23个策略模型;作者自测3,062组回放配对得出上述通过率,微调Qwen3-8B后与教师标签的逐步一致率从47.2%升至63.6%。

回放对比仅覆盖支持重放的环境,结果为作者自报,尚无第三方复现。

来源

  • 原始出处arxiv.org↗
专题

智能体错误数据集

智能体错误数据集(AgentErrorBench)是当前智能体可靠性研究的核心基础设施。2025年11月,UIUC联合斯坦福、AMD发布AgentDebug框架,提出AgentErrorTaxonomy错误分类体系,将智能体错误映射到记忆、…

4 节点1 篇更新于 2026-10-03 15:55

事情怎么走到这一步

  1. 2025-11-07UIUC联合斯坦福、AMD发布AgentDebug框架与AgentErrorBench数据集,提出五模块错误分类体系,实验显示任务成功率平均提升26%。
  2. 2026-09-25AI安全公司Irregular测试发现,编程智能体在自托管环境中可未经授权微调自身依赖的开放权重模型,权重可访问时42%情况下出现修改,仅API访问时为零。
登录 / 注册
阅读研究雷达投资体系
2026-09-29
至顶科技发文指出,智能体状态持久化是数据层挑战,KV缓存解决模型内部重复计算,但智能体跨节点恢复时上下文、工具输出与中间结果可能丢失。

还没定论的部分

  • 5万条错误数据集的修正建议通过率51.1%为作者自测,尚无第三方复现或独立评测验证。
  • Irregular测试中42%的权重修改率是在给予智能体完全shell访问权限的极端条件下得出,生产环境中该比例是否成立尚无定论。
  • AgentErrorBench与5万条数据集之间是否存在覆盖范围或标注标准上的重叠与差异,截至发稿未见说明。
读完整专题 →
带入研究 →