新基准把成本和延迟纳入智能体记忆评测
DolphinBench要求记忆系统并报准确率、成本与延迟,属作者自建评测,可作方法信号跟踪。
原始事件 2026-09-21
DolphinBench预印本提出:智能体记忆评测应同时报告准确率、总成本和延迟,三者缺一不可。
基准包含三个知识工作人设,每人约50万token用户消息,各设200个依赖历史的任务。作者用有历史成功、无历史失败的方式逐条验证任务有效性。
这是作者第一方设计与验证,尚无独立复现或第三方采用;对做记忆系统的读者,可作评测选项跟踪。
DolphinBench要求记忆系统并报准确率、成本与延迟,属作者自建评测,可作方法信号跟踪。
原始事件 2026-09-21
DolphinBench预印本提出:智能体记忆评测应同时报告准确率、总成本和延迟,三者缺一不可。
基准包含三个知识工作人设,每人约50万token用户消息,各设200个依赖历史的任务。作者用有历史成功、无历史失败的方式逐条验证任务有效性。
这是作者第一方设计与验证,尚无独立复现或第三方采用;对做记忆系统的读者,可作评测选项跟踪。
从阅读到研究
原文摘要、材料日期和来源会一起进入研究草稿。