资讯1 分钟阅读·
DolphinBench让记忆评测同时报成本与延迟
DolphinBench把长期记忆评测从问答搬到智能体任务完成,并强制同时报告成本、延迟与准确率。
重要性局部证据E2 未复现写法快讯
长期记忆评测现在可以同时看到成本、延迟与准确率:DolphinBench用智能体任务完成度直接评测长期记忆,而非问答式检索。
此前记忆基准只测问答式检索,作者称现有记忆基准无一同时覆盖成本、延迟与准确率三者。
基准含三个知识工作角色,每个约50万token用户消息、200个任务;每个任务都经作者验证:智能体有相关历史须成功、无历史须失败。这是作者自建自测的基准,数据与评测代码已在dolphinbench.ai公开。
三位作者在arXiv发布DolphinBench预印本(9月21日提交),尚无第三方独立采用或复核。