资讯1 分钟阅读·
DolphinBench让记忆评测同时报成本与延迟
DolphinBench把长期记忆评测从问答搬到智能体任务完成，并强制同时报告成本、延迟与准确率。
重要性局部证据E2 未复现写法快讯
长期记忆评测现在可以同时看到成本、延迟与准确率：DolphinBench用智能体任务完成度直接评测长期记忆，而非问答式检索。
此前记忆基准只测问答式检索，作者称现有记忆基准无一同时覆盖成本、延迟与准确率三者。
基准含三个知识工作角色，每个约50万token用户消息、200个任务；每个任务都经作者验证：智能体有相关历史须成功、无历史须失败。这是作者自建自测的基准，数据与评测代码已在dolphinbench.ai公开。
三位作者在arXiv发布DolphinBench预印本（9月21日提交），尚无第三方独立采用或复核。