Salesforce AI Research：全路径评估区分'没存住'与'没用上'，Agentforce 记忆策略调整使召回翻倍
Salesforce AI Research 发布了一套针对 Agentforce Memory 的评估框架，核心思路是测试从客户说出信息到 Agent 依据该信息行动的完整路径，从而区分'未存储'和'未检索'两种失败。基于该评估，团队仅修改记忆策略——将信息更新视为对已有事实的纠正而非并列追加——便在底层架构完全不变的情况下，使明确陈述事实的召回提升 1.8 倍、随时间变化的事实召回提升 2.2 倍。所有数字为厂商自报，尚无独立复现。
AI Agent 回答错误时，开发者面对一个难以诊断的问题：这个错误是因为 Agent 根本没有保存那条信息，还是保存了但没有在需要时检索出来？Salesforce AI Research 研究总监 Erik Nijkamp 在博客中指出，仅凭 Agent 的最终回答无法区分这两种失败，因为基于旧事实生成的回复和基于当前事实生成的回复读起来完全一样。
为了解决这个诊断盲区，Salesforce AI Research 构建了一套评估框架：生成跨越多个会话的长对话，在对话中植入特定事实，将完整对话输入运行中的 Agentforce 系统，然后提出依赖那些事实的问题，检验 Agent 的回答是否正确。这套方法的关键在于测试从'客户说出信息'到'Agent 依据信息行动'的整条路径，而非只检查存储层或只检查检索层。评估所用的对话数据来自 ConvoMem——该团队 2025 年发布的一个公开基准。
基于这套全路径评估，团队发现改进不需要动架构。Agentforce Memory 的底层架构从上线至今没有变化，真正改变的是记忆策略——即决定 Agent 保留客户哪些信息、以及当信息发生变化时如何处理的规则。旧策略将客户的更新视为一条新事实，与旧事实并列存储；新策略将更新视为对已有事实的纠正，覆盖旧值。
在自家系统上运行的评估结果显示：新策略对明确陈述事实的召回是旧策略的 1.8 倍，对随时间变化的事实的召回是旧策略的 2.2 倍。Salesforce 将此概括为端到端对话记忆质量'本质上翻倍'。
需要明确的是，以上全部数字均为厂商在自家产品上、使用自家发布的基准进行的自测结果，尚无第三方独立复现。评估中未披露绝对召回率、对话样本量或统计置信区间，因此 1.8x 和 2.2x 的倍数关系能说明策略调整的方向性效果，但不足以判断在客户实际部署场景中的绝对表现水平。
尽管如此，这套方法论本身具有可迁移价值：当 Agent 记忆表现不佳时，先建立全路径评估以区分存储失败和检索失败，再针对性地修改对应层的策略，往往比重建架构更高效。Salesforce 首席科学家 Silvio Savarese 将这一思路概括为产品组织与实验室的区别——问题已经在运行、客户已经在上面，纪律是在改动之前先诚实测量。