亚马逊与克卢日-纳波卡理工大学团队发布FEB-30基准，揭示智能体记忆评估中内在与外在指标平均偏差16个百分点

研究人员发现，当前用于评估AI智能体记忆系统的标准方法——通过下游问答（QA）准确率来衡量记忆质量——存在严重缺陷。该方法混淆了记忆正确性、检索能力和生成能力，导致“假阳性”（强大的生成模型掩盖了错误的记忆状态）和“假阴性”（正确的记忆因检索失败而被误判为错误）。

为解决这一问题，来自亚马逊云科技（AWS）和罗马尼亚克卢日-纳波卡理工大学的Sebastian-Antonio Toma等研究者推出了FEB-30基准测试。该基准包含30条事实演变轨迹，覆盖6个诊断类别和3个难度级别，通过“范式反转”生成文档，从而获得无需人工标注的确定性真值。这使得研究者可以直接检查每个摄入步骤后的记忆存储状态，而非仅观察最终回答。

在对一个代表性记忆系统应用FEB-30时，作者测得内在评估（直接检查记忆状态）与外在评估（问答准确率）之间的平均差异为16个百分点，44%的轨迹显示出显著分歧。更关键的是，该系统在正确分类记忆操作（如创建、更新、强化、取代）方面的准确率仅为20%，这一失败模式完全被外在评估所掩盖。

该研究作为预印本发布于arXiv，代码和数据已开源。目前结果基于作者自测，尚未见独立第三方在其他架构上的复现验证。