CMU研究：AI智能体决策失误多源于“读对却做错”，而非误读环境信息

卡内基梅隆大学研究人员发现，用于AI智能体的“系统一”（System One）模型——即通过单次评分选择动作的快速模型——其决策错误主要并非源于误读环境信息，而是未能将已正确读取的事实组合成正确的行动。

该研究在包含模拟环境、客服策略和工具使用的冻结基准测试中，将每个动作选择问题与独立的事实探针配对。结果显示，在准确率最高的六个系统中，73%至85%的错误发生在所有事实探针均回答正确的状态下。这意味着模型“读懂了”当前局面，但依然选错了下一步动作。

作者指出，当探针事实足以确定动作时，模型仍无法自行组合这些事实；但若由代码根据模型自己的事实答案来构建动作，成功率可恢复至0.96以上。这一发现为调试智能体提供了新方向：重点应放在增强模型从已知事实推导行动的能力，而非单纯增加上下文感知精度。