南开大学博士生罗宇提出PoS框架:识别AI智能体看似忙碌实则原地踏步的信念陷阱
罗宇等人在论文配套博客中形式化了信念陷阱问题——智能体持续交互但其目标相关信念不再产生有意义的进展,并提出PoS框架,通过维护显式信念状态、计算信念健康度检测陷阱,再根据行为模式和缺口类型施加针对性恢复约束。
一个看似简单的任务——把加热后的杯子放进柜子——暴露了长程AI智能体的一个隐蔽失败模式。南开大学博士生、阿里云算法实习生罗宇在论文配套博客中描述了这个案例:智能体先把杯子放进微波炉,再放进柜子,然后开始反复检查柜子,重复了36次直到行动预算耗尽,任务始终没有完成。缺失的关键步骤是加热杯子,但智能体的操作日志一直在增长,看起来始终在工作。
罗宇与来自南开大学、阿里云、清华大学的研究团队将这一问题形式化为信念陷阱:智能体持续与环境交互,但其目标相关信念的演化不再产生有意义的任务进展。这不同于简单的重复动作——多次调用同一工具可能是在收集不同证据,每步用不同工具也可能始终回避关键问题。
他们提出的PoS框架的核心思路是:不再让智能体从散落的交互历史中重建当前理解,而是显式维护一个信念状态,同时记录现在世界是什么样和还缺什么。现在世界是什么样用实体、状态和关系来组织:杯子、微波炉、柜子是实体;杯子是否已加热、微波炉是否关闭是状态;杯子在哪里、谁拿着它是关系。每个状态和关系保留其来源、置信度和支撑证据,供后续核查。还缺什么分为两类:认知缺口是需要进一步澄清的信息,成就缺口是需要通过行动改变的状态。当多个未解决需求并存时,PoS选取一个活跃缺口作为当前行动焦点。
信念状态由模型生成,本身可能包含错误判断。因此PoS在每次新观测后生成候选更新,提交给信念哨兵核查:更新是否内部一致,是否有交互证据支撑。例如,同一微波炉不能同时被记录为开和关,仅观察到杯子被放入微波炉不足以将已加热记为既定事实。只有通过验证的状态才进入后续决策。
在可靠状态的基础上,PoS用三个互补信号构建信念健康度来检测陷阱:缺口持久性衡量哪些需求在整个窗口中始终未解决,进展停滞衡量窗口内多少转换没有记录有效进展,信念重复衡量与历史信念状态的循环程度。当健康度低于0.25时,系统判定智能体已陷入陷阱,启动诊断。
恢复不是笼统地告诉智能体换个方法试试。PoS沿两个维度诊断:行为模式(静止、循环、漂移)和受阻缺口类型(认知或成就)。对静止陷阱,约束抑制无效的状态-动作重复;对循环,打断重复转换;对漂移,将行为重新对齐到活跃缺口。同时必须配对一个进展要求:获取有区分力的证据,或产生与目标相关的状态变化。在杯子任务中,仅告诉智能体停止检查柜子不够,后续行动还必须推进杯子变热这一未满足需求。
在四个基准和三个基座模型的12组设置中,PoS取得了所有比较方法中最高的总体指标。以Qwen3.7-Plus为例,ALFWorld任务成功率从最强基线的72.39%升至88.81%。但代价是推理计算量显著增加:在RCA-100设置下,PoS将联合准确率从24.27%提升至38.83%,而方法级总token消耗达到基线的5.06倍。
罗宇在博客中也坦承了局限:信念健康度识别的是进展停滞,不能直接验证最终答案是否正确;即使内部一致且与观测兼容的信念状态,仍可能因领域知识不足而包含错误判断。论文讨论的两个未来方向——更紧凑的潜在世界状态表示,以及将领域知识检索引入状态更新——都指向降低这一额外推理成本。