阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 心智理论基准有效性1 分钟阅读·2026-10-19

新研究称心智理论基准主要测试算法状态追踪而非信念推理

PDDL-Mind研究显示,ToM基准的高分往往源于模型对状态转移算法的拟合,而非真正的心理理解能力。

重要性实质性证据E2 未复现写法快讯

2026-10-19 12:00

arXiv最新预印本《Algorithmic Primitives of Theory of Mind Benchmarks》提出,现有的心智理论(Theory of Mind, ToM)基准测试可能并未真正衡量模型的理解能力,而是在变相测试解析和算法状态追踪。

研究团队开发了名为PDDL-Mind的神经符号方法,将叙事文本解析为规划领域定义语言(PDDL),并显式执行状态更新算法。实验表明,在MMToM、MuMA和FanToM等主流基准中,仅将解析任务外包给程序即可使性能接近强大的智能体流水线;而将状态追踪外包给PDDL后,GPT-4o的表现提升至接近人类水平。

这一结果暗示,复杂ToM基准对大语言模型的“惩罚”,主要源于其隐式实现状态追踪和解析算法时的不可靠性,而非信念或反事实推理能力的本质局限。该发现要求重新审视当前AI在社交认知领域的评估有效性。

来源

  • 原始出处arxiv.org↗
专题

心智理论基准有效性

南加州大学等机构的研究表明,当前大语言模型在复杂的心智理论(Theory of Mind, ToM)基准测试中表现不佳,主要瓶颈并非缺乏高阶的信念推理能力,而是无法可靠地执行隐式的状态追踪与事件解析算法。【背景】ToM旨在评估AI理解他人心…

3 节点0 篇更新于 2026-10-19 15:46

事情怎么走到这一步

  1. 2026-04-20论文《Algorithmic Primitives of Theory of Mind Benchmarks》首次提交至arXiv,提出PDDL-Mind框架以解耦ToM基准中的解析、状态追踪与信念推理。
  2. 2026-10-15论文更新版本(v2)发布,详细展示了PDDL-Mind在MMToM-QA、MuMa-ToM和FanToM三个基准上的实验结果,证实状态追踪是主要瓶颈。
登录 / 注册
阅读研究雷达投资体系
  • 2026-10-19媒体综述指出,ToM基准的高分往往源于模型对状态转移算法的拟合,而非真正的心理理解能力,引发对基准有效性的讨论。
  • 还没定论的部分

    • PDDL-Mind依赖预定义的领域文件,这种人工工程化的方法是否限制了其在更开放、非结构化场景中的通用性?
    • 如果ToM基准主要测试状态追踪,那么现有的AI安全对齐评估是否也受到了类似“算法拟合”而非“真实理解”的干扰?
    • 学界是否会重新设计ToM基准,以剥离状态追踪因素,从而更纯粹地测量信念推理能力?
    读完整专题 →
    带入研究 →