新研究称心智理论基准主要测试算法状态追踪而非信念推理

arXiv最新预印本《Algorithmic Primitives of Theory of Mind Benchmarks》提出，现有的心智理论（Theory of Mind, ToM）基准测试可能并未真正衡量模型的理解能力，而是在变相测试解析和算法状态追踪。

研究团队开发了名为PDDL-Mind的神经符号方法，将叙事文本解析为规划领域定义语言（PDDL），并显式执行状态更新算法。实验表明，在MMToM、MuMA和FanToM等主流基准中，仅将解析任务外包给程序即可使性能接近强大的智能体流水线；而将状态追踪外包给PDDL后，GPT-4o的表现提升至接近人类水平。

这一结果暗示，复杂ToM基准对大语言模型的“惩罚”，主要源于其隐式实现状态追踪和解析算法时的不可靠性，而非信念或反事实推理能力的本质局限。该发现要求重新审视当前AI在社交认知领域的评估有效性。