心智理论基准有效性
3 steps0 pieces3 Sources
南加州大学等机构的研究表明，当前大语言模型在复杂的心智理论（Theory of Mind, ToM）基准测试中表现不佳，主要瓶颈并非缺乏高阶的信念推理能力，而是无法可靠地执行隐式的状态追踪与事件解析算法。【背景】ToM旨在评估AI理解他人心理状态的能力，但现有高分往往掩盖了模型在基础世界状态维护上的缺陷。
研究发现，通过引入神经符号框架 PDDL-Mind，将状态追踪外包给确定性的符号验证器，仅用三次LLM调用即可使GPT-4o在MMToM-QA等基准上达到接近人类水平的准确率（88.3%）。这一结果挑战了主流观点，即认为需通过增加测试时计算量（如代理管道）来弥补推理能力的不足。争议的核心在于：ToM基准究竟是在测量“心理理解”，还是在测量“算法拟合”。若后者成立，则当前对AI认知能力的评估可能存在系统性偏差。
How it got here
论文《Algorithmic Primitives of Theory of Mind Benchmarks》首次提交至arXiv，提出PDDL-Mind框架以解耦ToM基准中的解析、状态追踪与信念推理。
arxiv.org ↗论文更新版本（v2）发布，详细展示了PDDL-Mind在MMToM-QA、MuMa-ToM和FanToM三个基准上的实验结果，证实状态追踪是主要瓶颈。
arxiv.org ↗媒体综述指出，ToM基准的高分往往源于模型对状态转移算法的拟合，而非真正的心理理解能力，引发对基准有效性的讨论。
arxiv.org ↗
What is still unsettled
- PDDL-Mind依赖预定义的领域文件，这种人工工程化的方法是否限制了其在更开放、非结构化场景中的通用性？
- 如果ToM基准主要测试状态追踪，那么现有的AI安全对齐评估是否也受到了类似“算法拟合”而非“真实理解”的干扰？
- 学界是否会重新设计ToM基准，以剥离状态追踪因素，从而更纯粹地测量信念推理能力？