Ai2发布XYBench：测试大模型能否识别用户提问中的误解并引导至真实目标
Ai2联合多所高校发布XYBench基准，评估AI助手处理“XY问题”的能力。结果显示主流模型常聚焦于用户的错误前提而非解决其根本需求，揭示了当前助手在意图理解上的显著缺陷。
非营利研究机构艾伦人工智能研究所（Ai2）联合卡内基梅隆大学、英伟达和约翰霍普金斯大学的研究人员发布了XYBench，这是一个包含超过8000个问题的新基准，旨在测试AI助手如何应对基于误解的用户请求。该基准针对的是“XY问题”：用户想要实现目标X，却假设方法Y有效，因此询问关于Y的帮助，而忽略了真正的问题所在。例如，用户询问如何让糖霜不滑落，但实际原因是杯子蛋糕太热无法涂抹糖霜。
研究团队评估了Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro等模型。结果显示，这些模型虽然经常提供解决方案，但往往将回答重点放在用户原本错误的请求上，而不是引导用户关注其潜在目标。与人类参考答案相比，所有五个模型都不太可能将用户从错误的方法中引开并提供适合其目标的解决方案。
XYBench通过三个维度衡量模型响应：语用解决方案（是否同时解决了表面请求和潜在目标）、语用强调（回答的重点是表面请求还是潜在目标）以及误解识别（是否劝阻错误方法并引导至正确目标）。实验表明，即使明确告知用户潜在目标，模型在误解识别方面的表现仍低于人类，且有时反而下降，这表明检测意图只是挑战的一部分，模型还需要在意图与字面请求分歧时采取行动。
该基准已获EMNLP 2026最佳资源论文奖。数据、代码和论文已公开，供研究人员评估提示工程或训练改进是否能帮助模型更好地识别误解并提供更有效的替代方案。