XYBench
3 节点1 篇4 来源
美国艾伦人工智能研究所(Ai2)联合卡内基梅隆大学等机构发布XYBench基准,旨在测试大语言模型能否识别用户提问中的“XY问题”并引导至真实目标。该基准包含8115个问题,涵盖编程与日常任务。实验显示,Claude Sonnet 4.6、GPT-5等主流模型虽常提供解决方案,但多聚焦于用户的错误前提而非根本需求,在识别误解和优先解决底层目标方面显著落后于人类参考回答。这一发现揭示了当前AI助手在意图理解和语用推理上的关键缺陷,即模型往往机械地响应字面请求,而未能有效纠正隐含的错误假设。
事情怎么走到这一步
Ai2团队提交关于XYBench的研究论文至arXiv,提出基于合作响应理论的评估范式。
arxiv.org ↗Ai2正式发布XYBench基准,公布由Stack Overflow、WikiHow等来源构成的8115个测试问题及评估代码。
huggingface.co ↗Ai2发布实验结果,指出被测模型在单轮对话中更倾向于回答字面请求(Y),而非用户实际目标(X)。
allenai.org ↗
还没定论的部分
- 模型在多轮对话或允许追问的场景下,识别和纠正用户误解的能力是否会显著提升?
- 除了英语和程序性任务,XYBench在非英语文化背景及非结构化问题中的适用性如何?
- 如何通过微调或提示工程优化模型,使其在生成回答时能主动平衡对字面请求的响应与对潜在目标的引导?