推理语用丢失研究
3 steps1 pieces4 Sources
最新预印本研究发现，当用户增加大语言模型的推理计算量（即让模型“思考”更久）时，模型倾向于将“有些”和“或者”等逻辑词理解为纯字面含义，从而丢失人类对话中隐含的“并非全部”或“并非两者”等语用信息。该研究指出，虽然更多思考能提升数学和代码准确率，但会抑制基于格莱斯准则的默认推断。实验显示，模型在早期推理阶段曾短暂保留这些隐含意义，但在后续步骤中将其取消。研究者提出一种从早期推理轨迹中提取答案的方法，可在不损失字面准确性的前提下恢复语用理解。【背景】这与另一项发现“共享Token预算导致思维链挤占答案空间”的研究形成互补，共同指向当前推理模型在效率与语义完整性之间的权衡困境。
How it got here
港科大等机构发布预印本《Entertain, then Cancel》，证实增加推理Token会导致GPT-5及多数开源模型取消“some”和“or”的语用含义。
arxiv.org ↗Redis博客探讨Token预算感知推理，指出简单问题过度思考造成成本浪费，但未涉及语用含义丢失问题。
redis.io ↗台大团队发表《The Coupling Tax》论文，揭示固定输出预算下，长思维链可能因截断而降低最终答案准确率，非思考模式在特定预算下表现更优。
arxiv.org ↗
What is still unsettled
- 如何在保持推理模型高准确率的同时，强制其保留默认的语用隐含意义？
- 不同架构的推理模型（如Qwen3 vs GPT-5）在语用丢失程度上的差异是否源于训练数据中的逻辑偏好？
- 现有的评估基准是否普遍缺乏对“解释性准确性”而非仅“事实准确性”的测试？