大模型真值缺口研究

最新预印本研究《Neither True nor False》揭示，当前开源大语言模型（LLMs）在处理复数陈述时存在严重的“二元偏差”（Bivalence Bias），无法识别“部分成立”的真值缺口。研究发现，当证据混合时（如5名患者中3人好转），模型倾向于将模糊情况强行判定为“假”，导致高风险场景下的事实核查失效。

时间线与关键发现：

• 2026-10-10：Duaa Nakshbandi等人在arXiv提交v1版本，提出HomogeneityNLI数据集，测试7个开源模型对复数定指短语的逻辑处理能力。来源 ↗
• 2026-10-14：论文更新至v2，确认在零样本设置下，无模型能在超过15%的场景中正确识别双向真值缺口；84%的情况下，否定式复数陈述被错误判定为False。来源 ↗
• 背景关联：同期其他研究指出，LLMs不仅在逻辑上趋向二元化，在创意输出和错误模式上也呈现高度“同质性”，不同模型间错误相关性强，削弱了多模型集成的鲁棒性。来源 ↗

为何重要： 该研究挑战了LLM作为可靠事实核查工具的假设。传统观点认为增加推理步骤（CoT）或明确规则可改善表现，但实验显示这些方法效果不稳定，甚至可能固化偏差。争议在于：这是模型架构的根本限制，还是训练数据分布导致的表面现象？若无法解决真值缺口，LLM在医疗、法律等需要处理“部分证据”的领域应用将面临系统性风险。

后续观察：

1. 是否有新模型通过微调专门针对三值逻辑（True/False/Gap）进行优化。
2. HomogeneityNLI数据集是否被纳入主流模型评估基准。
3. 业界是否推出能区分“不确定”与“错误”的新型验证协议。