资讯1 分钟阅读·
预印本:大模型无法识别复数谓词的真值缺口,混合证据易被误判为二元结论
新研究揭示当前开源大模型在处理“部分成立”的复数陈述时存在系统性偏差,难以区分真值缺口与明确真假,影响高风险场景下的事实核查可靠性。
重要性实质性证据E2 未复现写法快讯
在利用大语言模型(LLM)进行关键信息摘要或事实核查时,一个常见的陷阱是处理包含“复数定指”的陈述。例如,“患者们在服用药物A后改善了”,如果五名患者中只有三人改善,这句话既不是真的(因为两人没改善),其否定句也不是真的(因为三人确实改善了)。这种逻辑状态被称为“同质性缺口”(Homogeneity Gap)。
最新预印本研究《Neither True nor False: Do LLMs Represent Truth-Value Gaps in Plural Predication?》引入了名为 HomogeneityNLI 的诊断数据集,包含1,000个最小对样本,测试了七款开源权重模型。研究发现这些模型普遍存在“二值性偏差”(Bivalence Bias):它们倾向于将混合证据强行判定为“真”或“假”。
具体数据显示,在零样本设置下,没有任何模型能在超过15%的场景中正确识别出两种极性下的真值缺口;对于否定的复数定指,84%的情况下模型错误地将其判断为“假”。即使使用显式语言规则、思维链(Chain-of-Thought)或枚举提示,效果也不稳定,甚至可能加剧这种偏差。
该结果表明,当前的开源大模型虽然能获取复数谓词的某些真值条件,但尚未掌握其背后的三值逻辑。这意味着在需要处理部分支持证据的高风险决策场景中,依赖这些模型进行自动摘要或验证可能存在严重误导风险。此发现基于作者自测基准,尚待独立复现。