预印本:大模型法律引用准确但判决不随法条变,审计价值存疑
研究发现LLM能正确引用法条,但判决往往不依赖该法条,削弱了其作为合规审计证据的可靠性。
重要性实质性证据E2 未复现写法快讯
大模型在生成法律解释时,能高比例正确引用相关法条,但其最终判决往往并不真正依赖于这些被引用的法条。
此前业界常将LLM生成的法律引用视为决策透明度的证明,用于合规审计。然而,一项针对七款开源模型(8B-70B参数)的反事实测试显示,当固定案件事实并替换法律依据时,模型虽仍能正确命名原法条(准确率66.7%-100%),但判决随之改变的比例极低(在CaseHOLD基准上仅为0.0%-21.7%)。
这一差距表明,模型可能只是在模仿法律推理的形式,而非真正执行逻辑推导。此外,红队测试发现模型更容易受隐藏对抗指令影响,进一步降低了其作为独立审计工具的可信度。