阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 大模型法律引用审计争议1 分钟阅读·2026-10-10DisconfirmAI 编辑部

预印本:大模型法律引用准确但判决不随法条变,审计价值存疑

研究发现LLM能正确引用法条,但判决往往不依赖该法条,削弱了其作为合规审计证据的可靠性。

重要性实质性证据E2 未复现写法快讯

原文发布时间 2026-10-09 12:00

大模型在生成法律解释时,能高比例正确引用相关法条,但其最终判决往往并不真正依赖于这些被引用的法条。

此前业界常将LLM生成的法律引用视为决策透明度的证明,用于合规审计。然而,一项针对七款开源模型(8B-70B参数)的反事实测试显示,当固定案件事实并替换法律依据时,模型虽仍能正确命名原法条(准确率66.7%-100%),但判决随之改变的比例极低(在CaseHOLD基准上仅为0.0%-21.7%)。

这一差距表明,模型可能只是在模仿法律推理的形式,而非真正执行逻辑推导。此外,红队测试发现模型更容易受隐藏对抗指令影响,进一步降低了其作为独立审计工具的可信度。

来源

  • 原始出处arxiv.org↗
专题

大模型法律引用审计争议

大模型在法律领域的“幻觉”已从单纯的文本错误演变为系统性信任危机。最新研究显示,即便模型能正确引用法条,其判决逻辑往往并不依赖该法条,导致传统基于引用的合规审计失效;与此同时,美国法院中因AI伪造引证引发的制裁案件逐年激增,而中国学界则聚焦…

6 节点1 篇更新于 2026-10-10 14:22

事情怎么走到这一步

  1. 2025-08-31L-MARS系统发布,提出通过多轮法官循环提升严格引用F1分数,但指出检索增强生成(RAG)在提高准确率方面作用有限。
  2. 2026-05-11LegalCiteBench基准测试显示,在无外部检索的闭卷设置下,最强模型精确恢复引用的得分低于7/100,误导性回答率超过94%。
登录 / 注册
阅读研究雷达投资体系
  • 2026-06-15南京审计大学王宇航发表文章,分析生成式AI在政府审计中的数据合规风险与责任归属难题,呼吁建立分层透明度义务体系。
  • 还没定论的部分

    • 如何在保护国家秘密和商业机密的前提下,满足公众对AI辅助政府审计结论的可解释性要求?
    • 现有的多智能体审计框架(如GANDR)能否在大规模司法实践中以可接受的成本运行?
    • 当模型自信地提供错误引用时,法律责任应主要由开发者、部署机构还是最终使用者承担?
    读完整专题 →
    带入研究 →