阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 医疗大模型升级可靠性1 分钟阅读·2026-10-17DisconfirmAI 编辑部

arXiv预印本:医疗大模型漏报升级请求率达32%-97%,规则控制器无法泛化到改写场景。

新基准显示,尽管静态准确率高达0.97,不确定性提示下的大模型仍会漏掉32%-97%的必要升级;基于规则的控制器虽能改善效用,但在未见过的改写面前完全失效。

重要性实质性证据E2 未复现写法快讯

原文发布时间 2026-10-16 12:00

华盛顿大学圣路易斯分校团队发布的一项预印本研究表明,当前开源大模型在处理医疗工作流时存在严重的“升级”(Escalation)可靠性问题。在400个合成医疗场景的测试中,当证据缺失、冲突或过时,需要模型决定是回答、澄清、弃权还是升级给人类专家时,即使模型在干净数据上的决策准确率达到0.97,使用不确定性提示后,它们仍会漏掉32%至97%的必要升级请求。

研究指出,参数量更大的9.7B模型虽然缩小了差距,但并未消除这一风险,其在冲突情境下的准确率从0.97降至0.78。此外,模型口头表达的置信度与实际错误率不一致(ECE为0.10-0.54),仅靠调整置信度阈值无法提升效用。

团队提出了一种透明的“工作流感知控制器”,在所有测试模型上均提升了5:1成本比下的效用,并将漏报率降至0.12-0.24。然而,该控制器的鲁棒性有限:在一个包含30个概念的词汇压力测试中,其规则检测器对未见过的同义改写的召回率从1.00骤降至0.00,表明这种路由机制仅在特定基准内有效,缺乏泛化能力。

来源

  • 原始出处arxiv.org↗
专题

医疗大模型升级可靠性

医疗大模型在静态测试中表现优异,但在需要判断何时将病例“升级”给人类医生的动态工作流中,存在严重的漏报风险。最新研究显示,尽管模型在干净数据下的决策准确率高达0.97,但在面对信息缺失或冲突时,其漏掉必要升级请求的比例竟达32%-97%。更…

4 节点0 篇更新于 2026-10-17 15:42

事情怎么走到这一步

  1. 2026-02-09
登录 / 注册
阅读研究雷达投资体系
Nature Medicine发表研究,指出1298名参与者使用LLM辅助后,识别疾病和处置方案的准确率(<34.5%)未优于对照组,证明标准基准无法预测人机交互中的失败。
  • 2026-05-14Stanford团队提出“过早闭合”概念,发现前沿LLM在移除正确选项后仍有55-81%的概率强行给出答案,而非选择澄清或拒绝,显示其在不确定性下缺乏克制。
  • 2026-09-23Journal of Medical Systems发布框架,强调聚合准确率掩盖了灾难性故障频率的差异,同一查询在不同运行中可能产生不同安全等级的建议,呼吁关注响应可重复性。
  • 还没定论的部分

    • 如何构建能够真正反映临床动态变化(如信息延迟、冲突)的基准,以替代静态问答?
    • 在模型自身置信度不可靠的情况下,是否存在一种通用的、不依赖特定触发词的“工作流感知控制器”架构?
    • 当LLM作为公众健康助手时,如何通过界面设计或流程约束来弥补用户与模型之间的能力鸿沟?
    读完整专题 →
    带入研究 →