资讯1 分钟阅读·
arXiv预印本:医疗大模型漏报升级请求率达32%-97%,规则控制器无法泛化到改写场景。
新基准显示,尽管静态准确率高达0.97,不确定性提示下的大模型仍会漏掉32%-97%的必要升级;基于规则的控制器虽能改善效用,但在未见过的改写面前完全失效。
重要性实质性证据E2 未复现写法快讯
华盛顿大学圣路易斯分校团队发布的一项预印本研究表明,当前开源大模型在处理医疗工作流时存在严重的“升级”(Escalation)可靠性问题。在400个合成医疗场景的测试中,当证据缺失、冲突或过时,需要模型决定是回答、澄清、弃权还是升级给人类专家时,即使模型在干净数据上的决策准确率达到0.97,使用不确定性提示后,它们仍会漏掉32%至97%的必要升级请求。
研究指出,参数量更大的9.7B模型虽然缩小了差距,但并未消除这一风险,其在冲突情境下的准确率从0.97降至0.78。此外,模型口头表达的置信度与实际错误率不一致(ECE为0.10-0.54),仅靠调整置信度阈值无法提升效用。
团队提出了一种透明的“工作流感知控制器”,在所有测试模型上均提升了5:1成本比下的效用,并将漏报率降至0.12-0.24。然而,该控制器的鲁棒性有限:在一个包含30个概念的词汇压力测试中,其规则检测器对未见过的同义改写的召回率从1.00骤降至0.00,表明这种路由机制仅在特定基准内有效,缺乏泛化能力。