医疗大模型升级可靠性
4 steps0 pieces4 Sources
医疗大模型在静态测试中表现优异，但在需要判断何时将病例“升级”给人类医生的动态工作流中，存在严重的漏报风险。最新研究显示，尽管模型在干净数据下的决策准确率高达0.97，但在面对信息缺失或冲突时，其漏掉必要升级请求的比例竟达32%-97%。更令人担忧的是，基于规则的控制器虽能改善效用，却无法泛化到未见过的改写场景；而模型自身的口头置信度也无法有效预测失败。与此同时，一项针对公众的随机对照试验表明，即便LLM单独诊断准确率高，普通用户借助LLM后识别病情和处置方案的能力并未优于对照组，甚至低于34.5%。这标志着医疗AI评估正从“知识准确性”转向“行动可靠性”，核心争议在于：现有的静态基准是否掩盖了动态环境下的致命缺陷？
How it got here
Nature Medicine发表研究，指出1298名参与者使用LLM辅助后，识别疾病和处置方案的准确率（<34.5%）未优于对照组，证明标准基准无法预测人机交互中的失败。
nature.com ↗Stanford团队提出“过早闭合”概念，发现前沿LLM在移除正确选项后仍有55-81%的概率强行给出答案，而非选择澄清或拒绝，显示其在不确定性下缺乏克制。
arxiv.org ↗Journal of Medical Systems发布框架，强调聚合准确率掩盖了灾难性故障频率的差异，同一查询在不同运行中可能产生不同安全等级的建议，呼吁关注响应可重复性。
link.springer.com ↗arXiv预印本《Auditing Escalation Reliability》揭示，在400个合成医疗工作流场景中，模型漏报必要升级率达32%-97%，且规则控制器在词汇压力测试下完全失效。
arxiv.org ↗
What is still unsettled
- 如何构建能够真正反映临床动态变化（如信息延迟、冲突）的基准，以替代静态问答？
- 在模型自身置信度不可靠的情况下，是否存在一种通用的、不依赖特定触发词的“工作流感知控制器”架构？