资讯1 分钟阅读·
研究称ChatGPT健康建议约两成高风险,结合用户上下文后风险升至近三成五
首项基于真实对话的评估显示,ChatGPT在印度、尼日利亚等国的健康咨询中,约20%的回答被评为高风险;若考虑用户背景信息,该比例上升至35%左右。
重要性实质性证据E2 未复现写法快讯
一项针对ChatGPT真实健康咨询对话的大规模审计发现,约五分之一的回答被评定为高风险。当评估纳入用户自身的累积背景信息时,这一比例上升13至17个百分点,意味着近四分之一的孤立安全回答对特定用户而言实则不安全。
此前LLM健康安全性评估主要依赖医生编写的案例或合成提示,缺乏对真实使用场景的检验。这项由Shreyasi Roy Chowdhury和Kiran Garimella进行的研究分析了来自印度、尼日利亚、巴西和巴基斯坦1,252名用户的15,555次健康对话(2022年12月至2026年2月)。
识别出的主要失败模式包括不安全的药物剂量指导、有害的自我诊断、缺失安全警告以及未能引导用户寻求专业医疗帮助。研究指出,基于合成案例的安全评估很可能遗漏这些现实危害。