资讯1 分钟阅读·
出处核验层拦下138条无据AI回答,误拦67条
ProvenanceGuard自测可查AI回答证据是否真来自所指工具来源,但仅限医疗轨迹,尚无独立复现。
重要性局部证据E2 未复现写法快讯
现在可以核验AI回答的证据是否真来自回答所指的那个工具来源:ProvenanceGuard在医疗智能体的361条声明上,把专家判定不应通过的139条拦下了138条。
此前核验器只查回答是否有据,不区分证据出自哪个来源,来源错配的回答会被放行。
Multiverse Computing团队自测:出处可识别时判对来源约86%;对比实验中拦截F1为0.802,高于MiniCheck等四个不区分来源的核验器;但在多个相似来源的更难测试里,出处判对率只有50.3%,同时误拦了67条本应通过的声明。
结果均为作者自测,尚未有独立复现;方法来自Multiverse Computing在Hugging Face发文并挂出的预印本,仅限医疗智能体轨迹。