资讯1 分钟阅读·
新研究揭示AI决策模型“回退机制”可靠性缺口:正确识别类别仍导致路由错误
理想汽车与中科院团队提出PFR测试,发现类型化决策模型在回退选项执行上存在严重不一致,准确率可从97.9%骤降至23.1%。
重要性实质性证据E2 未复现写法快讯
理想汽车系统安全团队与中国科学院信息工程研究所研究人员提出了一种名为“配对回退鲁棒性”(Paired Fallback Robustness, PFR)的测试方法,用于评估类型化决策模型(Typed Decision Models, TDMs)在非对抗环境下的回退规则执行能力。研究发现,即使模型正确识别了输入类别,其在切换至回退选项时仍会出现显著错误。
在TREC50基准测试中,当任务要求从常规选项切换至回退选项时,Intern模型的准确率从97.9%下降至23.1%。此外,逻辑等价的回退规则定义也会导致模型决策出现实质性分歧。这些结果表明,当前TDMs的回退机制可能成为新的错误来源,而非提升可靠性的保障。该论文为预印本,代码和数据将在论文被接受后公开。