资讯1 分钟阅读·
新研究称LLM评估中评分标准比裁判模型更关键，自审易致漂移
预印本显示固定裁判模型时，评分标准可使正确输出通过率从2%波动至100%，远超模型更换的影响；模型自审会删除有效检查项。
重要性实质性证据E2 未复现写法快讯
arXiv预印本《Rubrics Carry the Standard: Shapley Attribution for Checklist-Based LLM Judges》挑战了大语言模型（LLM）评估中的两个常见假设：一是认为严格或宽松是裁判模型的属性，二是认为让模型审查自己的评分标准可以改进它。
研究人员在SummEdits和RAGTruth两个人工标注数据集上进行受控实验。结果显示，当保持裁判模型和输出不变时，仅改变评分标准的内容，就能使正确输出的通过率从2%剧烈波动至100%。相比之下，更换裁判模型或对相同检查项进行不同渲染，仅导致几个百分点的变化。
该研究还发现，模型自我审查会使评分标准向修订者自身的标准漂移：它会添加任务从未要求的要求，并删除由人工标签验证过的检查项。为量化这一现象，作者提出了一种基于Shapley值的归因方法，证明自我审查系统性地删除了具有独特作用的检查项，而保留了那些导致误判失败的检查项。