LLM裁判校准方法
6 steps1 pieces7 Sources
LLM裁判（LLM-as-a-Judge）在生产环境中普遍存在系统性偏差，直接采用其原始评分会导致评估失真。当前校准方法已从简单的断言检查演进为基于统计学的偏差校正与不确定性量化体系。
【背景】早期实践仅关注位置偏差或自我偏好等定性陷阱，而最新研究指出，未校准的裁判评分在低准确率区间会高估模型表现，在高准确率区间则低估，这种偏差无法通过增加测试数据消除。
核心争议在于如何定义“可用”的裁判：一方主张通过Spearman相关系数和Cohen's Kappa设定硬性CI门禁阈值；另一方认为相关性高不代表无偏，必须引入灵敏度/特异性进行Rogan-Gladen式偏差校正，并计算包含校准集不确定性的置信区间（eval-CI）。此外，针对复杂策略排序场景，单纯的相关性分析失效，需采用因果框架（如CJE）进行奖励校准以解决偏好反转问题。
要判断裁判是否可靠，不能只看其与人类标签的一致率，而应检查其系统偏差量及置信区间的覆盖度。
How it got here
Lee等人提出插件式框架，利用灵敏度和特异性校正LLM裁判的原始通过率偏差，并构建考虑校准集不确定性的置信区间。
arxiv.org ↗LatentEval发布指南，强调读取原始通过率会固化偏差，建议通过五步法进行偏差校正并分配校准标签预算。
latenteval.ai ↗Radharapu等人提出使用线性探针从隐藏状态提取校准后的不确定性估计，作为无需额外训练的快速替代方案。
aclanthology.org ↗Amazon团队推出GAUGE协议，发现满意度与任务成功脱节，提出“先校准后信任”的节奏，用零成本完成位作为截断回归的绊线。
arxiv.org ↗IBM工程师Tejas Kumar在工作坊中演示如何将人类判决一致性转化为CI门禁，并讲解常见偏差陷阱。
youtube.com ↗Landesberg提出Causal Judge Evaluation (CJE)框架，通过保序回归和权重稳定化解决未校准评分导致的偏好反转和无效置信区间问题。
arxiv.org ↗