预印本发现：LLM评估中“展示什么”比“用哪个模型”更关键，缺失约束反馈致性能下降

一项于2026年10月11日提交的预印本研究发现，在使用大语言模型（LLM）作为裁判进行文本评估时，向裁判展示的信息内容比选择哪个具体的裁判模型更为关键。该研究由Nitish Kumar等人完成，标题为《盲点的解剖：LLM裁判必须被展示什么，以及多少》。

研究团队在七个公开基准测试上仅改变向裁判展示的内容，并对比了价格相差10至17倍的三个不同裁判模型。结果显示，当系统根据一个未被告知必要约束条件的裁判反馈进行修改时，其在指令遵循和问答任务上的表现最终低于起始水平。这种性能损失随着迭代轮次增加而扩大，且在更换另一类裁判模型后依然存在。

此外，研究还发现，在新闻摘要任务中，正确的参考摘要会抵消源材料的大部分贡献，而在单答案问题中参考则有帮助。约十分之一的源材料完成了绝大部分工作。作者承诺了83个可测试条款，其中50个符合预测方向，但大多数定量理论预测失败。该结果目前为第一方基准测试，尚未经过独立复现。