Ai2发布基准测试：LLM评估AI生成研究创意的可靠性极低，提示词微调致准确率波动超50%
Ai2发布Novelty Bench，显示LLM作为“新颖性法官”在评估AI生成的科研创意时极不稳定，微小提示词变化可导致准确率剧烈波动。
人工智能研究机构Ai2（艾伦人工智能研究所）于2026年10月27日发布了名为“Old Ideas, Novel Problems”的新研究及配套基准测试“Novelty Bench”，旨在评估大语言模型（LLM）判断科学研究创意新颖性的可靠性。该研究指出，随着AI系统越来越多地参与科学发现过程，用于区分真正创新与简单重组现有工作的“新颖性法官”本身存在严重的不稳定性。
测试涵盖了GPT-5.1、GPT-5.4以及Claude Opus 4.6等六个主流LLM。结果显示，对于AI生成的研究创意，仅改变提示词中的几个单词，就可能导致模型判断准确率的波动超过50个百分点。例如，当提示词从要求模型识别“哪一个是新颖的”改为更简单的指令时，GPT-5.4在Human+Generated数据集上的准确率从93.5%骤降至40.9%，低于随机猜测水平。相比之下，在处理人类撰写的创意时，同样的提示词变化导致的准确率波动较小（约7个百分点），表明模型对AI生成内容的评估更为脆弱。
此外，研究发现复杂的检索增强或额外的推理预算并不能一致地改善判断结果，甚至两个专门构建的新颖性评估系统的表现也不如简单的提示词基线。这一发现对依赖LLM进行自动化文献综述和假设生成的科研辅助工具提出了警示：当前的“新颖性法官”尚不足以可靠地支持自动化的科学发现流程。