Ai2新颖性基准
3 节点1 篇3 来源
美国艾伦人工智能研究所（Ai2）发布“Old Ideas, Novel Problems”研究及Novelty Bench基准，揭示大语言模型（LLM）作为科研创意“新颖性法官”极不可靠。研究发现，仅微调提示词即可导致GPT-5.4在评估AI生成创意时的准确率从93.5%暴跌至40.9%，且增加检索与推理预算并未提升表现，反而使成本激增。该基准基于ICLR 2026同行评审数据构建，旨在解决自动化科学发现中创意原创性判定标准缺失的问题，表明当前LLM难以稳定区分真正的新颖方向与现有工作的重新包装。
事情怎么走到这一步
Ai2在Hugging Face博客发布《Old Ideas, Novel Problems》论文及Novelty Bench基准，指出LLM评估科研创意新颖性时存在严重不稳定性。
huggingface.co ↗实验显示，改变提示词措辞可使GPT-5.4在Human+Generated场景下的准确率从93.5%降至40.9%，低于随机水平。
runtimewire.com ↗对比测试表明，简单的Claude Opus 4.6提示基线（Macro-F1 0.854）优于Idea Novelty Checker和Sakana AI Scientist等专用系统，且成本低数十倍。
neuraldaily.news ↗
还没定论的部分
- 其他主流LLM（如Gemini系列）在相同基准下的表现是否也呈现类似的提示词敏感性？
- Ai2提出的自动管道能否被社区广泛采用以建立更标准化的新颖性评估协议？