UniPat论文复现基准
3 steps1 pieces4 Sources
【背景】2026年10月8日，UniPat AI发布PaperBenchX基准，旨在评估AI模型跨学科端到端复现已发表科学论文的能力。该基准包含93个任务，覆盖电磁、化学等12个领域及10种原生科学环境，通过“干净重放”机制验证证据的可再生性。
结果显示，尽管GPT-6 Astra在数学难题上取得突破，但在PaperBenchX中的完整复现率仅为13.98%。这一低分揭示了当前AI在科学工作流中的核心缺口：模型虽能完成部分建模和执行，但难以生成经得起独立验证的科学证据。这与菲尔兹奖得主联名信中关于“以解题为基准可能误导科研评价”的观点相呼应，表明从“叙事推理”到“可验证复现”仍是迈向通用AI科学家（General AI Scientist）的巨大障碍。
How it got here
UniPat AI开源UniScientist模型，提出将科研过程形式化为“假设-证据-验证”循环，并强调可复现推导的重要性。
finance.sina.com.cn ↗OpenAI发布GPT-6 Astra，宣称在计算机使用、软件工程及科学领域达到SOTA，引发业界对AI科研能力的关注。
felloai.com ↗UniPat AI发布PaperBenchX基准，测试最强模型GPT-6 Astra在93个跨学科论文复现任务中的表现，完整复现率为13.98%。
unipat.ai ↗
What is still unsettled
- 如何定义并量化“科学上成立”的复现标准，特别是在缺乏类似Lean证明检查器的非数学领域？
- 随着模型能力提升，PaperBenchX的封闭测试集是否会因数据污染或过拟合而失效？
- AI能否从“复现已知”跨越到“发现新知”，即解决开放性问题而非仅重建已有实验？