阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · UniPat论文复现基准1 分钟阅读·2026-10-08

AI复现科学论文成功率仅14%

UniPat AI发布PaperBenchX基准,显示最强模型GPT-6 Astra在93个跨学科论文复现任务中完整复现率仅为13.98%,揭示AI在端到端科学工作流验证上的巨大缺口。

重要性实质性证据E2 未复现写法标准

核验于 2026-10-08 18:30

UniPat AI发布的PaperBenchX基准显示,表现最强的GPT-6 Astra在93个跨学科论文复现任务中,完整复现率仅为13.98%。

该基准要求AI代理在电磁、化学、生物等12个领域的原生软件环境中,从头重建并运行科学工作流,而非仅猜测结果。系统通过删除输出、断网重放来验证证据的可再生性。

尽管部分建模和执行阶段得分较高(平均约62%),但验证阶段得分显著下降至42.8%,表明AI难以将各环节串联成可信的完整复现。目前仅有12个代表性任务开源,其余81个保持封闭以维持区分度。

来源

  • 原始出处unipat.ai↗
专题

UniPat论文复现基准

【背景】2026年10月8日,UniPat AI发布PaperBenchX基准,旨在评估AI模型跨学科端到端复现已发表科学论文的能力。该基准包含93个任务,覆盖电磁、化学等12个领域及10种原生科学环境,通过“干净重放”机制验证证据的可再生…

3 节点1 篇更新于 2026-10-08 19:15

事情怎么走到这一步

  1. 2026-03-09UniPat AI开源UniScientist模型,提出将科研过程形式化为“假设-证据-验证”循环,并强调可复现推导的重要性。
  2. 2026-09-03OpenAI发布GPT-6 Astra,宣称在计算机使用、软件工程及科学领域达到SOTA,引发业界对AI科研能力的关注。
  3. 2026-10-08
登录 / 注册
阅读研究雷达投资体系
UniPat AI发布PaperBenchX基准,测试最强模型GPT-6 Astra在93个跨学科论文复现任务中的表现,完整复现率为13.98%。

还没定论的部分

  • 如何定义并量化“科学上成立”的复现标准,特别是在缺乏类似Lean证明检查器的非数学领域?
  • 随着模型能力提升,PaperBenchX的封闭测试集是否会因数据污染或过拟合而失效?
  • AI能否从“复现已知”跨越到“发现新知”,即解决开放性问题而非仅重建已有实验?
读完整专题 →
带入研究 →