阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · NBER AI复现论文1 分钟阅读·2026-10-03

大模型批量复现经济学论文,近八成被标记结果出入

经济学家用大模型批量复现经济学研究,4,452个复现包中3,460篇被自动标记结果出入,原论文未必有错。

重要性实质性证据E2 未复现写法快讯

核验于 2026-10-03 10:51

读者现在可以用大模型批量复现已发表的经济学研究:在4,452个已发表复现包中,3,460篇被标记存在结果出入,另有496篇的计算被提速超过10倍,923篇获得符合原意的扩展分析。

此前这类复现依赖人工逐篇核对,成本高、覆盖有限,难以批量检查与已发表结果的差异。

这套工作流由Matthew Schwartz、Isaiah Andrews与Jesse M. Shapiro三位经济学家开发,先复现原计算、再查与已发表结果的差异并做敏感性分析;上述标记与提速数字均为作者自报。

被标记的「出入」是工作流的自动检测结果,不等于原论文结论有错;论文未经同行评审,落款为NBER工作论文w35782,Tyler Cowen于10月1日在Marginal Revolution上介绍,尚无第三方复现。

来源

  • 原始出处nber.org↗
专题

NBER AI复现论文

NBER工作论文W35782揭示,大语言模型(LLM)在批量复现经济学研究时,对近八成论文标记出结果出入。Matthew Schwartz、Isaiah Andrews与Jesse M. Shapiro开发的开源工作流,利用已发表的复现包对…

3 节点2 篇更新于 2026-10-06 23:11

事情怎么走到这一步

  1. 2026-09-29NBER发布工作论文W35782,介绍一种能复现、改进和扩展已发表经济学研究的LLM开源工作流。
  2. 2026-10-01
登录 / 注册
阅读研究雷达投资体系
经济学家Tyler Cowen在Marginal Revolution撰文,详细披露该研究数据:4,452个复现包中3,460篇被标记结果出入。
  • 2026-10-03Anthropic发布博客,作者Matthew Schwartz阐述“Claude-shaped science”理念,解释为何LLM在特定定量科学任务上高效但需专家把关。
  • 还没定论的部分

    • 被LLM标记为“结果出入”的3,460篇论文中,有多少比例经人工复核确认为真实错误?
    • 该开源工作流在非经济学领域的通用性及误报率如何?
    • 学术界是否会建立针对LLM辅助复现的标准验证协议?

    这条线上还有

    • AI三个月产出36篇科学手稿,专家把关仍不可少2026-10-03
    读完整专题 →
    带入研究 →