大模型批量复现经济学论文,近八成被标记结果出入
经济学家用大模型批量复现经济学研究,4,452个复现包中3,460篇被自动标记结果出入,原论文未必有错。
重要性实质性证据E2 未复现写法快讯
读者现在可以用大模型批量复现已发表的经济学研究:在4,452个已发表复现包中,3,460篇被标记存在结果出入,另有496篇的计算被提速超过10倍,923篇获得符合原意的扩展分析。
此前这类复现依赖人工逐篇核对,成本高、覆盖有限,难以批量检查与已发表结果的差异。
这套工作流由Matthew Schwartz、Isaiah Andrews与Jesse M. Shapiro三位经济学家开发,先复现原计算、再查与已发表结果的差异并做敏感性分析;上述标记与提速数字均为作者自报。
被标记的「出入」是工作流的自动检测结果,不等于原论文结论有错;论文未经同行评审,落款为NBER工作论文w35782,Tyler Cowen于10月1日在Marginal Revolution上介绍,尚无第三方复现。