斯坦福HAI博士后Jiacheng Miao提出:论文能否变成可运行智能体,本身就是可复现性指标
Jiacheng Miao(斯坦福HAI)在Snorkel AI读书会上介绍Paper2Agent框架:将论文及其代码库打包为MCP服务器,通过构建-测试循环让智能体学会执行论文方法。团队将100篇计算生物学论文转化为74个可用智能体,在300道基准题上得分91.2%,对比Claude Code直接访问代码仓库的80.3%(均使用Sonnet 4)。Miao的核心论点是:论文能否被智能体成功执行,可作为新的可复现性度量。
传统论文是一种被动、碎片化的知识载体。Jiacheng Miao以AlphaGenome为例:一篇约200页的PDF,关键细节藏在补充材料中,想复现结果要自己摸索代码仓库和Python环境,想应用方法要搞清楚训练数据。他说,这就是目前科学知识的沟通方式。
他的提议是:论文不应只发布PDF,还应同时发布一个可交互的智能体。具体做法是把论文及其代码库打包为MCP服务器,包含三类组件——封装计算方法的工具、暴露手稿和代码链接的资源、以及按论文分析链条编写的逐步指令。用户通过自然语言提问,智能体调用论文方法、写出分析代码、返回结果。
可靠性来自一个多智能体构建-测试循环:一组智能体识别代码库、安装依赖、确定适用任务;团队从论文和仓库中提取问答对作为基准;另一组测试智能体反复运行这些问答,迭代加固服务器,直到它能复现论文报告的所有结果和仓库中的每个笔记本。
在100篇计算生物学论文中,74篇成功转化为可用智能体。300道基准题上,Paper2Agent得分91.2%,Claude Code直接访问GitHub仓库得80.3%(均用Sonnet 4)。Miao指出,零样本编码智能体有时会误解论文内容并写错代码,而经过循环训练的论文智能体能更快完成任务,他估计成本也更低。
但Miao认为更有意思的推论是可复现性度量。他说,判断一篇论文是否可复现一直很难——有些论文需要其他研究者花三个月才能复现。如果一篇论文很难转化为稳健的智能体,它可能缺少关键信息,还不是人们能使用的东西,只是能阅读的东西。这把智能体执行成功与否变成了论文完整性的代理指标。
这个指标有明确边界。在未能转化的论文中,许多存在代码库不完整、文档差或含未解决错误的问题,团队无法可靠地将其暴露为可用工具。基准由团队自己运行,Miao也承认,当使用更新的模型时,论文智能体与Claude Code之间的差距在缩小,但尚未消失。
Paper2Agent论文已发表于Nature,代码开源在GitHub,托管智能体在paper2agent.ai免费使用。Miao展望的未来是每篇论文附带一个智能体可用声明,就像今天的数据可用声明一样。