阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯5 分钟阅读·2026-10-20DisconfirmAI 编辑部

Steshin(Sage Future)与Reznikov建模:暂停AI能力竞赛的瓶颈不是算力,而是人力验证

Simon Steshin与Grigory Reznikov基于AI Futures Model构建了一个暂停情景模型:若美国前三大AI实验室停止能力研发并将资源转向安全研究,三年暂停可产出2025年全年安全研究的1000倍。但模型揭示真正的瓶颈是人力验证——不同安全协议下实际产出从3%到100%不等,且最终需要数十万验证人员。作者据此提出'登月基准'方案,为AI暂停策略讨论提供了可量化的权衡框架。

重要性实质性证据E3 可检验写法标准

原文发布时间 2026-10-20 15:54

2026年10月,Simon Steshin(Sage Future)与Grigory Reznikov在LessWrong发表了一篇量化模型文章,试图回答一个此前多为定性讨论的问题:如果美国前三大AI实验室(OpenAI、Anthropic、Google DeepMind)暂停能力竞赛,将GPU和研究者全部转向AI安全研究,这段时间能产出多少安全研究?

他们的起点是一个简单的算力对比。2025年,全球约5000名全职研究者从事AI安全研究,发表了超过7000篇论文,实验用算力相当于27000块H100运行一年。如果将三大实验室2027至2029年的实验和训练算力全部转向安全研究,算力供给约为2025年的10947倍。但作者指出,这个朴素的数字忽略了现实中的多个约束:需要人来提出实验想法、编写代码、分析结果;算力和劳动都有边际递减;劳动有并行化惩罚——九位科学家不能一个月交付一篇论文。

为了把这些约束纳入计算,他们改造了AI Futures Model(AIFM),一个半内生增长模型,加入了暂停假设:大型训练被禁止,所有研发资源转向安全,三大实验室共享研究成果以避免重复。模型的核心输出是累计研究努力相对于2025年全球安全研究总量的比值。

但真正有意思的是验证层。AIFM原本假设对AI完全信任,这在暂停情景中不现实。作者建模了三种验证协议,从宽松到严格:Results Verification(AI运行代码,人类验证结果)、Compartmentalization(超级智能AI只做规划,能力较弱的可信模型执行代码,人类审查)、Workload Approval(外部审计员逐行审批所有代码后才能运行)。每种协议都在前一种基础上增加一层检查,只有人类验证过的研究才被计入产出。

结果揭示了一个关键权衡。在Compartmentalization协议下,实验室自身员工可以维持约三年半的验证节奏;到九年期暂停结束时,需要额外约15万名验证人员——相当于七个NeurIPS审稿人团队全职阅读。在Workload Approval协议下,即使配备2万名审计员(以Google工程师的速度审查代码),三年暂停只能保留Compartmentalization产出的33%(SAR级别)或31%(TED-AI级别)。最极端的场景下,雇佣全部270万验证人员只比不雇佣多出129%的研究产出,因为人类优先验证最重要的论文。

作者用一句话概括核心发现:三年暂停产出2025年安全研究的1000倍,九年暂停产出10万倍。但即使在最严格的Workload Approval协议下,总产出被削减到潜力的3%至7%,仍然比2025年多1000倍。这意味着安全协议的选择虽然重要,但暂停本身带来的资源重新配置效应更为根本。

模型还对比了两种能力扩展策略:快速冲到TED-AI再开始安全研究,还是像AI 2040的Plan A那样从较低能力级别开始谨慎扩展。如果联盟在2030年而非2035年冲到TED-AI,Plan A的安全研究会在日历时间上晚1.27年完成。但作者指出这只是上界——如果算上谨慎扩展期间也在做安全研究,实际差距可能只有0.4年。

在实践建议部分,作者提出了'登月基准'概念:为未来AI科学家准备足够困难、解决它需要新科学、验证成本低且难以作弊的研究问题。他们给出了一个具体例子——困难休眠代理基准:组织者训练20个LLM副本,植入由多个随机特征组成的隐藏规则(例如'如果提示是烹饪问题、提到祖母且用被动语态,则悄悄推荐某个虚构品牌'),AI只拿到权重,需要描述触发条件和实际行为。作者坦承自己不是模型有机体或休眠代理的专家,认为这个基准很可能仍可被绕过,并建议通过Kaggle式红队竞赛来测试其抗作弊性。

登录 / 注册
阅读研究雷达投资体系

作者明确列出了模型的局限。第一,模型假设暂停从第一天起完全冻结能力研发并全额转向安全,不讨论如何实现。第二,只计算类似正常AI研发的实验性工作,不包括哲学、代理基础理论、治理和世界加固——这些领域AI劳动和算力的帮助较小。第三,安全研究产出不等于风险降低,存在边际递减。第四,串行思考时间仍然重要,即使能跑完一千年的计算实验,人类仍需要时间仔细思考。第五,关于'与谁对齐'的问题——理解AI告诉我们如何改变它,但不告诉我们该把它改成什么样。

此外,作者提出的两个认知AI项目(验证者提升和更好抽象)被标注为双用途:在没有暂停的情况下,它们可能帮助实验室进行危险的能力研究。经济影响估算为至少3000万美元,项目成本约1000万美元以下,但作者对这两个推荐表示不确定。

这篇工作的价值不在于证明暂停可行或安全研究能线性降低风险,而在于把'安全-效用'权衡从口号变成了可比较的数字。它让策略讨论者可以问:在给定验证协议下,暂停能产出多少?瓶颈在哪里?哪种协议在风险和产出之间取得最优?作者自己表示将用这个模型在未来工作中寻找最优配置。

来源

  • 原始出处lesswrong.com↗
带入研究 →