Steshin(Sage Future)与Reznikov建模:暂停AI能力竞赛的瓶颈不是算力,而是人力验证
Simon Steshin与Grigory Reznikov基于AI Futures Model构建了一个暂停情景模型:若美国前三大AI实验室停止能力研发并将资源转向安全研究,三年暂停可产出2025年全年安全研究的1000倍。但模型揭示真正的瓶颈是人力验证——不同安全协议下实际产出从3%到100%不等,且最终需要数十万验证人员。作者据此提出'登月基准'方案,为AI暂停策略讨论提供了可量化的权衡框架。
重要性实质性证据E3 可检验写法标准
2026年10月,Simon Steshin(Sage Future)与Grigory Reznikov在LessWrong发表了一篇量化模型文章,试图回答一个此前多为定性讨论的问题:如果美国前三大AI实验室(OpenAI、Anthropic、Google DeepMind)暂停能力竞赛,将GPU和研究者全部转向AI安全研究,这段时间能产出多少安全研究?
他们的起点是一个简单的算力对比。2025年,全球约5000名全职研究者从事AI安全研究,发表了超过7000篇论文,实验用算力相当于27000块H100运行一年。如果将三大实验室2027至2029年的实验和训练算力全部转向安全研究,算力供给约为2025年的10947倍。但作者指出,这个朴素的数字忽略了现实中的多个约束:需要人来提出实验想法、编写代码、分析结果;算力和劳动都有边际递减;劳动有并行化惩罚——九位科学家不能一个月交付一篇论文。
为了把这些约束纳入计算,他们改造了AI Futures Model(AIFM),一个半内生增长模型,加入了暂停假设:大型训练被禁止,所有研发资源转向安全,三大实验室共享研究成果以避免重复。模型的核心输出是累计研究努力相对于2025年全球安全研究总量的比值。
但真正有意思的是验证层。AIFM原本假设对AI完全信任,这在暂停情景中不现实。作者建模了三种验证协议,从宽松到严格:Results Verification(AI运行代码,人类验证结果)、Compartmentalization(超级智能AI只做规划,能力较弱的可信模型执行代码,人类审查)、Workload Approval(外部审计员逐行审批所有代码后才能运行)。每种协议都在前一种基础上增加一层检查,只有人类验证过的研究才被计入产出。
结果揭示了一个关键权衡。在Compartmentalization协议下,实验室自身员工可以维持约三年半的验证节奏;到九年期暂停结束时,需要额外约15万名验证人员——相当于七个NeurIPS审稿人团队全职阅读。在Workload Approval协议下,即使配备2万名审计员(以Google工程师的速度审查代码),三年暂停只能保留Compartmentalization产出的33%(SAR级别)或31%(TED-AI级别)。最极端的场景下,雇佣全部270万验证人员只比不雇佣多出129%的研究产出,因为人类优先验证最重要的论文。
作者用一句话概括核心发现:三年暂停产出2025年安全研究的1000倍,九年暂停产出10万倍。但即使在最严格的Workload Approval协议下,总产出被削减到潜力的3%至7%,仍然比2025年多1000倍。这意味着安全协议的选择虽然重要,但暂停本身带来的资源重新配置效应更为根本。
模型还对比了两种能力扩展策略:快速冲到TED-AI再开始安全研究,还是像AI 2040的Plan A那样从较低能力级别开始谨慎扩展。如果联盟在2030年而非2035年冲到TED-AI,Plan A的安全研究会在日历时间上晚1.27年完成。但作者指出这只是上界——如果算上谨慎扩展期间也在做安全研究,实际差距可能只有0.4年。
在实践建议部分,作者提出了'登月基准'概念:为未来AI科学家准备足够困难、解决它需要新科学、验证成本低且难以作弊的研究问题。他们给出了一个具体例子——困难休眠代理基准:组织者训练20个LLM副本,植入由多个随机特征组成的隐藏规则(例如'如果提示是烹饪问题、提到祖母且用被动语态,则悄悄推荐某个虚构品牌'),AI只拿到权重,需要描述触发条件和实际行为。作者坦承自己不是模型有机体或休眠代理的专家,认为这个基准很可能仍可被绕过,并建议通过Kaggle式红队竞赛来测试其抗作弊性。