AI暂停验证瓶颈模型
3 节点1 篇4 来源
【背景】2026年10月，围绕“暂停前沿AI训练”的讨论从政治意愿转向技术可行性与资源效率。UC Berkeley等机构提出通过替换为“仅推理芯片”实现全球硬暂停；而Sage Future的研究者Simon Steshin与Grigory Reznikov则通过建模指出，即便美国前三大AI实验室停止能力研发并转向安全研究，真正的瓶颈并非算力，而是人力验证。模型显示，三年暂停可产出相当于2025年全年安全研究量1000倍的成果，但若完全信任AI自主研究，需数百万人进行验证；若采用更安全的协议（如Plan A），虽将总工作量压缩至3%-7%，但仍远超当前水平。争议焦点在于如何在自动化研究与人类监督之间取得平衡，以及各国政府能否协调执行硬件层面的禁令。
事情怎么走到这一步
独立研究者及PauseAI成员发布论文《迈向计算治理的全球机制》，提出“计算暂停按钮”概念，主张通过技术、溯源和监管三个干预点限制危险AI的训练算力。
arxiv.org ↗由UC Berkeley教授Barry Eichengreen和Stuart Russell等26名研究人员组成的工作组发布报告，论证全球“硬暂停”前沿AI训练的可行性，核心方案是禁止生产训练芯片并逐步替换为不可用于训练的“仅推理芯片”。
news.berkeley.edu ↗Simon Steshin与Grigory Reznikov在LessWrong发表文章，基于AI Futures Model构建暂停情景模型，指出人力验证是AI安全研究的主要瓶颈，并提出“登月基准”以应对自动化带来的审查压力。
lesswrong.com ↗
还没定论的部分
- 如何在不依赖数百万人工验证者的情况下，建立可信的AI安全研究自动化验证协议？
- 主要国家政府是否愿意接受通过硬件供应链控制（如强制替换为仅推理芯片）来实施国际AI暂停协定？
- 在“完全信任AI”与“严格人工审核”之间，是否存在能最大化安全研究产出且保持可控性的中间路径？