阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

Paul Christiano:我们可能距离能够颠覆政府的AI仅六个月,正确的做法是暂停算法进步

在2026年11月的一次播客节目及随后的讲座中,AI安全研究员Paul Christiano认为,前沿实验室应停止改进AI算法,直到其安全态势能够防范盗窃,且其对齐方法能够处理已经构建的系统。他估计,在当前轨迹下,一年内出现超级智能的概率为三分之一,未来十二个月内失去控制的风险为10%,而国家行为者窃取模型权重是导致灾难的最可能途径。

2026-11-20 23:24

Paul Christiano在2026年11月参加Dwarkesh Patel播客节目时提出的核心观点是,实现安全AI发展的窗口期关闭速度比任何人预期的都要快,而正确的应对措施是暂停那些使AI系统在单位训练努力下变得更强大的算法改进。他估计,在当前轨迹下,一年内出现强大到足以颠覆政府的超级智能的概率为三分之一;如果开发以全速继续,未来十二个月内失去对AI系统控制的风险为10%。

Christiano描述的机制通过AI研究本身的自动化来实现。他指出,来自Anthropic和METR的报告表明,即使考虑到收益递减和计算瓶颈,过去六到十二个月间AI进步的节奏也大致翻了一番。如果AI系统越来越多地编写代码并设计实验来构建下一代系统,这种翻倍速度将加快:从八个月缩短到四个月,再到两个月,并在大约十六个月内接近物理极限。Christiano表示,这是目前最明显的当务之急——弄清楚我们距离能够颠覆政府的系统是三个月、六个月还是十二个月。

他的政策建议源于他所识别的一种特定不对称性。现在暂停更为可行,因为最危险的能力尚未出现,而且内部模型至少在某种程度上是可以保护的,而已部署的系统则不然。他表示,似乎不可能保护一个跨主要云提供商部署的系统的模型权重免受国家行为者的攻击,而对于内部模型,至少存在一些机会。如果在这些能力存在并部署之后再暂停,风险要大得多,因为权重可能被窃取,一旦发生这种情况,竞赛将被迫加速,持有权重者的安全态势将不如原始开发者。他还指出,中国目前的许多AI进展依赖于泄露的美国算法突破,因此如果美国现在停止,中国在很长一段时间内无法完全赶上。他将盗窃情景描述为最可能导致失败的途径。

Christiano提议实验室立即采取的行动是,停止在预训练效率、强化学习和架构设计方面积累进一步的算法创新,直到满足三个条件:具备足够的安全态势以在必须阻止部署的情况下保护这些创新;拥有足够的对齐方法来控制已构建的系统;以及治理流程成熟到足以察觉事情开始出错的时候。他明确指出,他并非以OpenAI董事会成员的身份发言,尽管他确认自己确实是其中一员。

他框架中的悲观情绪是结构性的,而非修辞性的。他将超级智能心智的可解释性确定为最有希望的现有计划,但只赋予其5%到10%的成功概率,并预计它会在不可预测地崩溃之前运行几个月。他的乐观情景涉及两个连续的50/50救命掷骰子:有50%的机会找到某种有效的方法,如果有50%的机会没有任何方法奏效,我们能找到一种停止的方式。这导致事情大体上没事的概率为75%。称局势严峻的Zvi Mowshowitz表示,他会非常乐意接受事情结果良好的75%概率,同时指出 odds(赔率/可能性)对我们不利。

Christiano的论点是有出处的,未经独立验证。他的概率估计基于嘈杂的基准外推以及他自己对自动化AI研发复利速度的判断。他引用的METR报告被Zvi描述为证实了现有预期,而非提供新的测量数据。盗窃情景取决于关于国家级网络能力以及在云部署中保护权重的难度的假设。这些都不是既定事实;它们是一位研究人员为特定政策行动辩护的前提,并以关于时间线和概率的不寻常的具体性呈现出来。

来源

  • thezvi.substack.com↗
登录 / 注册
阅读研究雷达投资体系
带入研究 →