阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化4 分钟阅读DisconfirmAI 编辑部

Noah Smith:关于“智能爆炸”的辩论并非 AI 安全政策的正确框架

经济学家兼 Noahpinion 作者 Noah Smith 认为,无论是否发生智能爆炸,政策应对措施必须一致:监管即将出现的近超人级 AI。如果智能爆炸是可能的,那么控制前沿发展速度无法阻止它;而稳步进展已经产生了经济上等同的结果,这使得递归自我改进(RSI)辩论成为对可操作治理的一种干扰。

2026-11-20 18:13

Vernor Vinge 曾预测奇点将在 2005 年至 2030 年间到来。旧金山几乎所有的 AI 安全讨论仍然集中在递归自我改进是否临近,以及我们是否应该故意放缓 AI 进步以防止其触发智能爆炸。Noahpinion 通讯背后的经济学家 Noah Smith 越来越怀疑这是否是应该提出的正确问题。

Smith 简要阐述了这场辩论,然后论证其焦点错位。一方面,Ramez Naam、Theo Jaffee 以及经济学家 Luis Garicano 和 Alex Imas 指出 OpenAI 的数据表明,AI 目前仍只能自动化研究过程中的短片段,他们认为收益递减意味着每一次能力增强带来的加速效果都在减弱,并指出整体进步速度尚未出现加速迹象。另一方面,一份关于 Anthropic 内部研究的 METR 报告猜测,近期 AI 进步加速的大部分(可能约为 80%)归因于 AI 本身,而 Dwarkesh Patel 则类比数学领域——模型从 2023 年无法进行四位数加法到在 88 小时内解决一个千禧年大奖难题——认为 AI 研究具有使这种跳跃成为可能的同样可验证属性。

Smith 的核心论点在于,这场辩论的答案不会改变政策图景。如果智能爆炸是可能的,它就会发生,因为任何程度的减速都无法阻止它。将 AI 进步速度减半只会将阈值从例如 2032 年推迟到 2037 年——对于任何认为爆炸将是灾难性的人来说,Smith 称这几年的额外时间为“微不足道”。真正防止它的唯一方法是完全停止 AI 进步,而 Smith 同意 Vinge 在 1993 年提出的观点,即竞争优势使得这在政治上不可能实现。

Smith 也不认为对齐研究能使爆炸变得安全。在稳步线性进步的世界里,控制前沿发展以便对齐工作能够跟上可能会有所帮助,但在突然超指数增长的世界里,对齐研究会立即被抛在后面。即使存在一个用于理解对齐的奇点,那也将由超级智能 AI 自身执行并决定其自身的对齐方式。

Smith 论点的后半部分认为,爆炸与正在发生的事情无法区分。AI 从无法相加两个数字到在三年内解决所有人类数学家合力都难以解决的问题,并不被视为智能爆炸。Smith 写道,按照目前的稳步进步速度,AI 将在相对较短的几年内在大多数领域变得超人化——即使是机器人技术和物理任务,看起来也可以用驱动 Claude 和 GPT 的那种 AI 来攻克。这意味着,无论 AI 是否看起来像 Vinge 小说中那种无限自我改进的神,在我们有生之年,AI 基本上都会看起来像神一样。

Smith 随后转向经济学。他指出,技术通常会达到一个有用性的阈值,此时采用在经济上是合理的,从而产生快速但局部的生产力增益,这些增益很快就会完成。Fiszbein 等人(2024 年)展示了电气化的情况;Bartel(2005 年)展示了 IT 赋能机器的情况。每一项发明都创造了许多小的局部奇点,只有当你在整个经济中把它们加起来时,你才会得到某种看起来像大平滑波的东西。突然变得超级智能的 AI 不受局部性的限制——根据定义,如果它愿意,它可以接管全部或大部分人类任务。但是,如果没有发生爆炸,这些接管很可能是交错且不规律的,并且在最初几年之后的经济影响可能不会有太大不同。

政策结论随之直接得出:我们需要接受没有人能足够地控制前沿发展以防止超级智能的出现,而且很可能没有人会这样做。紧迫的工作是监管我们已经拥有的 AI——制定竞争政策以确保利益不被一家公司垄断,防止 AI 赋能的生物恐怖主义,确保经济收益广泛共享。Smith 的框架故意具有挑衅性:如果机器之神苏醒,那就让它苏醒吧,我们将简单地应对它。与此同时,他认为,我们需要专注于处理我们现在拥有的 AI。

对 Smith 论点的最强反驳是他可能低估了那几年额外时间的价值。如果对齐研究真的接近突破——这一结果将使超级智能 AI 无论以多快的速度到来都是安全的——那么控制速度就不是微不足道的,而是灾难与生存之间的区别。Smith 承认这种可能性,但予以驳斥,认为在超指数世界中,对齐研究无论如何都无法跟上步伐。这种驳斥是否合理取决于一个关于对齐难度的实证问题,而 Smith 并未解决这个问题。

来源

登录 / 注册
阅读研究雷达投资体系
  • noahpinion.blog↗
带入研究 →