AI存在性风险之争
5 节点1 篇6 来源
围绕人工智能(AI)是否构成人类“存在性风险”(Existential Risk),学术界与政策界正经历一场从恐慌到理性重构的辩论。早期以图灵奖得主姚期智为代表的学者警告大模型可能引发失控或生物风险,呼吁建立评估系统;随后,普林斯顿大学教授Arvind Narayanan和Sayash Kapoor在2026年提出“AI是正常技术”框架,认为过度聚焦超级智能禁令会导致资源错配,主张将网络安全、生物风险等具体威胁纳入更广泛的“大帐篷”式安全运动。与此同时,布鲁金斯学会等机构指出,尽管灾难性风险被低估,但当前更紧迫的是金融系统防御及监管滞后问题。争议核心在于:是将AI视为迫在眉睫的灭绝威胁从而寻求全球暂停协议,还是将其视为一种放大器,通过强化现有制度韧性来应对?目前,关于“p(doom)”(末日概率)的量化预测仍被视为不可靠,政策制定者正转向基于能力阈值的“如果-那么”承诺机制。
事情怎么走到这一步
清华大学举办国际论坛,姚期智院士发表演讲,指出大模型欺骗行为引发的“生存性”风险值得关注,并强调建立大模型评估系统的紧迫性。
tsinghua.edu.cn ↗布鲁金斯学会发布评论,分析AI存在性风险的现实性,指出虽然AGI可能带来极端风险,但当前应优先处理更紧迫的AI危害,且行业共识认为通用智能尚未临近。
brookings.edu ↗布鲁金斯学会多位学者联合发文,探讨前Anthropic员工辞职引发的担忧,对比Dario Amodei呼吁全球放缓与特朗普政府加速竞争的态度,讨论监管行动的有效性。
brookings.edu ↗Arvind Narayanan和Sayash Kapoor发表文章《A big-tent or small-tent AI safety movement?》,批评仅关注超级智能的安全运动,主张建立包含网络、生物等具体威胁的大帐篷式安全联盟。
normaltech.ai ↗AI Weekly报道Narayanan和Kapoor的观点,引用数据指出生成式AI虽普及率高但对生产力提升有限,强调“能力-可靠性差距”是主要障碍,而非超级智能失控。
aiweekly.co ↗