AI安全学者Narayanan与Kapoor：存在性风险框架或阻碍广泛社会韧性

普林斯顿大学计算机科学教授Arvind Narayanan和Sayash Kapoor在其通讯《AI as Normal Technology》中发表文章，探讨了AI安全运动的战略方向。他们指出，当前关于AI安全的辩论主要围绕两种叙事展开：要么认为AI存在性风险真实且迫在眉睫，要么认为相关警告是出于炒作或监管俘获。作者提出了第三种可能性：这些警告可能是真诚的，但在策略上是错误且适得其反的。

作者承认，世界在防范灾难性和系统性风险方面确实存在系统性的投资不足。他们以疫情准备为例，指出尽管有多年警告和量化估计，但大多数建议从未实施，根本原因在于选民更倾向于奖励危机后的救济支出，而非事前的预防投入。同样，在网络安全领域，缺乏对系统性或灾难性风险的建模文化，导致市场难以正确定价尾部风险。

然而，Narayanan和Kapoor认为，将AI视为存在性风险并以此动员公众和政策制定者，可能会产生负面后果。首先，这种末日论调具有高度的极化性，容易沿党派路线分裂，导致政策不确定性甚至逆转。其次，当公众发现所谓的10%灭绝风险背后缺乏定量模型支持时，会产生被误导感，从而加剧对安全政策的抵触。

更重要的是，存在性风险框架可能导致资源错配。如果威胁被定义为广义的存在性风险，唯一的政策回应似乎就是禁止开发超级智能。但这种禁令在定义上模糊不清，且无法解决现有AI系统带来的灾难性和系统性风险。相比之下，针对网络攻击、生物风险放大以及累积性制度衰退的具体防御措施，需要的是分散的、长期的韧性建设，而非单一的宏大禁令。

因此，作者呼吁建立一个大帐篷式的AI安全运动。这一运动应包容那些不担心存在性风险但关注具体灾难性风险的成员，采用多元价值观而非单一的功利主义框架，并在政策上聚焦于透明度、责任归属和嵌入式评估等低垂果实。他们认为，通过恐慌推动的政策往往是最粗暴且无效的，而基于共同利益和具体威胁的广泛联盟更能促成有效的长期治理。