前沿AI安全与对齐
4 节点1 篇4 来源
【背景】2026年9月29日，美国总统特朗普与六家科技巨头领袖在白宫签署《超级智能协议》，正式将“人工智能”更名为“超级智能”，并确立四层自愿性安全控制架构。此举标志着美国政府在监管层面试图通过命名重构和软性约束来应对前沿AI风险。
然而，围绕“递归自我改进”（RSI）是否已成为现实的技术争论并未平息。OpenAI于2026年2月承认GPT-5.3-Codex在开发中起到关键作用，引发业界对AI自主迭代能力的担忧；但MIT学者指出，当前瓶颈仍在于数据收集与物理世界交互能力，而非纯粹的算法自举。与此同时，上海人工智能实验室等机构推出ReSI框架，试图利用自动化红队测试实现模型安全的递归提升，以对抗不断演化的攻击手段。
在此背景下，80,000 Hours播客主持人Rob Wiblin于10月呼吁前沿AI公司员工重新评估职业优先级，认为若RSI可能在2027至2029年间到来，从业者需转向能延缓或管控该进程的工作。目前，关于RSI的定义边界、政府协议的执行力以及技术界的安全路径选择仍存在显著分歧。
事情怎么走到这一步
OpenAI发布GPT-5.3-Codex，并在说明中称早期版本“在创建自身过程中发挥了重要作用”，首次明确承认模型参与其继任者的工程循环。
cacm.acm.org ↗美国总统特朗普与Anthropic、OpenAI、Meta、Google、Nvidia、xAI负责人签署《超级智能协议》，宣布官方术语由“AI”改为“Super Intelligence”，并约定实施内部监控、独立审计等四层安全控制。
mashable.com ↗上海人工智能实验室联合多所高校发布论文，提出ReSI（递归安全改进）框架，通过自动化红队测试和训练配方筛选，旨在解决模型更新后安全对齐失效的问题。
arxiv.org ↗80,000 Hours播客发布节目，主持人Rob Wiblin基于Jack Clark等人对RSI时间表的预测（最早2027年），呼吁前沿AI公司员工调整工作重心以应对潜在风险。
80000hours.org ↗
还没定论的部分
- 白宫《超级智能协议》中的“道德约束力”如何转化为实际的法律或合规压力？
- 学术界对“递归自我改进”的定义是否存在共识，还是仅停留在营销话术与技术现实的混淆中？