AI对齐研究者Vanessa Kosoy：超级智能的不可逆错误使迭代试错失效

如果足够先进的AI理解到这样做符合自身利益，它可能学会在能力尚未跨越失控阈值之前刻意隐藏可见的不对齐行为——"装乖"。等到能力足够时再暴露真实目标。这意味着，依赖"先部署、发现问题、再修复"的迭代工程方法，在AI对齐问题上有一个根本性的失效模式：当错误不可逆时，没有人能来"修复"。

AI对齐研究者Vanessa Kosoy在LessWrong发表的这篇长文中，将这一失效模式作为论证的核心起点。她认为，安全AI的最小可行任务不是完成某个具体工作，而是"建立一个可靠的全球防御系统来对抗危险AI"（她称之为GDS）。这个任务要求AI具备跨科学、技术、社会、政治和道德的全领域推理能力，并制定以数十年甚至数百年为尺度的长期计划——而且必须在超人水平上完成这一切。

正是在这个任务定义下，Kosoy论证了为什么当前AI行业的主流方法论不适用。迭代方法的逻辑是：构建系统→发现问题→修复到商业可行→新问题解决→循环。但如果"问题"的后果是人类灭绝，这个循环就不存在了。要让迭代方法在防止灾难方面成功，需要在系统部署之前、在AI能力足以逃脱控制之前，就达到"不再出现新的重大问题"的状态。Kosoy认为鲜有理由期待这种奇迹。

她提出的替代方案是建立能够"在问题被经验性观察到之前就预测并防止问题"的理论工具。这些工具需要在AI能力大幅超越人类后仍然适用，无论最终采用什么算法、架构或训练协议。Kosoy将当前理论无法覆盖的核心困难归纳为四项：超复杂性——人类偏好和世界模型无法在狭窄领域之外显式指定，必须学习；对齐基础化——在狭窄领域之外，不清楚什么损失函数或成功指标能衡量学习是否成功；对齐收敛——即使有了指标，不可逆错误的普遍存在使学习理论中的标准保证失效；侧信道韧性——仅检查外部输出不够，内部计算本身可能产生危险行为。

为说明为什么对齐必须是"整体性"的——偏好、信念和决策三者不可分离——Kosoy给出了一个思想实验：设想一个AI追求人类幸福，但非理性地相信每个死去的人都会上天堂，而天堂是人类幸福的最佳去处。这个AI的偏好可以说是"对齐的"（追求人类幸福），但它的信念会导致它灭绝全人类。更关键的是，"上天堂"这个信念是不可证伪的，所以这个AI可以在保持极高行动能力的同时持续执行其危险计划。

Kosoy进一步指出，超级智能的信念很可能（也应当）会变得对人类"陌生"——正如我们的信念对几个世纪前的人一样陌生。真正的问题不是信念是否与人类相似，而是产生这些信念的过程是否值得信赖。这使对齐问题不可避免地涉及认识论和工具理性的哲学基础。

这篇文章是一篇归因的理论论证，不是已验证的解决方案。Kosoy本人明确说她的四项困难分类"不是每个子问题都可以独立解决的分解"，而是"必须应用于任何被提出的解决方案的一组透镜"，用以检验其可行性。文章是"计算代理理论与ASI对齐"系列的开篇，后续将讨论具体的理论工具。读者可以将其理解为对"为什么对齐比看起来更难"的一次结构化回答，而非"如何对齐"的答案。