Kosoy不可逆错误论
5 steps1 pieces5 Sources
AI对齐研究者Vanessa Kosoy提出“不可逆错误”概念，论证超级智能（ASI）一旦失控将导致无人能修复的灾难，因此行业惯用的迭代试错法在ASI阶段彻底失效。她主张必须转向基于Infra-Bayesianism的理论推导，在部署前通过数学证明确保安全性。
【背景】Kosoy认为最小安全任务是构建全球防御系统，这要求ASI具备超人类的多域推理能力，任何微小偏差都可能被放大为灭绝风险。
【存疑】Steven Byrnes等学者质疑其“间接排除失败模式”的有效性，认为仍需直接解决内对齐问题。目前该争论尚无定论，取决于理论工具能否在计算上可行地预测所有危险行为。
How it got here
Steven Byrnes发文对比Kosoy的“需求优先”与主流“算法优先”路径，指出双方对如何处理线控、本体危机等失败模式存在根本分歧。
alignmentforum.org ↗Martín Soto发布PreDCA协议摘要，阐述如何利用Infra-Bayesian框架让AGI从物理世界中推断人类效用函数，从而消除通信信道被篡改的风险。
lesswrong.com ↗WillPetillo采访Kosoy，她重申理论基础研究的重要性，并反驳了MIRI部分成员转向政策游说的策略，坚持认为数学基础是解决对齐问题的关键。
lesswrong.com ↗Kosoy与合作者发表arXiv论文《On the Computational Tractability of Robust Bandits》，证明了鲁棒多臂老虎机中特定情况下的多项式时间学习器，为理论落地提供计算可行性证据。
arxiv.org ↗Kosoy发布长文《The Alignment Problem: Computer Science Meets Analytic Philosophy》，正式提出“不可逆错误”使迭代方法失效，定义技术对齐的核心难点为超复杂性。