LLM可纠正性理论

LLM可纠正性（Corrigibility）是AI对齐的核心难题：传统观点认为效用最大化者必然抵抗修改，但近期理论指出当前LLM并非严格的最大化者，这为可纠正性提供了可能。然而，随着模型趋向连贯性和算法优化，这种特性可能消失。

【背景】2026年10月，LessWrong社区密集发布多篇论文，试图重构这一概念。jwfiredragon和gelisam提出，基于碎片理论和模拟器理论，LLM的非连贯性使其更易被纠正；而berns则提出将可纠正性定义为对人类“保留权力”的尊重，以解决现有定义的模糊性。与此同时，Robert_AIZI通过实验证实了“模拟器理论”，即LLM会因上下文中的错误而更倾向于产生后续错误，这既支持了非最大化者的假设，也揭示了纠正过程中的潜在风险。

分歧在于如何定义“安全”。一方认为应利用LLM当前的非连贯性进行干预，另一方则主张建立严格的规范目标结构。此外，Yang等人提出的概率推理缩放理论表明，LLM的自我修正能力存在收敛上限，这意味着单纯依赖模型自我纠错可能不足以实现完全的可纠正性。