研究者警告潜空间推理会架空CoT监督
六位AI安全研究者发文称COCONUT等潜空间架构若被采用,CoT监控价值将大幅缩水,属观点预警,值得跟踪厂商架构选择。
原始事件 2026-09-23
六位署名研究者9月23日在LessWrong发文,认为潜空间推理架构一旦被采用,链式思维(CoT)作为AI监督工具的价值会大幅削弱。
文章点名三类架构:完全取代CoT的COCONUT、在CoT旁增加潜通道的全带宽transformer,以及用循环加深计算的looped transformer。作者称这类改变'很可能在近期被采用',因为厂商可能为竞争而牺牲可监控性。
作者区分了两种CoT监督机制:模型'必须'用CoT才能完成复杂任务,和模型'倾向于'把计划写进CoT。他们认为前者在架构不变时还能维持数年,后者对对抗压力更脆弱;而潜空间架构会同时削弱两者。需注意这是观点分析,不是新实验结果,作者也承认必要性论证'远非保证',目前没有厂商宣布采用此类架构。