阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化2 分钟阅读DisconfirmAI 编辑部

AI博客Astral Codex Ten作者Scott Alexander:OpenAI Astra层循环为何让安全社区不安——技术等价不等于规范安全

OpenAI首席科学家Pachocki辩称Astra模型通过循环已有层获得的计算深度仅为GPT-4的两倍,与直接建一个更大的Transformer没有对齐差异。Scott Alexander在2026年9月的文章中解释了这一技术辩护为何在治理层面可能不够:如果安全社区对循环层没有明确禁忌边界,每次以'只多加了几层'为由突破都会侵蚀禁忌本身。

核验于 2026-10-25 15:41

OpenAI在2026年9月发布的Astra模型采用了一种新架构:让Transformer的内部层循环运行,而不是像过去那样把中间推理结果写成英文的'思维链'便签

要理解这场争论,需要先弄清楚三种推理方式的区别。第一种是层数有限的普通Transformer,必须把中间推理写成可读的思维链;第二种是用循环模拟更多层数的模型(如Astra),可以在单次前向传播中完成更多计算而不输出思维链;第三种是完全不用思维链的'真神经语',AI可以任意时长地秘密思考,人类无从察觉。

OpenAI首席科学家Jakub Pachocki的辩护是:Astra的计算图深度只有GPT-4的两倍左右,从对齐角度看,这和直接建造一个180层的Transformer没有任何区别。过去几年大家一直在加层——GPT-2有48层,GPT-3有96层,GPT-4大约120层——没有人说这是危险的。Astra只是用循环的方式达到了类似的深度。

Alexander认为这个技术论证本身可能是对的:循环层确实不如真实新层有效,因为循环只是让同一套知识反复使用,而新层提供了额外的存储空间来容纳更多知识和思维方式。

Alexander引用了Linchuan Zhang在LessWrong上提出的'类别禁忌优于阈值禁忌'论点:禁忌只有边界清晰才能维持,每次以'只差一点点'为由突破都会把明线往后推。

Alexander最后给出了三个可能的治理方向:第一,对循环层(模拟层)本身设禁忌,不论其他公司是否在建更深的真实模型;第二,约定一个最大层数上限(真实或模拟),如1000层;第三,研究者共同界定'真神经语'的组成要素并约定不实现它们。

需要指出的是,Alexander自己承认目前打破这些禁忌带来的能力增益似乎有限,但他也提到有研究者认为Astra的实际表现超出了已知架构的预期,OpenAI尚未给出充分解释。

这篇分析的核心贡献不在于预测Astra是否危险,而在于澄清了一个常被混淆的层次:技术上的等价(循环层与真实层在计算深度上相似)不等于规范上的安全(禁忌需要清晰边界才能维持)。

来源

  • readscottalexander.comRead Scott Alexander↗
  • askwhocastsai.substack.com
登录 / 注册
阅读研究雷达投资体系
↗
带入研究 →