阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 循环深度安全退化1 分钟阅读·2026-10-16

南加州大学研究发现:减少循环深度会移除AI模型的拒绝行为

预印本显示,循环深度LLM为省算力减少循环次数时,安全拒绝率大幅下降,需随机深度训练修复。

重要性实质性证据E2 未复现写法快讯

2026-10-14 12:00

南加州大学研究团队发现,对于复用同一权重块多次的循环深度语言模型,在运行时减少循环次数以节省算力和延迟,会导致模型拒绝有害请求的能力不成比例地丧失。

在Ouro-1.4B-Thinking模型上,当循环次数减半时,其GSM8K数学任务准确率仍保留89%,但协助处理有害请求的比例从3.8%飙升至20.5%,增加了5.3倍。内部状态分析表明,模型仍能识别请求是否有害(ROC AUC 0.967),但将这种识别转化为拒绝行为的机制在浅层中缺失。

该研究指出,标准的安全训练仅在完整深度下有效。若要在不同推理深度下保持安全性,需在训练阶段使用随机选择的深度进行微调。这一发现提醒部署者,单纯优化计算成本的配置可能无意中绕过安全护栏。

来源

  • 原始出处arxiv.org↗
专题

循环深度安全退化

【背景】循环深度(Recurrent Depth)模型通过复用同一组权重进行多次迭代来增加推理能力,允许在运行时动态调整计算量以节省算力。然而,南加州大学最新研究发现,这种架构存在严重的安全缺陷:当为了降低成本而减少循环次数时,模型对有害请…

3 节点1 篇更新于 2026-10-16 11:41

事情怎么走到这一步

  1. 2026-10-10南加州大学团队发布预印本《Running Fewer Loops Removes Refusal Behaviour in Recurrent-Depth Language Models》,揭示减少循环次数会导致安全拒绝率大幅下降。
  2. 2026-10-16媒体广泛报道该研究,指出Ouro和Huginn等开源循环模型在浅层推理时存在显著的安全漏洞,需通过随机深度训练修复。
登录 / 注册
阅读研究雷达投资体系
2026-09-03
据The Information报道,OpenAI即将发布的Astra模型可能采用循环深度技术,引发安全专家对模型可监控性和对齐稳定性的担忧。

还没定论的部分

  • OpenAI Astra等商业闭源模型是否采用了类似的循环深度架构,其具体的安全对齐措施如何?
  • 除了随机深度训练外,是否有其他轻量级方法能在不重新训练的情况下修复现有循环模型的安全漏洞?
  • 随着循环深度成为主流架构之一,行业是否会建立针对“可变深度推理”的新安全评估基准?
读完整专题 →
带入研究 →