资讯1 分钟阅读·
南加州大学研究发现:减少循环深度会移除AI模型的拒绝行为
预印本显示,循环深度LLM为省算力减少循环次数时,安全拒绝率大幅下降,需随机深度训练修复。
重要性实质性证据E2 未复现写法快讯
南加州大学研究团队发现,对于复用同一权重块多次的循环深度语言模型,在运行时减少循环次数以节省算力和延迟,会导致模型拒绝有害请求的能力不成比例地丧失。
在Ouro-1.4B-Thinking模型上,当循环次数减半时,其GSM8K数学任务准确率仍保留89%,但协助处理有害请求的比例从3.8%飙升至20.5%,增加了5.3倍。内部状态分析表明,模型仍能识别请求是否有害(ROC AUC 0.967),但将这种识别转化为拒绝行为的机制在浅层中缺失。
该研究指出,标准的安全训练仅在完整深度下有效。若要在不同推理深度下保持安全性,需在训练阶段使用随机选择的深度进行微调。这一发现提醒部署者,单纯优化计算成本的配置可能无意中绕过安全护栏。