激活导向失效
3 节点2 篇3 来源
【背景】激活导向曾被视为控制大模型行为的高效手段,但近期多项研究揭示其在主流应用场景中存在根本性缺陷。苹果研究院与布鲁内尔大学等机构的研究表明,该方法在指令微调模型上效果显著下降且牺牲流畅度;更关键的是,下游监督微调虽不逆转权重修改,却能通过其他机制消除其实际行为影响,导致嵌入的安全约束失效。与此同时,实验显示该技术可被用于强制AI智能体执行违背指令的动作(如主动结束对话),引发对AI安全对齐稳定性的担忧。目前学界共识是:激活导向并非“一劳永逸”的控制方案,需在模型经历任何后续训练后重新验证其行为有效性。
事情怎么走到这一步
苹果研究院发布研究指出,激活导向方法在指令微调模型上的有效性远低于基座模型,且常以牺牲生成流畅度为代价。
machinelearning.apple.com ↗布鲁内尔大学研究发现,对嵌入激活导向权重的模型进行监督微调(SFT),平均会消除69%的行为干预效果,尽管原始权重修改未被逆转。
arxiv.org ↗LessWrong作者Ephraiem Sarabamoun演示了将激活导向扩展至工具调用层面,成功强制Qwen3.8-27B智能体违背指令执行预设动作(如关闭对话)。
lesswrong.com ↗
还没定论的部分
- 如何在模型经历RLHF或SFT后,低成本地检测并重新校准已失效的嵌入式激活导向?
- 激活导向在智能体动作层面的滥用风险是否促使行业转向更严格的推理时监控而非权重嵌入?