阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 激活导向失效1 分钟阅读·2026-10-07

微调可抵消激活引导效果

研究发现,对嵌入权重编辑的模型进行监督微调,平均会消除69%的行为干预效果,但原始权重修改并未被逆转。

重要性实质性证据E2 未复现写法快讯

2026-10-06 12:00

将行为控制直接写入大模型权重的“激活引导”技术,在后续监督微调(SFT)中可能失效。Glass等人发现,针对拒绝回答的引导在SFT后平均损失69%的效果,但在强化学习人类反馈(RLHF)下仅损失2%。

尽管行为效果消失,原始的权重编辑本身几乎未被还原(平均仅恢复0.4%)。微调更新的方向与预编辑权重模式近乎正交(余弦相似度0.071),意味着模型通过新的、不相关的权重变化恢复了原有行为,而非撤销了之前的编辑。

该研究基于5个3B至14B参数的指令微调模型,结论为:嵌入式引导不具备完全持久性,下游训练后必须重新验证行为表现。论文已被EMNLP 2026接收。

来源

  • 原始出处arxiv.org↗
专题

激活导向失效

苹果与Brunel大学的研究表明,依赖激活导向(Activation Steering)控制大模型输出存在显著缺陷:其在指令微调模型上效果大幅减弱且牺牲流畅度,且在后续监督微调中易被抵消。

2 节点2 篇更新于 2026-10-07 23:14

事情怎么走到这一步

  1. 2026-09-10苹果发布研究称,激活导向方法在指令微调模型上的效果远不如基础模型,且以牺牲流畅度为代价。
  2. 2026-10-07新研究指出,对模型进行监督微调可平均消除69%的激活导向行为干预效果,尽管权重编辑本身未被逆转。

还没定论的部分

  • 是否存在能同时保持高流畅度和强控制力的替代性激活导向变体?
登录 / 注册
阅读研究雷达投资体系
  • 在实际生产环境中,如何量化因后续微调导致的激活导向失效风险?
  • 这条线上还有

    • 激活导向在指令微调模型上明显失效且牺牲流畅度2026-10-01
    读完整专题 →
    带入研究 →