阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 激活导向失效1 分钟阅读·2026-10-01

激活导向在指令微调模型上明显失效且牺牲流畅度

依赖激活导向控制大模型输出的团队需留意:苹果研究称其对指令微调模型效果大减,且常牺牲流畅度。

重要性局部证据E2 未复现写法快讯

2026-09-30 08:00

激活导向方法在指令微调模型上的效果远不如在基座模型上,且常以生成流畅度大幅下降为代价——这是苹果机器学习研究团队与庞培法布拉大学研究者的发现。

此前依赖激活导向控制大模型输出(如去除毒性概念)的团队,可能高估了这类不改权重、直接干预内部激活的高效方法在指令微调模型上的适用性;而提示词和完整监督微调适合概念注入,但不擅长概念移除。

该结果为作者自测,论文发表于BlackBoxNLP 2026工作坊,arXiv版本于6月10日首次提交,苹果研究页标注2026年9月发布。

边界:摘要未列出具体模型清单与样本规模,外推需谨慎,且暂无第三方复现。

来源

  • 原始出处machinelearning.apple.com↗
专题

激活导向失效

苹果与Brunel大学的研究表明,依赖激活导向(Activation Steering)控制大模型输出存在显著缺陷:其在指令微调模型上效果大幅减弱且牺牲流畅度,且在后续监督微调中易被抵消。

2 节点2 篇更新于 2026-10-07 23:14

事情怎么走到这一步

  1. 2026-09-10苹果发布研究称,激活导向方法在指令微调模型上的效果远不如基础模型,且以牺牲流畅度为代价。
  2. 2026-10-07
登录 / 注册
阅读研究雷达投资体系
新研究指出,对模型进行监督微调可平均消除69%的激活导向行为干预效果,尽管权重编辑本身未被逆转。

还没定论的部分

  • 是否存在能同时保持高流畅度和强控制力的替代性激活导向变体?
  • 在实际生产环境中,如何量化因后续微调导致的激活导向失效风险?

这条线上还有

  • 微调可抵消激活引导效果2026-10-07
读完整专题 →
带入研究 →