激活导向在指令微调模型上明显失效且牺牲流畅度
依赖激活导向控制大模型输出的团队需留意:苹果研究称其对指令微调模型效果大减,且常牺牲流畅度。
重要性局部证据E2 未复现写法快讯
激活导向方法在指令微调模型上的效果远不如在基座模型上,且常以生成流畅度大幅下降为代价——这是苹果机器学习研究团队与庞培法布拉大学研究者的发现。
此前依赖激活导向控制大模型输出(如去除毒性概念)的团队,可能高估了这类不改权重、直接干预内部激活的高效方法在指令微调模型上的适用性;而提示词和完整监督微调适合概念注入,但不擅长概念移除。
该结果为作者自测,论文发表于BlackBoxNLP 2026工作坊,arXiv版本于6月10日首次提交,苹果研究页标注2026年9月发布。
边界:摘要未列出具体模型清单与样本规模,外推需谨慎,且暂无第三方复现。