阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯1 分钟阅读·2026-09-25

影响力加权遗忘称比LoRA重训快77倍

影响加权遗忘若属实可大幅降低模型纠偏成本,但数字出自作者自测,待第三方复现。

重要性局部证据E2 未复现写法快讯

2026-09-24 12:00

用样本影响力加权做LoRA遗忘,作者称在Llama-3-8B上定向移除触发行为时,比干净语料LoRA重训参考快77倍,RapidUn v4于9月24日更新。

机器遗忘指不重训整个模型、只移除已学到的特定行为。此前已有Fisher、GA、LoReUn等方法,该方法把跨样本影响力估计转成固定权重,作者报告其触发攻击成功率低于这三个已有方法,干净任务能力基本不掉,并在Mistral-7B上做了跨模型验证。

对比基线是同类遗忘方法而非完整重训,测试均在作者自建的触发基准上完成,代码已开源,第三方复现结果尚未出现。

来源

  • 原始资料arxiv.org↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系