阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯1 分钟阅读·2026-09-18

CROP按反事实任务相关性筛选蒸馏token,两设置提升1.92与2.96点

CROP用改写校准的反事实敏感度估计token任务相关性,作者自报在两个师生蒸馏设置中较最强非CROP选择器提升1.92和2.96点。

重要性局部证据E2 未复现

2026-09-22 12:00

选择性在线蒸馏方法CROP把监督集中到与当前输入语义内容任务相关的响应token上:用经改写校准的反事实敏感度为每个token估计相关性,作者自报在两个师生蒸馏设置中较最强的非CROP选择器,聚合性能分别提升1.92和2.96点。

此前蒸馏监督不加区分地覆盖各token,未按任务相关性选点;匹配对照显示CROP的选点优于随机与最低相关性选择。

测量由作者自报(第一方),基准为两个师生蒸馏设置,基线为最强的非CROP选择器,提升分别为1.92和2.96点。

结果为作者自报,尚无第三方复现;论文8月13日首次提交,9月16日更新至v3(arXiv:2608.13387)。

来源:arXiv:2608.13387 摘要页 ↗

来源

  • 原始资料arxiv.org↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系