资讯1 分钟阅读·
CROP按反事实任务相关性筛选蒸馏token,两设置提升1.92与2.96点
CROP用改写校准的反事实敏感度估计token任务相关性,作者自报在两个师生蒸馏设置中较最强非CROP选择器提升1.92和2.96点。
重要性局部证据E2 未复现
选择性在线蒸馏方法CROP把监督集中到与当前输入语义内容任务相关的响应token上:用经改写校准的反事实敏感度为每个token估计相关性,作者自报在两个师生蒸馏设置中较最强的非CROP选择器,聚合性能分别提升1.92和2.96点。
此前蒸馏监督不加区分地覆盖各token,未按任务相关性选点;匹配对照显示CROP的选点优于随机与最低相关性选择。
测量由作者自报(第一方),基准为两个师生蒸馏设置,基线为最强的非CROP选择器,提升分别为1.92和2.96点。
结果为作者自报,尚无第三方复现;论文8月13日首次提交,9月16日更新至v3(arXiv:2608.13387)。