资讯1 分钟阅读·
自蒸馏训练在5%视觉token下挽回13.7个百分点
LT-OPD自测显示Qwen3.5-4B在5%视觉token下平均保留性能从68.6%升至82.3%，效果待独立复现。
重要性局部证据E2 未复现写法快讯
一种自蒸馏训练法可将极端视觉压缩的损失大幅挽回：Qwen3.5-4B在仅保留5%视觉token时，9个基准的平均保留性能从68.6%升至82.3%，同时KV缓存用量降85.2%、预填充计算量降85.4%。
此前压缩后的多模态模型在如此低的token预算下损失严重，缺少能在压缩同时恢复性能的训练手段。
该方法名为LT-OPD，让压缩后的模型用自己生成的轨迹学习，由同一模型的完整视觉token版本当老师，并逐步降低训练中的token预算；作者自测称在Qwen3.5-9B、GLM-4.6V-9B和LLaVA-OV-1.5-4B上也有一致提升。
全部结果为作者自测，基准由作者自选，效果待独立复现；方法9月26日以预印本形式提交arXiv。