SimCT跨分词器蒸馏

中科大与腾讯团队提出SimCT方法，旨在解决大模型知识蒸馏中因教师与学生模型使用不同分词器（Tokenizer）导致的监督信号丢失问题。传统On-Policy Distillation (OPD) 假设双方预测可逐Token比较，但在异构分词器下，仅匹配共享Token会丢弃大量教师信号。SimCT通过扩展监督空间，引入“最小对齐单元”（minimal aligned units），在不改变OPD损失函数形式且无需额外参数的情况下，恢复了被丢弃的监督信息。在数学推理和代码生成基准测试中，SimCT相比SFT平均提升6.0%，并优于现有跨分词器基线。该论文已被NeurIPS 2026接收，代码已开源。