中科大与腾讯团队提出SimCT，通过扩展监督空间解决跨分词器蒸馏信号丢失问题

中国科学技术大学与腾讯等机构的研究人员提出了SimCT（Simple Cross-Tokenizer On-Policy Distillation），一种旨在解决不同分词器模型间知识蒸馏信号丢失的新方法。该论文已被NeurIPS 2026接收，并于2026年10月15日更新至v3版本。

传统的在线策略蒸馏（OPD）假设教师和学生模型的预测可以逐token比较，但当两者使用不同的分词器时，这一假设失效。现有的跨分词器方法要么需要复杂的计算开销，要么在粗粒度上监督，导致大量教师信号被丢弃。SimCT通过构建一个包含共享token和“最小对齐单元”的公共监督空间来恢复这些信号。最小对齐单元是两种分词器都能表达的最细粒度的共同文本延续。

在三个异构教师-学生模型对上的数学推理和代码生成基准测试中，SimCT显示出一致的性能增益。据作者报告，该方法相比监督微调（SFT）实现了平均6.0%的相对提升，且优于代表性的跨分词器基线。消融实验证实，性能改进主要源于恢复了精确共享token匹配所丢弃的监督信号。SimCT不需要额外的可训练参数或传输计算，保持了标准OPD损失形式不变。