掩码自蒸馏内化思维链,Qwen3推理更短成本更低
作者自测称Qwen3-4B与Qwen3-8B内化思维链后表现不降反升,效果待独立复现。
重要性局部证据E2 未复现写法快讯
掩码自蒸馏让模型把思维链内化进参数,Qwen3-4B与Qwen3-8B上作者自测称任务表现不降反升,推理时少生成中间步骤、降低延迟与成本。
此前思维链是大推理模型答题前生成的一长串显式推理步骤,主导了推理时的延迟和算力开销。该方法让同一模型的一份副本当老师、另一份当学生,学生学会把部分或全部中间步骤“想在心里”,直接给出更短的输出。
作者在数学和图着色两个域做了受控实验,自测称在域外问题上没有灾难性遗忘;消融还显示普通监督微调虽也能缩短思维链,但泛化更差。全部结果为作者自测,具体数字需查正文;该预印本首版6月18日提交,9月30日修订至v3,尚无独立复现。