阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 掩码自蒸馏内化思维链1 分钟阅读·2026-10-02DisconfirmAI 编辑部

掩码自蒸馏内化思维链,Qwen3推理更短成本更低

作者自测称Qwen3-4B与Qwen3-8B内化思维链后表现不降反升,效果待独立复现。

重要性局部证据E2 未复现写法快讯

原文发布时间 2026-10-02 12:00

掩码自蒸馏让模型把思维链内化进参数,Qwen3-4B与Qwen3-8B上作者自测称任务表现不降反升,推理时少生成中间步骤、降低延迟与成本。

此前思维链是大推理模型答题前生成的一长串显式推理步骤,主导了推理时的延迟和算力开销。该方法让同一模型的一份副本当老师、另一份当学生,学生学会把部分或全部中间步骤“想在心里”,直接给出更短的输出。

作者在数学和图着色两个域做了受控实验,自测称在域外问题上没有灾难性遗忘;消融还显示普通监督微调虽也能缩短思维链,但泛化更差。全部结果为作者自测,具体数字需查正文;该预印本首版6月18日提交,9月30日修订至v3,尚无独立复现。

来源

  • 原始出处arxiv.org↗
专题

掩码自蒸馏内化思维链

如何处理大模型的思维链(CoT),正出现两条路线:一线厂商选择藏——Anthropic、OpenAI 隐藏或压缩中间推理过程再输出,以防被蒸馏;一篇新论文则提出内化——用掩码自蒸馏把思维链能力压进模型本身,让推理更短、成本更低。

3 节点1 篇更新于 2026-10-04 05:51

事情怎么走到这一步

  1. 2026-09-10Anthropic 发布 154 页报告,称识别并阻断 7 家中国 AI 实验室针对 Claude 的大规模蒸馏;同日 OpenAI 推出 Agents API 公测版,隐藏中间思维链,只交付任务结果。
  2. 2026-09-12
登录 / 注册
阅读研究雷达投资体系
Anthropic 创始人达里奥发文呼吁全行业放慢前沿 AI 模型迭代速度。
  • 2026-10-02arXiv 论文提出掩码自蒸馏方法,作者自测称 Qwen3-4B 与 Qwen3-8B 内化思维链后表现不降反升,推理更短、成本更低;效果待独立复现。
  • 还没定论的部分

    • 掩码自蒸馏内化思维链的效果能否被独立复现?
    • 内化后的模型与保留完整思维链的模型在复杂长程任务上是否等效?
    • 厂商隐藏思维链的防御能否实质提高蒸馏成本,还是如刘艺所称'防不胜防'?
    读完整专题 →
    带入研究 →