阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-10-04 05:51

掩码自蒸馏内化思维链

3 节点1 篇2 来源

如何处理大模型的思维链(CoT),正出现两条路线:一线厂商选择藏——Anthropic、OpenAI 隐藏或压缩中间推理过程再输出,以防被蒸馏;一篇新论文则提出内化——用掩码自蒸馏把思维链能力压进模型本身,让推理更短、成本更低。

2026 年 9 月 10 日,Anthropic 发布 154 页报告,称识别并阻断了 7 家中国 AI 实验室对 Claude 的大规模蒸馏;同日 OpenAI 推出 Agents API 公测版,用户只拿任务结果,中间思维链被隐去。安全研究者刘艺判断'反蒸馏是个伪命题',蒸馏理论上防不胜防,厂商的真实目标是抬高对手的采集成本。

10 月 2 日,arXiv 论文提出掩码自蒸馏方法,作者自测称 Qwen3-4B 与 Qwen3-8B 内化思维链后表现不降反升——若成立,意味着不必依赖获取更强模型的思维链数据也能保住推理能力,直接触及蒸馏攻防的核心。

【存疑】论文效果目前仅为作者自测,尚无独立复现;刘艺也指出,从模型权重很难确证某批数据真的进入了训练,蒸馏指控难以实锤。

事情怎么走到这一步

  1. 2026-09-10

    Anthropic 发布 154 页报告,称识别并阻断 7 家中国 AI 实验室针对 Claude 的大规模蒸馏;同日 OpenAI 推出 Agents API 公测版,隐藏中间思维链,只交付任务结果。

    finance.sina.com.cn ↗
  2. 2026-09-12

    Anthropic 创始人达里奥发文呼吁全行业放慢前沿 AI 模型迭代速度。

    finance.sina.com.cn ↗
  3. 2026-10-02

    arXiv 论文提出掩码自蒸馏方法,作者自测称 Qwen3-4B 与 Qwen3-8B 内化思维链后表现不降反升,推理更短、成本更低;效果待独立复现。

    arxiv.org ↗

还没定论的部分

  • 掩码自蒸馏内化思维链的效果能否被独立复现?
  • 内化后的模型与保留完整思维链的模型在复杂长程任务上是否等效?
  • 厂商隐藏思维链的防御能否实质提高蒸馏成本,还是如刘艺所称'防不胜防'?

来源

  • arxiv.org
登录 / 注册
阅读研究雷达投资体系
原始论文
↗
  • finance.sina.com.cn晚点LatePost:Anthropic、OpenAI 的反蒸馏(新浪财经转载)↗
  • 这一专题下的内容

    • 掩码自蒸馏内化思维链,Qwen3推理更短成本更低2026-10-02资讯

      作者自测称Qwen3-4B与Qwen3-8B内化思维链后表现不降反升,效果待独立复现。