掩码自蒸馏内化思维链
3 节点1 篇2 来源
如何处理大模型的思维链(CoT),正出现两条路线:一线厂商选择藏——Anthropic、OpenAI 隐藏或压缩中间推理过程再输出,以防被蒸馏;一篇新论文则提出内化——用掩码自蒸馏把思维链能力压进模型本身,让推理更短、成本更低。
2026 年 9 月 10 日,Anthropic 发布 154 页报告,称识别并阻断了 7 家中国 AI 实验室对 Claude 的大规模蒸馏;同日 OpenAI 推出 Agents API 公测版,用户只拿任务结果,中间思维链被隐去。安全研究者刘艺判断'反蒸馏是个伪命题',蒸馏理论上防不胜防,厂商的真实目标是抬高对手的采集成本。
10 月 2 日,arXiv 论文提出掩码自蒸馏方法,作者自测称 Qwen3-4B 与 Qwen3-8B 内化思维链后表现不降反升——若成立,意味着不必依赖获取更强模型的思维链数据也能保住推理能力,直接触及蒸馏攻防的核心。
【存疑】论文效果目前仅为作者自测,尚无独立复现;刘艺也指出,从模型权重很难确证某批数据真的进入了训练,蒸馏指控难以实锤。
事情怎么走到这一步
Anthropic 发布 154 页报告,称识别并阻断 7 家中国 AI 实验室针对 Claude 的大规模蒸馏;同日 OpenAI 推出 Agents API 公测版,隐藏中间思维链,只交付任务结果。
finance.sina.com.cn ↗Anthropic 创始人达里奥发文呼吁全行业放慢前沿 AI 模型迭代速度。
finance.sina.com.cn ↗arXiv 论文提出掩码自蒸馏方法,作者自测称 Qwen3-4B 与 Qwen3-8B 内化思维链后表现不降反升,推理更短、成本更低;效果待独立复现。
arxiv.org ↗
还没定论的部分
- 掩码自蒸馏内化思维链的效果能否被独立复现?
- 内化后的模型与保留完整思维链的模型在复杂长程任务上是否等效?
- 厂商隐藏思维链的防御能否实质提高蒸馏成本,还是如刘艺所称'防不胜防'?