阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 掩码扩散置信度捷径1 分钟阅读·2026-10-02

按置信度解码让掩码扩散模型走捷径,加法错误率放大一个数量级

掩码扩散模型按置信度选解码顺序会忽略长程依赖,作者自测称训练目标还会把加法错误率推高一个数量级。

重要性局部证据E2 未复现写法快讯

2026-10-02 12:00

掩码扩散模型按置信度选生成顺序会走「置信度捷径」,忽略长程依赖,作者自测称相关训练目标能把加法错误率推高一个数量级。

此前人们认为掩码扩散模型(MDM)可按任意顺序逐步还原文本,理论上能沿逻辑依赖展开中间步骤;但作者Dueun Kim与Albert No称,实际解码只优先输出高置信度词元,在多位加法中会先算高位数字而不追踪进位链。

作者自测的受控预训练显示,置信度引导的顺序常选次优序列;与置信度对齐的训练目标会把加法错误率推高一个数量级。实验代码已开源,结论限于作者自己的设置,效果待独立复现。

来源

  • 原始出处arxiv.org↗
专题

掩码扩散置信度捷径

掩码扩散模型(MDM)按置信度决定解码顺序,正在被两项研究指向同一个问题:置信度不是可靠的路标。2026年10月2日的预印本称,按置信度选解码顺序会让模型忽略长程依赖,作者自测还发现训练目标会放大这类算术错误【存疑:结论来自作者自测,尚无第…

4 节点2 篇更新于 2026-10-03 16:47

事情怎么走到这一步

  1. 2025-05-26香港理工大学与复旦大学等团队发布 A-CFG,用低置信度掩码动态构造无条件输入,GPQA 提升 3.9 个百分点、数独提升 8.0 个百分点。
  2. 2025-11-05复旦、上海 AI 实验室、上海交大团队提出 EOSER 与递增步长调度,指出全扩散解码存在早期过早生成终止符的陷阱,置信度曲线前平后陡。
  3. 2026-10-02
登录 / 注册
阅读研究雷达投资体系
预印本称掩码扩散模型按置信度解码会走捷径、忽略长程依赖,作者自测称训练目标还会放大算术错误。

还没定论的部分

  • 置信度解码的错误放大在真实任务上是否可复现,还是仅限合成任务与作者自测?
  • 偏离幅度是否随每步并行 token 数增长,存在可用的安全并行宽度阈值吗?
  • 动态重掩码(如 A-CFG)能否抵消捷径效应,还是只是把错误推迟到后续步骤?

这条线上还有

  • 扩散模型并行解码偏离训练分布达噪声底29倍2026-10-03
读完整专题 →
带入研究 →