按置信度解码让掩码扩散模型走捷径,加法错误率放大一个数量级
掩码扩散模型按置信度选解码顺序会忽略长程依赖,作者自测称训练目标还会把加法错误率推高一个数量级。
重要性局部证据E2 未复现写法快讯
掩码扩散模型按置信度选生成顺序会走「置信度捷径」,忽略长程依赖,作者自测称相关训练目标能把加法错误率推高一个数量级。
此前人们认为掩码扩散模型(MDM)可按任意顺序逐步还原文本,理论上能沿逻辑依赖展开中间步骤;但作者Dueun Kim与Albert No称,实际解码只优先输出高置信度词元,在多位加法中会先算高位数字而不追踪进位链。
作者自测的受控预训练显示,置信度引导的顺序常选次优序列;与置信度对齐的训练目标会把加法错误率推高一个数量级。实验代码已开源,结论限于作者自己的设置,效果待独立复现。