苹果研究称扩散模型并行解码存在分布失配

苹果机器学习研究团队10月发布论文，证明离散扩散模型按置信度排序并行写入token时，每步写入两个及以上未定位置必然存在依赖，无法匹配训练分布。

论文给出合成任务ScanAndAdd上的测量：生成分布与采样噪声底的总变差距离达29倍，而逐样本指标为1.0，说明常规指标看不出这种偏离。

该结论直接适用于remasking和uniform-state两类采样器。不过测量目前只在作者自建的合成任务上完成，真实文本和图像上的影响幅度尚未量化。