研究修正扩散语言模型训练成本：新协议下计算量差距从16倍降至3至7.8倍

一项新的预印本研究将扩散语言模型（DLM）相对于自回归语言模型（ARM）的预训练计算成本差距从广泛引用的16倍大幅缩小至3.0倍到7.8倍之间。该研究由Guanghan Wang等人完成，于2026年10月13日提交至arXiv。

此前认为DLM训练效率极低的主要依据是旧有评估方法：使用证据下界（ELBO）评分并训练全序列解码器专用模型。新研究改用模型自身解码顺序下的精确似然评分、块扩散训练以及编码器-解码器架构，并对实际使用的块大小进行了扫描。

在约1,700个模型变体的实验中，研究发现仅改用精确似然评分即可将计算倍数降至12.8倍；结合块扩散训练和编码器-解码器架构，在块大小为32时进一步降至7.8倍；当块大小减小至4时，差距可缩窄至3.0倍。下游基准测试显示，似然度的改进能转化为准确率的提升。

该结论目前基于作者自测数据，尚未经过独立复现验证。