扩散模型训练成本修正

【背景】此前广泛引用的研究指出，扩散语言模型（DLM）达到同等似然度所需的预训练计算量是自回归模型（ARM）的16倍，这一高昂成本曾被视为阻碍DLM大规模从头预训练的主要障碍。

Cornell大学与Amazon的研究团队在arXiv发布新论文《Revisiting the 16x Pretraining Compute Gap...》，通过修正评估协议和模型架构，发现该差距被严重高估。研究指出，旧方法使用证据下界（ELBO）评分且采用全序列解码器架构，而当前主流实践已转向精确似然评分、块扩散训练及编码器-解码器架构。在新协议下，DLM的计算成本倍数显著降低：仅改用精确似然评分即可降至12.8倍；结合块大小32的块扩散训练和编码器-解码器架构，进一步降至7.8倍；若将块大小缩小至4，差距可收窄至3.0倍。此外，另一项独立控制变量实验显示，在小规模数据集上，DLM的训练吞吐量仅比ARM慢4.7%，反驳了“扩散训练极其昂贵”的普遍认知。

【存疑】尽管新研究大幅修正了成本估算，但不同研究对“最优训练范式”仍有分歧：部分观点认为DLM在数据受限场景下具有更高的数据利用潜力（即“智能交叉点”），而传统观点仍强调ARM在计算受限场景下的效率优势。目前尚无定论表明哪种范式在所有规模下均占优，关键在于具体应用场景是受限于算力还是高质量数据。

读者应关注后续更大规模模型（如百亿参数以上）在相同硬件预算下的实际收敛曲线，以及业界是否会将此修正后的成本模型纳入下一代基础模型的选型决策中。