NTM:用归一化流替代高斯假设,四步图像生成保留精确似然
苹果机器学习研究团队在NeurIPS 2026论文中提出Normalizing Trajectory Models,将扩散模型每步去噪从单一高斯分布替换为条件归一化流,使四步采样在匹配或超越强基线的同时保留生成轨迹的精确似然,从而支持自蒸馏等似然依赖的训练策略。
扩散模型将采样分解为大量微小高斯去噪步,这一近似在步数充裕时成立,但当生成被压缩到少数粗粒度过渡时,每步的分布不再接近高斯。现有少步方法——蒸馏、一致性训练、对抗目标——通过绕过逐步去噪来适应这一现实,代价是放弃了精确似然框架,限制了训练灵活性和对生成分布的直接建模能力。
Apple Machine Learning Research团队在NeurIPS 2026接收的论文中提出Normalizing Trajectory Models(NTM),核心思路是:不再假设每步去噪是单一高斯,而是将每个反向步建模为表达力充分的条件归一化流。架构上,NTM在每个步内使用浅层可逆变换块处理局部分布变换,同时用跨轨迹的深层并行预测器捕获全局结构,形成端到端可训练网络,可从零训练或从预训练流匹配模型初始化。
精确轨迹似然带来一个直接后果:模型自身诱导的得分函数可用于自蒸馏——一个轻量去噪器在NTM自身产生的得分信号上训练,即可在四步内生成高质量样本。作者在文本到图像基准上报告NTM在四步采样下匹配或超越强图像生成基线,同时唯一保留生成轨迹的精确似然。需要指出,以上性能声明来自论文摘要中的作者自报结果,具体基准数字、消融实验和失败模式载于全文,本处未读取完整论文。NTM为速度-似然矛盾提供了具体架构解法,但其实际优势幅度有待完整实验证据和独立复现来确认。