苹果新法免额外前向传播引导扩散语言模型

苹果机器学习研究团队发布论文，提出probe guidance：用现有扩散模型冻结的内部状态构造引导信号，省去autoguidance所需的额外推理前向传播。

团队自报，该方法在连续扩散语言模型的无条件生成上创下新SOTA，并称应用于1.7B扩散语言模型时在多项选择题基准上持续提升。这些成绩均为第一方基准，未经独立复现。

论文还给出一个机制发现：autoguidance中的弱模型必须来自训练的低熵区域。若成立，这解释了autoguidance一直缺乏解释的原理，对扩散语言模型研究比单个基准数字更有参考价值。