资讯1 分钟阅读·
苹果probe guidance免额外前向传播引导扩散语言模型
苹果自报probe guidance在无条件生成上创SOTA,机制发现或比成绩更值得关注,待独立复现。
重要性局部证据E2 未复现写法快讯
读者现在可以了解一种不增加推理成本就能引导扩散语言模型的方法:苹果机器学习研究团队提出的probe guidance,用现有扩散模型冻结的内部状态构造引导信号,省去autoguidance所需的额外推理前向传播,并称应用于1.7B扩散语言模型时在多项选择题基准上持续提升。
此前autoguidance需要额外的前向传播,且一直缺乏对其原理的解释。
团队自报,该方法在连续扩散语言模型的无条件生成上创下新SOTA。这些成绩均为第一方基准。
该方法还给出一个机制发现:autoguidance中的弱模型必须来自训练的低熵区域。若成立,这对扩散语言模型研究比单个基准数字更有参考价值。以上结果尚未经独立复现,出自2026-09-23提交的论文。