研究发现：有损推测解码中“接受率”高不代表速度快，因输出长度显著膨胀

arXiv预印本论文《Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding》由Chiatzen Wang等人撰写，于2026年10月16日提交。该研究针对大语言模型推理加速技术中的“推测解码”（Speculative Decoding）提出重要警示。

推测解码通常通过“每轮验证接受的草稿token数量”来衡量加速效果。在无损验证模式下，由于保持目标模型的输出分布不变，这一指标是有效的效率代理。然而，研究人员发现，在采用放宽规则（即有损验证）的无需训练推测解码中，存在“长度膨胀”现象：虽然每轮接受的token更多，但生成的完整回复长度也显著增加，从而抵消了表面的速度增益。

研究团队在十二组目标-草稿模型配对上评估了现有的有损验证规则。结果显示，在最宽松的设定下，有损验证平均每轮接受的token数量是无损验证的1.34倍，但生成的回复长度却增加了1.54倍。这种长度膨胀主要源于推理轨迹的延长，其中低概率token被错误接受，导致模型生成冗长甚至循环的内容，有时甚至耗尽预算而无法给出最终答案。

此外，对于减少验证轮数的规则，任务准确率通常会大幅下降。研究结论强调，在有损验证下，仅凭“每轮接受token数”无法可靠评估解码速度；必须同时报告完成长度和验证轮数，才能准确判断实际效率。