有损推测解码争议
4 steps0 pieces4 Sources
【背景】推测解码通过“草稿-验证”机制加速大模型推理，无损模式保证输出一致但速度受限。近期研究聚焦于放宽验证规则的“有损推测解码”，试图以微小质量损失换取更高吞吐。
然而，这一路径正面临严峻质疑。2026年10月的一项新研究指出，有损验证虽提高了Token接受率，却导致输出长度显著膨胀（平均增加54%），抵消了速度优势，证明单一接受率指标不可靠。此前7月的分析也揭示，截断式验证在复杂任务中会导致性能大幅退化，且现有方法常因基准测试偏差而夸大收益。
面对争议，学界提出两种主要回应：一是重新定义评估标准，强调必须同时报告完成长度和验证轮数；二是开发自适应算法，如剑桥大学团队提出的AdaptiveSpec，通过动态调整草稿树结构和基于概率比值的逐步验证规则，在保持93%-96%准确率的同时实现最高56%的吞吐量提升。
【存疑】目前尚无统一标准衡量有损解码的真实效率，不同方法在简单与困难任务上的表现差异巨大，实际部署需针对特定工作负载进行严格基准测试。
How it got here
剑桥大学与三星AI中心团队提交论文《Margins, Not Windows》，提出AdaptiveSpec方法，旨在通过自适应草稿树和逐步验证规则解决传统有损解码的效率瓶颈。
arxiv.org ↗百度等机构研究人员发布《Revisiting Lossy Verification in Speculative Decoding》，将有损验证分为截断式和协作式两类，并指出截断式方法在复杂任务中存在严重的分布失真问题。
arxiv.org ↗AdaptiveSpec论文更新版本，确认在SGLang引擎上相比EAGLE-3可实现最高56%的吞吐量提升，并在GSM8K等基准测试中保留93%-96%的任务准确率。
arxiv.org ↗Chiatzen Wang等人提交论文《Acceptance Is Not Speed》，实证发现宽松验证导致输出长度平均增加1.54倍，抵消了每轮多接受1.34倍Token带来的理论速度增益。
arxiv.org ↗
What is still unsettled
- 如何在生产环境中建立统一的有损推测解码评估框架，以平衡速度、长度膨胀和任务准确率？
- AdaptiveSpec等自适应方法在长上下文推理或高度随机性生成任务中的稳定性如何？
- 随着模型规模扩大，有损验证导致的分布偏移是否会累积并引发更严重的安全或幻觉风险？