投机解码性能争议

【背景】投机解码（Speculative Decoding）旨在通过“草稿-验证”机制加速大模型推理，但近期多项独立测试显示其实际收益高度依赖硬件与配置，甚至可能导致性能倒退。

Akamai工程师在AI Engineer大会上演示，在特定Qwen模型配置下，启用投机解码反而将生成速度从约58 tokens/秒降至16 tokens/秒。这一现象并非孤例：GitHub上的基准测试表明，在vLLM引擎中，DSpark方法仅比无投机基线快2.8%，而原生MTP方法虽提升吞吐量23.1%，但不同量化格式（FP8 vs NVFP4）下的结果不可直接对比。另一方面，针对消费级硬件的研究指出，若验证步骤未能实现真正的批处理并行（如Apple Metal后端在某些情况下串行执行），或草稿模型无法显著快于目标模型，投机解码便会失效甚至减速。然而，也有研究如Saguaro方案声称在Llama-3.1-70B上实现最高5倍加速，关键在于消除草稿与验证间的串行依赖。

争议的核心在于“无损加速”的前提条件是否在生产环境中普遍成立。支持者强调其在低延迟场景下的潜力，反对者则指出在高并发或计算受限场景下，额外的验证开销会抵消收益。目前尚无统一结论，需结合具体模型大小、批量大小及推理引擎优化程度进行评估。