AWS：知识蒸馏与Medusa组合让11亿参数模型逼近700亿参数质量，推理提速10至20倍

大型语言模型在旅行平台上的应用面临一个核心矛盾：模型越大，回答越准确，但推理延迟和成本也越高。Booking.com的AI行程规划助手需要在不到一秒内从对话中提取用户偏好，智能筛选器需要实时将自然语言搜索转化为结构化过滤条件，住宿描述生成功能则要在数百万条房源上控制成本。这些场景对延迟和成本的要求，使得直接部署700亿参数级别的模型不可行。

AWS高级机器学习工程师Daniel Zagyva与高级应用科学家Laurens van der Maas在2026年10月发表的技术博文中，展示了如何将两种原理上正交的优化技术整合为一条流水线。第一种是知识蒸馏：用大模型（教师）在标注数据和无标注领域数据上生成预测，再用这些预测训练小模型（学生），使小模型继承大模型的知识但参数量大幅缩减。第二种是Medusa：在基础模型上附加多个预测头，每个头负责并行预测一个后续token，将原本逐token的串行解码变为多token并行解码，利用GPU的并行计算能力减少推理步骤。

这两种技术作用在不同维度上。知识蒸馏降低的是每个token的计算成本（因为模型变小了），Medusa降低的是生成一段文本所需的串行步骤数（因为多个token可以同时预测）。它们的加速效果是乘性的而非替代的：蒸馏后的模型本身已经快约6倍，在此基础上附加Medusa头再快2到3.6倍，合起来达到10到20倍。

关键的方法论贡献在于将两者整合为统一训练流水线，而非分阶段处理。具体做法是：先微调教师模型（Llama-3.1，700亿参数），用它对无标注的领域相关文本生成预测；然后在训练学生模型（TinyLlama，11亿参数）时，直接将Medusa头附加在学生模型上，用教师预测与人工标注的混合数据做单阶段训练。这产生一个紧凑模型，同时继承了教师的知识和多token并行预测能力。

团队还比较了两种Medusa变体的工程取舍。Medusa-1要求先微调基础模型，冻结权重后再单独微调Medusa头；Medusa-2则在单阶段中同时训练所有组件。两者达到可比的加速效果且无显著质量损失，但Medusa-2的流水线更简单，对需要管理多个模型的生产团队更实用。

渐进实验设计清晰展示了每步的贡献。仅做领域微调的TinyLlama已经显著优于few-shot GPT-4o，说明领域特定微调可以弥补参数量不足，但仍明显落后于教师模型。加入知识蒸馏后，学生与教师的质量差距缩小超过90%，推理速度约为原来的6倍。再加上Medusa-2头，最终模型在质量上逼近700亿参数教师，推理速度达到10至20倍。

在Booking.com的三项功能上，生产部署结果各有侧重。智能筛选器：KD加Medusa组合使99%的查询响应速度提升15倍。AI行程规划助手：相比GPT-3.5，用户参与度提升2.9%。住宿描述生成：用户helpful评分提升1.4%，成本不到GPT-4的三分之一。该工作此前在ACL（计算语言学协会）行业赛道获得最佳论文奖。

需要指出的是，以上所有性能数字均为团队自报结果，博文中未详细说明质量评估的具体数据集、指标定义或统计显著性检验。2.9%的参与度提升可能受同期其他产品变更影响，无法从这一来源单独归因于模型替换。此外，该流水线针对的是特定领域任务（旅行对话、结构化筛选、描述生成），其结论能否迁移到开放域生成或其他任务类型，需要各自验证。

对正在部署LLM应用的工程团队而言，这篇博文的核心可迁移认识是：模型压缩与推理并行化不是二选一，而是可以叠加的正交维度；将Medusa头整合进蒸馏训练的单阶段流程比分阶段处理更实用；但具体收益量级取决于任务特征、硬件条件和基线选择，需要在自己的场景中重新测量。