TinyLlama
2 节点1 篇3 来源
亚马逊AWS与Booking.com团队联合展示了一种结合知识蒸馏（KD）与Medusa并行解码技术的统一训练流水线，使仅含11亿参数的TinyLlama在三项旅行产品功能上逼近700亿参数Llama-3.1的质量，同时实现10至20倍的推理加速。该研究针对AI行程规划、智能筛选和住宿描述生成三个高并发场景，证明了小模型在保持低延迟和高准确率方面的潜力。相关论文《Speed Without Sacrifice》荣获2025年计算语言学协会（ACL）工业赛道最佳论文奖。这一成果表明，通过优化推理架构而非单纯扩大参数规模，企业可以在显著降低算力成本的同时提升用户体验。
事情怎么走到这一步
Zagyva等人在第63届计算语言学协会（ACL）年会上发表题为《Speed Without Sacrifice: Fine-Tuning Language Models with Medusa and Knowledge Distillation in Travel Applications》的论文，并获工业赛道最佳论文奖。
aclanthology.org ↗Amazon Science博客发布文章，详细披露了将知识蒸馏与Medusa框架整合的具体实验结果：TinyLlama-1.1B作为学生模型，Llama-3.1-70B作为教师模型，在Booking.com的三个用例中实现了10-20倍的推理速度提升。
amazon.science ↗
还没定论的部分
- 该组合技术在非旅行领域（如代码生成或通用对话）中的泛化能力如何？
- Medusa头部的增加对模型内存占用的具体影响是多少？
- 除了ACL获奖论文外，是否有开源代码或预训练权重可供社区复现？