购物智能体序列级知识蒸馏
2 节点1 篇3 来源
亚马逊云科技（AWS）展示了如何利用**序列级知识蒸馏（SeqKD）**将前沿模型驱动的购物智能体行为迁移至Qwen3.5-4B小模型。核心发现表明，在训练目标中保留教师的推理过程比仅保留工具调用多贡献约13个百分点的任务成功率；蒸馏成功的关键在于任务是否在学生能力范围内，而非参数差距大小。
【背景】SeqKD通过让教师模型生成高质量轨迹，学生模型在这些轨迹上进行监督微调，无需访问教师权重或Logits，适用于API封闭的前沿模型场景。
【存疑】目前结果基于单次运行，存在数个百分点的运行间波动，且主要验证于ShoppingBench基准测试，实际生产环境的泛化能力尚待更多独立复现验证。
事情怎么走到这一步
AWS技术博客发布《Build efficient agents with knowledge distillation on Amazon SageMaker AI》，详细演示了使用GLM-5.3作为教师模型，通过SeqKD将购物智能体蒸馏至Qwen3.5-4B的过程，并公开了SageMaker HyperPod Recipes中的示例代码。
aws.amazon.com ↗第三方媒体explainx.ai报道该案例，指出蒸馏后的4B模型在ShoppingBench上的绝对成功率（ASR）达到0.541，与教师模型GLM-5.3的0.540基本持平，强调了保留推理链对性能提升的关键作用。
explainx.ai ↗
还没定论的部分
- SeqKD方法在非购物类复杂代理任务（如代码生成、长程规划）中的通用性如何？
- 除了保留推理链，是否有其他结构化信号（如动作空间对齐）能进一步提升小模型的代理能力？
- 在生产环境中，这种蒸馏策略带来的成本降低具体量化指标是多少？