MoE专家协作剪枝
4 节点1 篇5 来源
混合专家模型（MoE）虽能高效扩展参数规模，但所有专家需常驻显存导致严重的内存瓶颈。传统剪枝方法如 REAP 采用“一阶”策略，独立评估每个专家的重要性，却忽视了专家间存在的稳定协作关系，在激进剪枝下易破坏功能模块。
2026年9月，亚马逊 AWS Agentic AI 团队提出 HOPE（Higher-Order Pruning of Experts），这是一种“二阶”剪枝方法。HOPE 通过构建专家配对交互矩阵并求解二次规划，将专家间的协作结构纳入决策。实验显示，在 50% 剪枝率下，HOPE 在智能体编码任务上比次优方法 REAP 高出 6.1%，且平均排名显著领先。与此同时，北航等机构提出的 SHAPE 方法也利用合作博弈论建模专家联盟，进一步印证了保留协作结构对维持模型性能的关键作用。目前，HOPE 已开源，为在不重训练的前提下大幅压缩 MoE 模型提供了新路径。
事情怎么走到这一步
北京航空航天大学 Yuhao Zhang 等人发布 SHAPE 论文，提出基于 Shapley 值的联盟感知专家剪枝框架，强调 MoE 推理的固有协作性。
arxiv.org ↗亚马逊 AWS Agentic AI 团队 Alex M. Tseng 等人提交 HOPE 论文初版，推导二阶剪枝目标以最小化剪枝误差上界。
arxiv.org ↗HOPE 论文更新至 v3 版本，确认在 Qwen3.5-122B 等前沿模型上的实验结果，显示其在高剪枝率下的优势。
arxiv.org ↗亚马逊官方博客发布《Your Experts Have Partners. There's HOPE for Keeping Them Together》，详细解释 HOPE 原理并提供 GitHub 代码库链接。
huggingface.co ↗
还没定论的部分
- HOPE 与 SHAPE 等不同协作感知剪枝方法在极端稀疏度（>50%）下的长期稳定性对比如何？
- 二阶剪枝带来的计算开销是否会在超大规模模型（>1T参数）的校准阶段成为新的瓶颈？
- HOPE 方法与其他量化技术（如 FP8/INT4）组合使用时，是否存在非线性的性能衰减风险？