LectureRechercheRadarCadre d'investissement
Connexion / Inscription
← Retour à la lecture
SujetRédaction DisconfirmAIMis à jour 2026-11-10 12:57

MoE专家协作剪枝

4 étapes1 pièces5 Sources

混合专家模型(MoE)虽能高效扩展参数规模,但所有专家需常驻显存导致严重的内存瓶颈。传统剪枝方法如 REAP 采用“一阶”策略,独立评估每个专家的重要性,却忽视了专家间存在的稳定协作关系,在激进剪枝下易破坏功能模块。

2026年9月,亚马逊 AWS Agentic AI 团队提出 HOPE(Higher-Order Pruning of Experts),这是一种“二阶”剪枝方法。HOPE 通过构建专家配对交互矩阵并求解二次规划,将专家间的协作结构纳入决策。实验显示,在 50% 剪枝率下,HOPE 在智能体编码任务上比次优方法 REAP 高出 6.1%,且平均排名显著领先。与此同时,北航等机构提出的 SHAPE 方法也利用合作博弈论建模专家联盟,进一步印证了保留协作结构对维持模型性能的关键作用。目前,HOPE 已开源,为在不重训练的前提下大幅压缩 MoE 模型提供了新路径。

Comment on en est arrivé là

  1. 2026-06-03

    北京航空航天大学 Yuhao Zhang 等人发布 SHAPE 论文,提出基于 Shapley 值的联盟感知专家剪枝框架,强调 MoE 推理的固有协作性。

    arxiv.org ↗
  2. 2026-09-16

    亚马逊 AWS Agentic AI 团队 Alex M. Tseng 等人提交 HOPE 论文初版,推导二阶剪枝目标以最小化剪枝误差上界。

    arxiv.org ↗
  3. 2026-09-29

    HOPE 论文更新至 v3 版本,确认在 Qwen3.5-122B 等前沿模型上的实验结果,显示其在高剪枝率下的优势。

    arxiv.org ↗
  4. 2026-11-09

    亚马逊官方博客发布《Your Experts Have Partners. There's HOPE for Keeping Them Together》,详细解释 HOPE 原理并提供 GitHub 代码库链接。

    huggingface.co ↗

Ce qui reste non résolu

  • HOPE 与 SHAPE 等不同协作感知剪枝方法在极端稀疏度(>50%)下的长期稳定性对比如何?
  • 二阶剪枝带来的计算开销是否会在超大规模模型(>1T参数)的校准阶段成为新的瓶颈?
  • HOPE 方法与其他量化技术(如 FP8/INT4)组合使用时,是否存在非线性的性能衰减风险?

Sources

Connexion / Inscription
LectureRechercheRadarCadre d'investissement
  • huggingface.coAmazon Blog: Higher-Order Pruning of Experts↗
  • arxiv.orgArXiv: HOPE Paper (v3)↗
  • github.comGitHub: awslabs/HOPE↗
  • arxiv.orgArXiv: SHAPE Paper↗
  • docs.vllm.aiVLLM Docs: REAP Expert Pruning↗

Couverture dans ce sujet

  • HOPE: Incorporating Expert Pairwise Interactions into Quadratic Programming to Maintain MoE Cooperative Groups at 50% Pruning Rate2026-11-09Actualités

    Amazon researcher Alex M. Tseng proposes the HOPE method, which constructs an expert pairwise interaction matrix and solves a quadratic program to select the pruning set. This approach maintains the cooperative structure among experts at a 50% pruning rate, keeping SWE-Bench Pro scores on par with unpruned models, whereas the independently scored REAP method saw a 13% decline.