HOPE：将专家配对交互纳入二次规划，在 50% 剪枝率下保持 MoE 协作组
Amazon 研究员 Alex M. Tseng 提出 HOPE 方法，通过构建专家配对交互矩阵并求解二次规划来选择剪枝集合，在 50% 剪枝率下保持了专家间的协作结构，使 SWE-Bench Pro 成绩与未剪枝模型持平，而独立评分的 REAP 方法下降了 13%。
Mixture-of-Experts 模型的参数绝大部分被闲置——Qwen3.5-122B 的约 250 GB 显存中 95% 被各层专家 MLP 占据，但每个 token 实际只激活 8 个专家。直接删除不活跃的专家是压缩这一内存瓶颈最简洁的路径：不需要训练，不需要动态加载，还能与量化叠加。难点在于决定删谁。现有的剪枝方法——REAP、MAN、EAN 等——对每个专家独立打一个标量重要性分数，然后砍掉分数最低的那些。作者 Alex M. Tseng（Amazon）指出，这种做法假设每个专家的贡献与其余专家无关，但实验观察表明 MoE 中的专家会形成稳定的协作组，它们被一致地共同激活。独立评分完全忽略了这一点：删掉专家 A 本身看似无害，但如果 A 频繁与高重要性的专家 B 协作，一次删除就拆散了一个协作组。
HOPE 的核心是一个 E×E 的交互矩阵 F。矩阵的对角线衡量单个专家的独立重要性——实际上与 REAP 的排名高度相关，Spearman 相关系数达 0.988——非对角线则捕捉专家 i 和 j 在被共同激活的 token 上的平均门控加权输出乘积。有了这个矩阵，选择剪枝集合就变成一个二次规划：最小化被剪专家之间的总交互强度。求解采用连续松弛后取整，每层耗时 1 到 2 秒，相对于校准前向传播的总开销可忽略。
在 50% 剪枝率下这一机制的优势最为显著。以 Qwen3.5-35B-A3B 为例，HOPE 剪枝后在 SWE-Bench Pro 上得分 42.3，与未剪枝模型的 41.8 持平；而 REAP 在同样条件下降至 36.2，回退了约 13%。作者认为这是因为高剪枝率下大量协作链接面临断裂风险，而 HOPE 的二次规划会自动牺牲一些独立分数高但属于弱协作节点的专家，以保全整体协作结构。
不过，作者也坦承 HOPE 的边界：在 10% 到 20% 的低剪枝率下，一阶方法有时同样具有竞争力，HOPE 的优势缩小；当前实现逐层独立剪枝，未考虑跨层交互；所建模的仅是配对关系，三元组及更高阶交互在组合上难以估计。所有性能数字均为作者团队自测，尚未经独立复现。