长期信息 · 《DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale》(2022)
在大型语言模型的发展进程中,稠密模型(Dense Models)的训练成本随着参数量的增加而急剧上升,硬件资源的限制使得单纯扩大模型规模变得不可持续。混合专家模型(Mixture-of-Experts, MoE)作为一种稀疏架构,虽然在训练阶段能显著降低计算成本,但其巨大的参数量导致内存需求激增,且推理效率低下,限制了其实际应用。DeepSpeed-MoE 论文针对这一痛点,提出了一套端到端的解决方案,旨在平衡模型质量、训练成本与推理效率。
该研究的核心贡献之一在于扩展了 MoE 的应用范围并提出了新的架构设计。传统 MoE 多用于编码器-解码器任务,而本文将其成功应用于自回归自然语言生成(NLG)任务,证明了在保持同等模型质量的前提下,可实现 5 倍的训练成本节省。为了解决 MoE 模型“参数效率”低下的问题,作者设计了金字塔残差 MoE(Pyramid-Residual MoE, PR-MoE)。这是一种混合稠密与稀疏的架构,通过残差连接仅在专家最有效的地方应用稀疏性,从而在不改变模型质量和最小化计算需求变化的情况下,将 MoE 模型的参数大小减少高达 3 倍。此外,通过分阶段知识蒸馏技术,作者创建了 PR-MoE 的蒸馏版本——学生混合模型(Mixture-of-Students, MoS),进一步将模型大小压缩至原来的 1/3.7,同时保持可比拟的模型质量。
除了架构创新,DeepSpeed-MoE 还开发了高度优化的推理系统,以解决大规模 MoE 模型的部署难题。由于 MoE 模型比等效稠密模型大得多,推理过程往往受限于内存带宽而非计算能力。该系统通过结合模型压缩与系统级优化,实现了显著的推理加速和成本降低。具体而言,与现有的 MoE 推理解决方案相比,DeepSpeed-MoE 提供了高达 7.3 倍的延迟和成本改善;而与质量相当的稠密模型相比,其推理速度提升了 4.5 倍,成本降低了 9 倍。这使得万亿参数级别的 MoE 模型能够实现低于 25 毫秒的超低延迟推理,为从稠密模型向稀疏 MoE 模型的转变提供了可行的工程路径。
对于关注大模型基础设施优化的读者,DeepSpeed-MoE 提供了一个清晰的视角,即如何通过软硬件协同设计来突破算力瓶颈。它不仅仅是一个算法改进,更是一个完整的系统方案,展示了如何在资源受限的情况下部署高质量的大模型。例如,假设一个团队需要在有限的 GPU 集群上部署一个高性能对话模型,直接采用稠密模型可能因显存不足或推理延迟过高而无法落地,而参考 DeepSpeed-MoE 中的 PR-MoE 架构和推理优化策略,则可能在保持响应速度的同时大幅降低硬件门槛。
建议从事 AI 系统工程、模型压缩及高效推理研究的工程师和研究人员阅读此论文《DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale》(2022年),重点关注第 1 节关于挑战的描述以及第 3 节关于 PR-MoE 和推理系统的技术细节。
信息源:《DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale》(2022)