vLLM昇腾适配
6 steps1 pieces6 Sources
vLLM昇腾适配项目通过模块化架构与AI辅助工具，将大模型在华为昇腾NPU上的推理与训练适配周期大幅缩短。自2025年2月社区正式创建vllm-project/vllm-ascend仓库以来，该插件已支持从v0.7.3至v0.30.0rc1等多个版本，实现了包括GLM-5.2在内的主流模型“Day-0”上线。技术层面，团队引入了由AI Agent执行的标准化适配技能（Skill），通过固定脚本与两阶段验证（Dummy/Real Weights）解决异构硬件的算子兼容性与精度对齐难题。同时，训练侧通过vime项目整合Megatron-LM与MindSpeed，完成了Qwen3-4B等模型的GRPO训练闭环。当前争议点在于自动化适配对人工专家经验的替代程度，以及不同量化格式（如fp8/w8a8）在NPU上的精度损失边界。
How it got here
vLLM社区正式创建vllm-project/vllm-ascend仓库，确立解耦式硬件插件架构以支持Ascend NPU。
github.com ↗发布RFC #7539，提出基于AI Agent的vllm-ascend-model-adapter技能，旨在将模型适配流程标准化、自动化。
github.com ↗鲲鹏昇腾开发者社区发布《Vllm-Ascend 模型精度对齐指南》，详细阐述数据预处理、前向计算及后处理的精度调试方法。
hwcomputing.csdn.net ↗openEuler发布GLM-5.2 Day-0操作指南，展示如何利用vLLM Ascend容器镜像在Atlas A3节点上快速部署并运行新旗舰模型。
openeuler.org ↗vime项目合并PR #267，重建Ascend分支以支持NPU实现，集成Megatron-LM与vLLM Ascend进行强化学习训练。
github.com ↗PyTorch官方频道发布视频，介绍vLLM如何通过可插拔架构将GPU到异构硬件（如昇腾NPU）的适配周期从数周缩短至数小时。