Slurm HRES插件如何将量子处理器纳入超算调度:传统资源模型为何无法适配QPU
NVIDIA技术博客详细解释了Slurm 26.11的层级资源(HRES)插件如何将量子处理器建模为集群级可调度资源,解决了通用资源绑定单节点、许可证方案导致计算节点空转等既有调度模型的结构性缺陷,并介绍了QRMI和QDMI两个社区插件的实现路径。
量子处理器正在被安装到全球各地的超算中心,与高性能计算系统并列运行。对化学、气象建模、工程仿真等领域的科学家来说,QPU不过是另一种加速器——和CPU、GPU一样,他们希望用熟悉的方式申请、预留和执行。但直到Slurm 26.11之前,调度器没有原生方式将QPU建模为可调度资源,各站点的集成方案反复定制,用户面对不同界面,管理员维护难以升级的私有代码,QPU供应商为每个客户重建集成。
问题的根源在于QPU的物理属性与Slurm既有资源模型的结构性不匹配。QPU通常是集群级加速器,不属于任何单个计算节点。Slurm用于GPU的通用资源(GRES)机制将设备绑定到节点——如果那台节点故障,QPU就不可达,直到管理员重新配置集群。另一种常见做法是许可证加SPANK插件:许可证代表集群级资源,但SPANK只在节点已分配后才介入,这意味着作业可以持有计算节点却空等QPU。此外,多个QPU的SPANK插件会争抢相同的命令行选项,而许多SPANK插件依赖Slurm内部API,每次升级都有断裂风险。更关键的是,Slurm自身无法感知QPU是否正在校准或离线,会继续启动无法使用设备的作业。
Slurm 26.11引入的层级资源(HRES)插件接口解决了这些缺口。HRES在Slurm 25.05作为测试特性加入,是许可证的演进形态。与许可证一样,HRES是不属于任何单一节点的集群级资源计数;与许可证不同的是,该计数关联到一组特定节点——即被允许使用该资源的节点。站点在resources.yaml中描述QPU为集群级HRES,指定哪些节点可以到达该设备,并将一个短小的Lua脚本指向该资源。resources.yaml持有站点特定的端点和策略,Lua插件持有设备逻辑,两者分工使插件可以一次编写、跨站点复用。
插件的核心能力体现在作业生命周期的几个关键回调中。维护回调每隔设定秒数向中间件查询QPU状态,设置或清除各层的disable_layer以停止或恢复分配。控制器作业预运行回调在作业已调度但节点尚未分配时执行准入判断——这意味着作业不会在等待QPU时持有空闲节点。由于预运行持有控制器的作业锁,耗时的设备预留操作被放入可选的异步预运行中,其载荷由Slurm发送到作业节点。如果作业未能启动,撤销回调会取消预留;控制器收尾回调在作业结束时释放资源。
在架构边界上,Slurm和Lua插件都不直接与QPU通信。第三方访问中间件位于HPC系统与QPU之间,提供对不同量子硬件API的统一接口。Slurm将QPU视为单一可调度单元,决定其可用性、持有者、时长和来源节点;校准、纠错和设备控制留在QPU自身的软件运行时内。这一设计同时适用于当前的含噪中等规模量子(NISQ)设备和未来的纠错系统。
社区已有两个开源实现。QRMI插件在作业运行前以用户自身凭据预订QPU访问权,在调度器关键路径之外的独立线程中完成,作业结束后释放;现有应用无需修改即可运行。QDMI插件则不预留设备,仅准入作业,每个作业通过QDMI提交工作,由供应商的队列在设备上调度。两种集成从用户侧看界面一致:作业脚本通过SBATCH --resources请求QPU,Slurm在插件报告设备可用前保持作业挂起。
值得注意的限制是:文章由NVIDIA技术博客发布,属于厂商对自身产品特性的解释性说明。文中提到的性能改善(如消除空转节点)是架构设计层面的逻辑推论,未提供实际部署的前后对比数据。Slurm 26.11本身仍处于早期采用阶段,社区插件的实际生产环境可靠性有待验证。