NVIDIA 发布 GPU Fractioning Operator：将 CUDA 13.4 显存隔离能力接入 Kubernetes
CUDA 13.4 首次为 GPU 提供对应用透明的显存边界强制，但 Kubernetes 集群无法直接使用该能力。NVIDIA 开源的 GPU Fractioning Operator 与 KAI Scheduler v0.18.0 的 NvFractions 模式共同填补了这一编排缺口：调度器写入每容器注解，操作符在节点上配置 MPS 守护进程并执行限额。文章解释了 time-slicing（串行、错误隔离）与 sm-sharing（并行、共享错误域）两种计算模式的设计取舍。
许多 AI 推理和微调任务只需要 GPU 的一小部分显存，但为每个工作负载分配整张卡会留下大量闲置容量。NVIDIA 在 2026 年 10 月 27 日的技术博客中介绍了 CUDA 13.4 新增的一项底层能力：对应用透明的显存边界强制。工作负载声明一个显存大小，CUDA 将其限制在该范围内，超出即失败，就像运行在更小的 GPU 上一样；一个保证最低值加上空闲时可扩展的上限。CUDA 提供了这项能力，但 Kubernetes 集群无法直接调用——节点上需要运行 MPS 守护进程、在容器启动前写入限额和计算模式、并按分数上报用量。GPU Fractioning Operator 配合 KAI Scheduler v0.18.0 的 NvFractions 模式填补了这一缺口：调度器选择 GPU 并写入每容器注解，操作符在节点上执行。计算模式有两种：time-slicing 让负载轮流使用整张 GPU，各自拥有独立错误域；sm-sharing 将流式多处理器同时分配给多个负载，共享一个错误域。同一 GPU 同一时刻只运行一种模式，KAI Scheduler 按 GPU 而非按节点追踪这一约束。