FMA模型切换方案

Fast Model Actuation (FMA) 是 llm-d 生态系统中的一项技术，旨在解决 Kubernetes 环境下大语言模型推理服务的 GPU 利用率低和模型切换延迟高的问题。该方案通过解耦资源声明与执行，利用“双 Pod”架构和 vLLM 的睡眠/唤醒机制，将模型切换时间从传统的分钟级降低至秒级。

【背景】传统 Kubernetes Pod 具有静态的资源分配和命令行参数，难以适应需要动态切换模型或释放显存的推理场景。FMA 引入了 server-requesting Pod（描述需求但不运行服务）和 server-providing Pod（实际运行服务）的概念，并通过控制器管理这一过程。

在 PyTorch 官方频道的演示中，夕. 王和 J. Duan 展示了 FMA 如何利用 NVIDIA H100 GPU 共享三个 LLM。对比测试显示，在相同时间内，FMA 完成了 10 次热模型切换加推理，而基线冷启动仅完成 1 次推理。对于拥有 64 GiB 张量数据的模型，唤醒过程仅需约 3 秒。

目前 FMA 主要支持 vLLM 和 NVIDIA GPU Operator。其核心组件包括 dual-pods controller、vLLM instance launcher 和 launcher-populator。项目已发布 v0.6.x 版本，处于 Milestone 3 阶段，即实现基于启动器的模型交换功能。