Google、Red Hat与IBM联合发布llm-d 1.0：面向智能体负载的开源分布式推理框架
llm-d 1.0发布，新增多租户流量控制与零停机升级功能，自报在大规模集群中显著提升推理吞吐量。
重要性实质性证据E3 可检验写法标准
在2026年10月20日的PyTorch北美大会上，由Google、Red Hat和IBM共同维护的开源项目llm-d发布了1.0稳定版本。这是一个基于Kubernetes原生的分布式推理服务栈，旨在将vLLM或SGLang等模型服务器整合为一个协调的服务池，专门解决智能体（Agent）和强化学习（RL）工作负载中的负载均衡难题。
随着AI应用从简单的单轮对话转向多步骤的智能体任务，传统的轮询负载均衡机制往往导致重复计算和显存浪费。llm-d 1.0引入了缓存感知路由、分层KV缓存卸载以及预填充/解码分离等技术。新版本重点增强了生产环境的运维能力，包括多租户服务质量（QoS）控制、零停机升级以及代理感知的会话路由。
根据Google和IBM发布的基准测试数据，llm-d在特定场景下表现出显著的性能提升。在一个包含17,000个节点的Google Kubernetes Engine (GKE) 多区域部署中，吞吐量相比传统方式提升了2.9倍。在Ironwood TPU上的编码智能体工作负载测试中，中位首字生成时间（TTFT）降低了85%以上，吞吐量提高了2.4倍。此外，通过引入异步推理处理器，系统能够在实时流量的空闲周期内处理后台任务，将加速器的占空比从约40%提升至70%以上。
需要注意的是，上述性能指标均为项目方自报结果，尚未经过独立的第三方全面复现。llm-d目前作为CNCF沙箱项目运行，采用Apache 2.0许可证，支持NVIDIA、AMD、Intel GPU以及Google TPU等多种硬件平台。对于希望自建大规模AI推理基础设施的企业而言，该框架提供了一条摆脱单一专有云服务依赖的技术路径。