llm-d推理框架
3 ステップ3 件5 ソース
【背景】llm-d是由Google、Red Hat、IBM等联合发起的开源分布式推理框架,旨在解决大规模AI模型自托管部署中的效率与运维难题。2026年10月20日,该项目正式发布1.0版本,标志着其从技术验证阶段进入具备生产级运维能力的成熟期。
此次更新的核心在于“Day 2”运营能力:新增多租户服务质量(QoS)控制,确保延迟敏感型请求与突发智能体负载共享基础设施时互不干扰;实现零停机升级,通过路由器高可用性和预填充/解码分离的协调滚动更新保障服务连续性;并引入智能体感知服务,利用会话感知路由和KV缓存分层存储优化上下文复用。
性能方面,测试数据显示在特定高并发代码智能体负载下,llm-d可将推理成本降低5至10倍。例如,IBM Research报告称在量子纠错硬件设计任务中,使用llm-d配合开源模型实现了约98%的前缀缓存命中率,每百万token混合服务成本约为0.11美元,较专有堆栈低11.5倍。此外,在NVIDIA GPU集群上运行GLM 5.2模型的演示中,峰值输出达到每分钟660万token,支持3000个并发编码代理且无抢占。
该框架基于Kubernetes原生架构,兼容vLLM和SGLang等主流推理引擎,支持跨云、跨加速器(包括TPU、GPU)的统一端点管理。随着AI工作负载从简单聊天转向复杂的多步智能体和强化学习场景,llm-d 1.0为企业提供了更可控、更具成本效益的自托管推理路径。
経緯
llm-d项目贡献者在PyTorch Conference North America前夕宣布发布llm-d 1.0版本,强调其具备多租户隔离、零停机升级等生产级运维能力。
research.ibm.com ↗Google官方博客详细介绍llm-d 1.0的技术架构,展示其在Google Cloud TPU/GPU上的集成情况,以及缓存感知路由如何将中位首token时间(TTFT)降低超过85%。
cloud.google.com ↗eeNews Europe报道指出,测试显示llm-d在特定高并发代码智能体负载下,推理成本比商业API低五到十倍,凸显其经济优势。
eenewseurope.com ↗
未解決の問題
- llm-d 1.0在非Google Cloud环境下的长期稳定性表现如何?
- 对于中小型企业而言,部署和维护llm-d所需的技术门槛是否显著低于直接使用商业API?
- 随着更多组织加入CNCF Sandbox项目,社区对llm-d未来路线图的影响力将如何演变?