开源AI推理框架llm-d发布1.0版：测试称特定负载下成本较商业API降五至十倍

由Red Hat、IBM、Google Cloud、CoreWeave和NVIDIA共同发起的开源项目llm-d于2026年10月23日发布1.0版本，旨在解决大规模AI推理中的资源竞争问题。该项目现由云原生计算基金会（CNCF）治理，核心功能包括缓存感知路由、内存卸载以及将输入提示处理与响应生成分离，以提高GPU利用率并降低运行成本。

据eeNews Europe报道，在一项针对GLM 5.2（约7530亿参数的开放权重模型）的基准测试中，研究人员使用llm-d在NVIDIA GPU上实现了每分钟超过660万个输出token的峰值吞吐量，并支持多达3000个并发编码智能体而无需抢占。基于当前的云租赁费率，研究人员估算该配置下的每token推理成本比同类商业API定价低五到十倍。另一项IBM Research的研究也报告称，在使用llm-d进行量子纠错硬件调查时，推理成本比完全专有配置低11.5倍。

需要指出的是，这些成本节省数据源自特定的工作负载和配置，并非普遍的性能保证。llm-d 1.0还引入了多租户服务质量、会话感知路由和无计划停机更新支持等功能，目前已有来自25多个组织的500多名贡献者参与开发。