LeituraPesquisaRadarFramework de investimento
Entrar / Cadastrar
← Voltar para a leitura
TópicoEditorial DisconfirmAIAtualizado 2026-10-26 18:06

llm-d推理框架

3 etapas3 peças5 Fontes

【背景】llm-d是由Google、Red Hat、IBM等联合发起的开源分布式推理框架,旨在解决大规模AI模型自托管部署中的效率与运维难题。2026年10月20日,该项目正式发布1.0版本,标志着其从技术验证阶段进入具备生产级运维能力的成熟期。

此次更新的核心在于“Day 2”运营能力:新增多租户服务质量(QoS)控制,确保延迟敏感型请求与突发智能体负载共享基础设施时互不干扰;实现零停机升级,通过路由器高可用性和预填充/解码分离的协调滚动更新保障服务连续性;并引入智能体感知服务,利用会话感知路由和KV缓存分层存储优化上下文复用。

性能方面,测试数据显示在特定高并发代码智能体负载下,llm-d可将推理成本降低5至10倍。例如,IBM Research报告称在量子纠错硬件设计任务中,使用llm-d配合开源模型实现了约98%的前缀缓存命中率,每百万token混合服务成本约为0.11美元,较专有堆栈低11.5倍。此外,在NVIDIA GPU集群上运行GLM 5.2模型的演示中,峰值输出达到每分钟660万token,支持3000个并发编码代理且无抢占。

该框架基于Kubernetes原生架构,兼容vLLM和SGLang等主流推理引擎,支持跨云、跨加速器(包括TPU、GPU)的统一端点管理。随着AI工作负载从简单聊天转向复杂的多步智能体和强化学习场景,llm-d 1.0为企业提供了更可控、更具成本效益的自托管推理路径。

Como chegamos aqui

  1. 2026-10-20

    llm-d项目贡献者在PyTorch Conference North America前夕宣布发布llm-d 1.0版本,强调其具备多租户隔离、零停机升级等生产级运维能力。

    research.ibm.com ↗
  2. 2026-10-21

    Google官方博客详细介绍llm-d 1.0的技术架构,展示其在Google Cloud TPU/GPU上的集成情况,以及缓存感知路由如何将中位首token时间(TTFT)降低超过85%。

    cloud.google.com ↗
  3. 2026-10-23

    eeNews Europe报道指出,测试显示llm-d在特定高并发代码智能体负载下,推理成本比商业API低五到十倍,凸显其经济优势。

    eenewseurope.com ↗

O que ainda está indefinido

  • llm-d 1.0在非Google Cloud环境下的长期稳定性表现如何?
  • 对于中小型企业而言,部署和维护llm-d所需的技术门槛是否显著低于直接使用商业API?
Entrar / Cadastrar
LeituraPesquisaRadarFramework de investimento
  • 随着更多组织加入CNCF Sandbox项目,社区对llm-d未来路线图的影响力将如何演变?
  • Fontes

    • research.ibm.comIBM Research博客↗
    • cloud.google.comGoogle Cloud博客↗
    • eenewseurope.comeeNews Europe↗
    • github.comGitHub Release Notes↗
    • redhat.comRed Hat新闻稿↗

    Cobertura neste tópico

    • Open-source AI inference framework llm-d releases v1.0: tests claim 5-10x cost reduction vs commercial APIs under specific loads2026-10-23Notícias

      The open-source project llm-d, founded by Red Hat and IBM, released version 1.0 featuring cache-aware routing to boost GPU utilization. Tests indicate inference costs are five to ten times lower than commercial APIs for specific high-concurrency coding agent workloads.

    • Google, Red Hat and IBM Release llm-d 1.0: An Open Source Distributed Inference Framework for Agent Workloads2026-10-21Notícias

      llm-d 1.0 launches with multi-tenant QoS and zero-downtime upgrades, reporting a 2.9x throughput increase on large-scale clusters.

    • llm-d Releases Version 1.0: Open-Source AI Inference Framework Achieves Production Readiness2026-10-20Notícias

      The release of llm-d 1.0 marks a shift from performance demonstrations to production-grade operations for open-source AI inference, offering enterprises a mature path for cost-effective self-hosting in the agentic era.