NVIDIA工程师谈Agentic AI在Kubernetes上的推理架构

NVIDIA工程师Xianglong Lu和Bo Chu在PyTorch官方频道发布视频，分享在Kubernetes上运行Agentic AI推理的生产经验。随着Agentic AI重新定义推理负载，长工具调用工作流带来持续的KV缓存压力，并行子代理需要共享前缀和一致路由，且会话必须在Pod/GPU故障中保持上下文不丢失。

演讲重点介绍了NVIDIA Dynamo在缓存感知路由和分离式服务中的应用，以及RoleBasedGroup（RBG）在状态连续性、发现和跨管道阶段角色/单元协调中的作用。主讲人比较了Dynamo原生部署与RBG模式的差异，讨论了在缓存争用和部分故障下出现的问题，以及如何以Kubernetes原生方式建模路由、会话连续性、恢复和可观测性。