英伟达AICR推理运行时

英伟达推出AI集群运行时（AICR），旨在解决NVIDIA Dynamo在Kubernetes上部署时基础设施依赖复杂的问题。AICR将GPU驱动、动态资源分配、调度器及监控组件打包为版本锁定的“配方”，通过快照、生成、渲染、部署、验证五步流程，实现运行时就绪与应用部署的分离。

【背景】传统部署中，平台团队需手动协调vLLM/SGLang后端与底层硬件兼容性，耗时且易错。AICR通过固定组件版本和校验逻辑，提供可重复的基础设施层。

目前存在两条主要路由路径：适用于最小拓扑的Dynamo Frontend原生路由，以及集成Kubernetes Gateway API的GAIE/EPP路径。Dynamo 1.4.2采用TCP处理请求平面，ZMQ处理KV缓存事件以支持缓存感知路由。

尽管AICR简化了标准流程，但在多安全组隔离的EKS集群中，其ai-service-metrics验证器因Pod调度非确定性导致无法访问Prometheus而失败，暴露了网络策略与调度亲和性之间的潜在冲突。