英伟达公布Vera Rubin平台初步基准数据:智能体推理能效比GB300提升超10倍
英伟达发布Vera Rubin NVL72在MLPerf Endpoints v1.0中的初步基准数据,显示其在智能体工作负载下的每千瓦吞吐量较GB300提升超10倍。
英伟达(NVIDIA)于2026年11月16日发布了其最新AI超级芯片平台Vera Rubin NVL72在MLPerf Endpoints v1.0基准测试中的初步结果。数据显示,在保持每用户每秒50个token的端到端交互性最低标准下,Vera Rubin NVL72的每千瓦吞吐量是上一代GB300 NVL72的10倍以上。这一结果旨在展示新平台在处理多轮对话、工具调用等智能体(Agentic)工作负载时的能效优势。
测试涵盖了Kimi K3、DeepSeek-V4.1-Flash和Qwen3.6-35B-A3B三个开源模型。在匹配并发查询数的情况下,Vera Rubin NVL72实现了3到5倍的端到端交互性提升;而在固定交互性阈值下,其每千瓦吞吐量提升了5到10倍。例如,在运行Kimi K3模型时,Vera Rubin在1,024并发查询下达到了41,414 tokens/sec的系统吞吐量,功耗为100.89 kW,而GB300在相同并发下系统吞吐量仅为13,905.8 tokens/sec,功耗为60 kW。
英伟达指出,性能提升得益于Rubin GPU架构中的HBM4内存、Tensor Cores以及第六代NVLink技术,并结合了前缀缓存、状态复用和Dynamo路由等上下文感知服务技术。这些优化减少了冗余计算并平衡了服务负载。此外,针对特定模型的执行优化,如DeepSeek的MegaMoE内核和Qwen的多token预测验证,也降低了数据移动和顺序解码步骤。
需要注意的是,这些结果是“初步”(provisional)的,尚未经过MLCommons Association的最终同行评审和验证,因此可能会发生变化。GB300的结果已经过MLCommons验证,作为对比基线。对于关注AI基础设施能效和扩展能力的读者而言,这些数据提供了新硬件在标准化智能体负载下的早期性能参考,但实际生产环境表现仍需等待独立验证。