SemiAnalysis：TPUv7在GLM-5.2 AgentX上每美元token产出达NVIDIA/AMD的1.2至2.7倍

SemiAnalysis于2026年11月5日发布了TPUv7（Ironwood）在InferenceX/AgentX智能体推理基准上的首批跨模型结果。AgentX模拟多轮、长上下文、高前缀复用的真实智能体工作负载，与单轮聊天场景有显著差异。此次覆盖四个模型：Meta的Muse Spark Open（816B参数）、智谱GLM-5.2/5.3（744B参数MoE）、阿里Qwen3.5 397B、以及月之暗面Kimi K3（2.8T参数）。

在FP8精度下，各模型结果需要分别看待。GLM-5.2上，在60至300 tok/s/user的交互区间内，TPUv7每美元token产出达到B200、B300和AMD MI355X的1.2至2.7倍。Qwen3.5 397B上，SemiAnalysis报告TPUv7 FP8的每美元性能为GB300 NVL72 FP4的1.67倍——这是Google自己提交的首个AgentX模型结果。Kimi K3上，由vLLM创始团队创办的Inferact提交的结果显示TPUv7每美元token产出为GB200、B200、B300和MI355X的1.15至2.5倍。Muse Spark Open由SGLang维护者RadixArk提交，在一个理论上对TPU不友好的GPU优化架构上仍实现了有竞争力的decode性价比。

但SemiAnalysis同时指出，NVIDIA FP4在纯性能每美元上仍保持领先。在GLM-5.2上，GB300和GB200 FP4在100 tok/s/user时分别达到TPUv7的3.6倍和3.5倍token每美元。原因在于FP4将权重字节减半，而小批量decode受内存带宽限制。TPUv7目前没有原生FP4支持，需等到2027年一季度的TPUv8。NVIDIA在Qwen3.5上提交了FP4反制结果，虽在decode性能上超过TPUv7 FP8，但以牺牲prefill为代价，端到端性能仍不及TPUv7 FP8。

SemiAnalysis的核心论点在于：TPUv7的竞争力并非仅来自硬件规格，而是通过与vLLM（Inferact、RedHat）、SGLang（RadixArk）、llm-d、PyTorch和Ray等上游维护者的生态合作实现。Meta已在生产环境使用SGLang-TorchTPU部署TPUv7。Kimi K3.1 Pro发布当日即获得TPUv7支持。SemiAnalysis认为，NVIDIA的护城河正在从软件生态被侵蚀，其官僚流程（如驱动功能审批需三个月法律审查）是结构性风险。

需要强调的是，上述结果的提交方各不相同：Qwen3.5由Google直接提交，Muse Spark Open由RadixArk提交，Kimi K3由Inferact提交。所有数据均为第一方结果，由SemiAnalysis分析发布，尚未获得独立复现。NVIDIA方面，Rubin NVL72的预览提交显示其每美元性能可能达到TPUv7的6倍，但SemiAnalysis指出这属于不公平对比，Rubin应对标TPUv8i而非TPUv7。对于正在做算力采购决策的读者，这些数字提供了方向性参考，但在做出承诺前应要求独立验证。