TPUv7推理性能

【背景】2026年11月5日，SemiAnalysis发布报告指出，谷歌第七代张量处理单元（TPUv7 Ironwood）在长上下文、多轮智能体推理基准（AgentX）上展现出显著的成本效益优势。在FP8精度下，TPUv7运行GLM-5.2模型时每美元token产出达NVIDIA B200/B300及AMD MI355X的1.2至2.7倍；在Qwen3.5上，其每美元性能为GB300 FP4模式的1.67倍。

然而，争议在于NVIDIA凭借原生FP4支持在GLM-5.2上仍保持3.5至3.6倍的领先优势，而TPUv7尚无原生FP4支持。此外，部分结果由Google、RadixArk和Inferact分别提交，未经独立复现。尽管TPUv7在特定场景下具备竞争力，但NVIDIA的软件生态壁垒（CUDA Moat）及其在高端FP4推理上的绝对性能仍是主要阻碍。随着Meta等外部客户开始在生产环境中使用TPU，市场格局正在发生微妙变化。