Meta首次在数据中心生产环境运行Google TPU，对Nvidia构成挑战

据Tom's Hardware报道，Meta已在数据中心的生产环境中运行Google的张量处理单元（TPU），这是Google自研AI芯片首次被外部主要客户用于实际业务负载。该突破得益于新发布的PyTorch原生版SGLang推理引擎，由Meta、Google和SGLang开发团队RadixArk三方合作完成。

此前，TPU仅能通过Google自家的JAX框架或较旧的PyTorch/XLA桥接层运行，这限制了其在主流PyTorch生态系统中的采用。新的TorchTPU引擎允许开发者在不重写代码的情况下，将PyTorch工作负载直接部署到TPU上。Meta PyTorch-TPU负责人Zongwei Zhou表示，该引擎为Meta提供了“非常成熟的PyTorch原生服务栈”。

这一进展对Nvidia构成潜在威胁。Nvidia凭借CUDA软件生态建立了强大的护城河，而Meta作为PyTorch框架的主要支持者，其转向TPU意味着大型科技公司正在积极寻求摆脱单一硬件架构的约束。Meta PyTorch工程总监Jana van Greunen指出，Meta“不能被单一硬件架构所限制”。

值得注意的是，这并非Meta首次尝试使用TPU。Google称PyTorch/XLA是新TorchTPU的“前身”，而SemiAnalysis去年报道称，Meta的研究团队曾在2020年至2023年间通过该桥接层使用TPU，但随后取消了相关合同。目前的部署基于多年租赁协议，具体规模和位置未公开。

在性能方面，初创公司Inferact报告称，经过调优的vLLM设置在第七代Ironwood TPU上运行Moonshot AI的Kimi K3模型时，单用户吞吐量超过700 tokens/秒，高于Nvidia GB200基线的452 tokens/秒。然而，这些数据来自厂商及合作伙伴的内部测试，尚未经过独立第三方验证。