谷歌发布开源软件TPU Sync，称可将大模型推理延迟降低超90%

美国科技公司谷歌于2026年11月9日发布了名为TPU Sync的开源系统，旨在解决随着上下文窗口增大而日益严重的AI推理瓶颈：不同存储层级之间的数据移动。该系统用C++编写，专门用于在加速器内存、主机DRAM、存储和网络之间高效传输数据。

TPU Sync利用零拷贝传输和原生PjRtBuffer硬件描述符来避免不必要的数据复制。谷歌声称，在某些测试中，该系统可以将KV缓存传输延迟和首字生成时间（TTFT）降低超过90%。具体数据显示，对于2350亿参数的Qwen3模型，KV缓存移动时间从数秒降至约230毫秒；对于4800亿参数的大模型，降幅达到90%。此外，单个Ironwood TPU主机的双向吞吐量达到了223 GB/s，接近PCIe Gen5的理论极限256 GB/s。

这一发布与谷歌此前推出的TorchTPU（允许PyTorch原生运行在TPU上）以及llm-d（分布式推理框架）形成互补。TPU Sync侧重于底层内存管理，使得开发者在使用vLLM和SGLang等流行推理引擎时，无需重建整个服务栈即可处理分离式工作负载。分析机构SemiAnalysis指出，外部TPU服务此前缺乏有效分离预填充和解码工作负载的基础设施，而TPU Sync试图填补这一空白。

然而，谷歌警告称该软件目前尚未准备好用于生产环境，API仍在变化中，建议开发者坚持使用经过验证的提交或标签版本。支持范围也仅限于Cloud TPU v7x和v6e，并有特定的JAX和PyTorch版本要求。尽管性能提升显著，但这些数据均为厂商自测结果，尚未经过独立第三方验证。