谷歌TPU Sync
3 节点1 篇4 来源
谷歌于2026年11月发布开源软件TPU Sync，旨在解决大模型推理中因上下文窗口扩大而导致的内存数据传输瓶颈。该工具通过优化键值缓存（KV Cache）在加速器内存、主机DRAM及网络间的传输效率，宣称在特定测试场景下可将首字生成时间（TTFT）降低超过90%。TPU Sync采用C++编写，支持零拷贝传输，并兼容vLLM和SGLang等主流推理框架，意在提升谷歌TPU硬件在大规模AI服务中的竞争力。然而，谷歌警告该软件API仍在快速演变，目前仅支持Cloud TPU v7x和v6e，尚未达到全面生产就绪状态。【背景】随着百万token上下文成为常态，内存带宽而非算力正成为新的性能瓶颈。
事情怎么走到这一步
谷歌宣布第八代TPU组合扩展，包括TPU 8tx和TPU 8i Max，并预告相关软件更新。
blog.google ↗谷歌正式发布开源软件TPU Sync，用于加速AI推理中的KV缓存传输。
cloud.google.com ↗媒体报道称TPU Sync在部分测试中可将大模型推理延迟降低超90%，但指出其尚非生产就绪。
thenewstack.io ↗
还没定论的部分
- TPU Sync在实际生产环境中的稳定性如何？谷歌何时会提供稳定的API版本？
- 与英伟达GB200/GB300系统相比，TPU Sync优化后的TPU集群在综合性价比上是否具有明确优势？
- 开发者社区对TPU Sync的接受度如何？是否会显著推动更多企业从CUDA生态迁移至TPU？