谷歌工程师:模型架构在训练前就锁定了TPU性能天花板
谷歌两位工程师发布TPU模型协同设计指南,用Ironwood实测数据论证:256维度对齐和LatentMoE压缩等设计阶段决策决定了MFU上限;纯系统调优可将30B MoE从12%提升到23% MFU,而对齐与未对齐模型之间存在约2倍的吞吐量差距。
谷歌Staff Software Engineer Gagik Amirkhanyan和Software Engineer Vaibhav Singh在开发者博客上发布了一篇TPU模型协同设计指南,核心论点只有一句:性能调优从模型定义开始,架构选择决定了天花板。他们在文章开头写道,首次训练步骤之前做出的架构选择,会为模型FLOP利用率、成本和推理延迟设定永久上限。这句话听起来像常识,但他们的Ironwood实测数据给出了具体数字。
TPU的256×256 MXU(矩阵乘法单元)是理解这一论点的硬件基础。当模型的d_model、FFN宽度、注意力投影和词表大小不是256的倍数时,MXU的tile无法被填满,硬件在等待数据对齐。最常被忽视的维度是head_dim:在64或128时,flash-attention的QK矩阵乘积会让MXU至少一半的算力闲置。作者建议将head_dim重塑为256,同时按比例减少Q和KV头数,保持总投影宽度和逻辑KV缓存字节不变。
在Qwen3-30B MoE上,将注意力从32头×128维重塑为16头×256维,参数量和FLOPs完全相同,端到端训练速度提升,且上下文越长收益越大。这不是软件优化,而是硬件对齐。作者进一步指出,256对齐的MoE模型(DeepSeek-V3、Qwen3-235B)在Ironwood上达到608-630 BF16 TFLOP/s/chip,而未对齐的GPT-OSS-120B只有330 TFLOP/s/chip,差距接近两倍。
第二个设计杠杆是LatentMoE。其操作顺序是:先在完整d_model宽度上完成路由决策,然后将已路由的token从d_model压缩到更小的latent宽度ℓ(通常d/ℓ约2-4倍),在latent空间中执行专家计算,再投影回全宽度。这同时削减了两个MoE瓶颈——小批量时的专家权重读取和吞吐受限的all-to-all dispatch。在30B/128专家MoE上,ℓ=768的LatentMoE将on-device permute时间缩短2.8倍,端到端训练吞吐提升14%(322 vs 270 TFLOP/s/chip),并在remat检查点锚定于压缩latent后释放约25 GB/device的激活HBM。
专家粒度同样重要,但需要区分两种机制。更大的shared expert将工作移入稠密、无通信的GEMM,在训练中可与EP dispatch/combine重叠,在推理中可跨decode batch摊薄权重读取。而更少、更宽的routed experts则将dispatch流量减半,并使每个专家的GEMM tile填充率翻倍。在63B LatentMoE(ℓ=768,K/N=1/32,512颗TPU v7x,EP=128)上,将(N,K)从(512,16)减半为(256,8)同时加倍d_ff和shared expert宽度,训练吞吐提升57%,且在120.8B tokens上保持了更低的loss。
但作者也给出了明确的边界条件。所有Measured数据来自谷歌自身的Ironwood profiling program,他们提示读者将趋势和排名视为可迁移的,而具体百分比视为配置相关的。纯系统调优(SparseCore offload、MXU对齐tile、remat tuning)确实能在不改模型的情况下将30B MoE从12%提升到23% MFU,但这一提升的天花板仍然由设计阶段的维度对齐决定。如果head_dim是128,无论怎么调优,MXU至少一半算力在空转。
对于正在设计新模型或计划将现有模型迁移到TPU的团队,这篇文章的实际意义在于:性能预算不是训练后的调参问题,而是架构定义时的设计约束。256对齐是近零质量风险的规则,LatentMoE和专家粒度调整需要ablation验证,但两者都应在首次训练步骤之前完成。
作者同时指出,这些原则延续到TPU 8t和TPU 8i等第八代硬件,推理逻辑不变,阈值随硬件移动。TPU 8t和TPU 8i均新增原生FP4支持;TPU 8i还引入Boardfly拓扑和Collectives Acceleration Engine,但256对齐和latent压缩的核心机制仍然成立。