芯片架构按负载分配内存：Chipstrat分析师Austin Lyons认为美光'更多内存更好'的回答答错了问题

美光上周举办了技术产品网络研讨会。Chipstrat分析师Austin Lyons观看后记录了自己的分析，核心判断是：美光对投资者最关心的内存需求问题给出了一个正确但答非所问的回答。

问题的起点来自分析师Vivek Arya。他问了一个对内存厂商至关重要的问题：如今内存已占加速器物料成本的一半以上，客户正在讨论'去规格化'（despeccing），即用更少或更便宜的内存。推理加速器是否可能最终搭载更少的DRAM或不同类型的DRAM？如果是，美光的比特销量会下降。

美光Scott DeBoer的回答是：系统性能随内存容量和带宽提升而改善，客户会选择满足其产品和业务需求的最低规格，美光的工作是增加供给并通过垂直HBM等产品推动带宽提升。他最后说：'Inherently, more memory does equal better system performance'（本质上，更多内存确实等于更好的系统性能）。

Lyons认为这回答了错误的问题。DeBoer说的没错——更多内存确实帮助性能——但Arya问的不是'更多内存是否更好'，而是'当客户按工作负载精确配置内存时，对内存供应商意味着什么'。

Lyons用谷歌的芯片设计来说明客户已经在做这件事。谷歌云公开的TPU规格显示：推理芯片TPU 8i计算量较少但内存较多；训练芯片TPU 8t计算量较多但内存带宽较少，因为训练主要是计算密集型。这不是假设，而是已经落地的产品分化。

他进一步把推理本身拆成两个阶段：预填充处理提示词，是计算密集的；解码逐token生成输出，是内存密集的。分离式推理（disaggregated inference）把这两个阶段放在不同芯片上运行。这意味着预填充芯片可能不需要那么多HBM，而解码芯片需要更多——而且机架中解码芯片通常多于预填充芯片。总内存需求是下降还是相互抵消，取决于具体配比。

芯片厂商已经在按负载差异化内存配置。AMD的MI455X搭载432GB HBM4，英伟达的Rubin搭载288GB。英伟达还宣布了Rubin CPX，一款预填充芯片，使用128GB GDDR7而非HBM。初创公司Positron的Asimov芯片完全跳过HBM，使用LPDDR5X，容量从288GB到2.3TB可配置，让客户按工作负载自行选择。

这里出现了一个常被忽略的维度：不仅是总量，还有结构（mix）。GDDR7和LPDDR仍然是DRAM，美光也卖这两种产品。但它们与HBM的利润率不同。Lyons引用美光自己的数据：HBM每比特消耗的晶圆是DDR5的三倍，而且'这个转换比率只会随HBM未来世代增加'。因此，每一个因架构优化而从HBM迁移到LPDDR或GDDR的比特，都释放出大量DRAM晶圆。

关键的反直觉判断在这里：Lyons指出，HBM当前的利润率低于美光的其他DRAM产品。所以位元从HBM迁移到LPDDR/GDDR，可能不是坏事，反而可能提升利润。这意味着单纯跟踪HBM比特总量不足以判断美光的盈利走向，必须同时追踪需求结构的变化。

Lyons的结论是：内存需求现在取决于每台加速器如何按其工作负载配置内存。预测需求意味着追踪加速器架构的走向——训练芯片搭载多少HBM？预填充用HBM还是GDDR？KV缓存放在HBM、SRAM还是LPDDR？这些架构选择决定了行业需要多少比特以及需要哪种比特。

他还提到，美光从HBM4E开始与客户共同设计定制base die，因此它应该比会上给出的回答更深思熟虑地理解这些趋势。Lyons认为美光确实有答案，只是没有充分表达出来。

文章的第二部分提出了另一个问题——当客户在base die中放入自己的逻辑时，价值归属于谁——但该部分为付费内容，未能读取。

对投资者的启示：评估美光等内存公司时，需要把加速器架构路线图作为需求预测的核心变量，而非仅看HBM出货量或总DRAM位元。架构分化可能使总比特量增长但利润率改善，也可能使总比特量持平但结构变化导致利润下降。这是一个需要持续追踪的机制，而非一次性事件。