曾在AMD和英特尔主导HBM加速器开发的Raja Koduri：AI芯片竞争的重心正从算力转向数据搬运

Raja Koduri在SK海力士AI生态系列第四篇中提出了一个判断：AI半导体竞争的重心正在从算力本身转向数据搬运。他曾在2015年参与AMD基于HBM的GPU开发，后在英特尔主导了集成47个芯粒和4组HBM2e堆栈的Ponte Vecchio项目，这些经历让他反复确认一个事实——信号完整性、供电、散热和机械稳定性才是决定实际性能的关键，而不是单颗芯片的浮点运算能力。

他的论证从物理约束出发：一次乘法或加法只需几飞焦耳的能量，但从片外DRAM读取数据可能贵数百甚至上千倍。数据离计算单元越远，时间和能耗代价越高。过去几十年，计算机架构靠缓存来摊薄这个代价——把数据搬到计算单元附近后反复使用，让首次读取的高成本被多次访问分摊。这对传统工作负载很有效。

但Transformer打破了这个假设。模型参数量增长后，权重无法全部留在片上；推理时每个权重在被新数据替换前只被使用有限次数，数据复用率大幅下降，缓存难以充分抵消首次读取的成本。上下文长度增加时，KV缓存按比例膨胀，注意力机制同时增加计算和内存访问。系统不得不反复从DRAM或HBM读取数据。Koduri指出，即便FlashAttention、PagedAttention和推测解码等优化技术减少了数据搬运量，物理上移动数据的成本无法被完全消除。

因此他的结论是：内存正在成为AI架构设计的起点，而不是计算完成后的附属品。HBM通过垂直堆叠和硅通孔把计算与内存的距离从厘米级压缩到毫米级；先进封装和混合键合进一步缩短芯粒间连接；存内计算则把部分运算直接放到数据所在处，对特定工作负载可将能耗降低10到100倍。竞争标准随之改变——不再是谁的芯片算力更高，而是谁能在有限空间内同时满足带宽、能效、可靠性和散热。

Koduri把未来竞争归结为三个问题：数据能放得多近？必须搬运时能多快多高效？取回后能榨出多少计算价值？他承认存内计算面临严峻的热管理挑战——逻辑电路靠近温度敏感的DRAM时散热极为困难，带宽、能效、可靠性和热性能必须在有限空间内同时达成。概念清晰，但做成产品需要内存、计算、封装、散热和软件的系统级协同设计能力。