Koduri内存瓶颈论
3 节点1 篇4 来源
前英特尔首席架构师、现Oxmiq Labs创始人Raja Koduri提出，AI芯片竞争的重心正从算力转向数据搬运。他在SK海力士AI生态系列文章中论证，Transformer架构打破了传统缓存复用假设，使得内存带宽和延迟成为系统性能的关键瓶颈。这一观点在2024年曾引发争议，但随着DRAM价格飙升和SRAM成本下降，其预测的“内存墙”效应正在显现。
【背景】Koduri曾在AMD主导HBM加速器开发，并在苹果和英特尔负责图形架构。他创立的Oxmiq Labs致力于通过3D堆叠混合键合内存技术，解决AI推理中的数据移动效率问题。
【存疑】尽管Koduri认为内存是主要瓶颈，但部分业界人士仍坚持算力优先的观点，且不同工作负载（如大规模训练与小批量推理）对内存的需求差异巨大，尚未形成统一共识。
事情怎么走到这一步
Raja Koduri在社交媒体上警告，若DRAM/SRAM每字节成本比低于5倍，芯片设计将转向SRAM，并因设计周期长导致后续难以回调。
newsletter.bepresearch.com ↗Koduri在TechSurge播客中阐述，AI基础设施瓶颈已从原始算力转移至内存层级，Oxmiq旨在通过高效数据移动提升Token生成速率。
techsurgepodcast.com ↗SK海力士发布Koduri撰写的AI生态系列文章第四篇，详细论证Transformer架构如何使数据搬运能耗和延迟成为AI系统性能的关键瓶颈。
news.skhynix.com ↗
还没定论的部分
- DRAM与SRAM的成本比值是否已稳定在Koduri预测的临界点以下？
- Oxmiq Labs的3D堆叠内存方案能否在量产中实现宣称的10倍带宽提升？
- 随着Agentic AI的发展，内存瓶颈是否会进一步加剧现有GPU架构的局限性？