LesenForschungRadarAnlageframework
Anmelden / Registrieren
← Zurück zur Lektüre
ThemaDisconfirmAI RedaktionAktualisiert 2026-10-22 01:57

Koduri内存瓶颈论

3 Schritte1 Beiträge4 Quellen

前英特尔首席架构师、现Oxmiq Labs创始人Raja Koduri提出,AI芯片竞争的重心正从算力转向数据搬运。他在SK海力士AI生态系列文章中论证,Transformer架构打破了传统缓存复用假设,使得内存带宽和延迟成为系统性能的关键瓶颈。这一观点在2024年曾引发争议,但随着DRAM价格飙升和SRAM成本下降,其预测的“内存墙”效应正在显现。

【背景】Koduri曾在AMD主导HBM加速器开发,并在苹果和英特尔负责图形架构。他创立的Oxmiq Labs致力于通过3D堆叠混合键合内存技术,解决AI推理中的数据移动效率问题。

【存疑】尽管Koduri认为内存是主要瓶颈,但部分业界人士仍坚持算力优先的观点,且不同工作负载(如大规模训练与小批量推理)对内存的需求差异巨大,尚未形成统一共识。

Wie es dazu kam

  1. 2024-02-17

    Raja Koduri在社交媒体上警告,若DRAM/SRAM每字节成本比低于5倍,芯片设计将转向SRAM,并因设计周期长导致后续难以回调。

    newsletter.bepresearch.com ↗
  2. 2026-09-29

    Koduri在TechSurge播客中阐述,AI基础设施瓶颈已从原始算力转移至内存层级,Oxmiq旨在通过高效数据移动提升Token生成速率。

    techsurgepodcast.com ↗
  3. 2026-10-21

    SK海力士发布Koduri撰写的AI生态系列文章第四篇,详细论证Transformer架构如何使数据搬运能耗和延迟成为AI系统性能的关键瓶颈。

    news.skhynix.com ↗

Was noch ungeklärt ist

  • DRAM与SRAM的成本比值是否已稳定在Koduri预测的临界点以下?
  • Oxmiq Labs的3D堆叠内存方案能否在量产中实现宣称的10倍带宽提升?
  • 随着Agentic AI的发展,内存瓶颈是否会进一步加剧现有GPU架构的局限性?

Quellen

Anmelden / Registrieren
LesenForschungRadarAnlageframework
news.skhynix.com
SK海力士AI生态系列文章
↗
  • techsurgepodcast.comTechSurge播客访谈↗
  • newsletter.bepresearch.comBEP Research分析文章↗
  • arxiv.orgUC Berkeley关于AI内存墙的论文↗
  • Abdeckung in diesem Thema

    • Raja Koduri, Who Led HBM Accelerator Development at AMD and Intel: AI Chip Competition Is Shifting from Compute to Data Movement2026-10-21News

      In SK Hynix's AI Ecosystem series, Raja Koduri—who led HBM accelerator development at AMD and Intel—argues that transformer architectures have undermined the caching assumption, gradually making the energy and latency costs of data movement a key bottleneck for AI system performance. Memory placement is therefore becoming the starting point of chip design.