阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-19 19:34

SlipStream

2 节点1 篇2 来源

【背景】高带宽闪存(HBF)虽能提供比HBM高16倍的容量,但其约20微秒的读取延迟是GPU推理的主要瓶颈。Georgia Tech、NVIDIA Research和斯坦福大学团队提出SlipStream,一种软硬件协同设计的预取器,将LLM推理中的权重预取转化为需求驱动的生产者-消费者流水线。该方案通过仅跟踪4 KB页面并在需求首次访问时释放追踪条目,大幅降低了缓冲开销。在模拟测试中,SlipStream仅需40 MB缓冲即可达到理想HBF性能的92.4%,而此前基于虚拟地址顺序的H3方案即使使用320 MB缓冲也仅能达到43.1%。这一进展表明,通过优化内存访问调度而非单纯增加硬件资源,可显著缓解闪存延迟对AI推理的影响。

事情怎么走到这一步

  1. 2026-11-10

    论文《SlipStream: Enabling HBF for GPU Systems by Mitigating the Latency and SRAM Overheads》提交至arXiv。

    arxiv.org ↗
  2. 2026-11-17

    SemiEngineering等媒体报道SlipStream技术,指出其以40MB缓冲实现92.4%理想性能,远超H3方案。

    semiengineering.com ↗

还没定论的部分

  • SlipStream在实际物理GPU硬件上的部署效果是否与模拟结果一致?
  • 该技术是否已被纳入NVIDIA或其他厂商的下一代GPU架构路线图?

来源

  • semiengineering.comSemiEngineering报道↗
  • arxiv.org
登录 / 注册
阅读研究雷达投资体系
arXiv论文原文
↗

这一专题下的内容

  • SlipStream:需求驱动预取大幅缓解高带宽闪存GPU推理延迟2026-11-17资讯

    Georgia Tech、NVIDIA Research和斯坦福大学团队提出SlipStream,一种软硬件协同设计的预取器,将LLM推理中闪存权重的预取转化为需求驱动的流水线,用40 MB缓冲即可达到理想HBF性能的92.4%,而此前H3方案用320 MB缓冲仅达43.1%。