LectureRechercheRadarCadre d'investissement
Connexion / Inscription
← Retour à la lecture
SujetRédaction DisconfirmAIMis à jour 2026-11-19 19:34

SlipStream

2 étapes1 pièces2 Sources

【背景】高带宽闪存(HBF)虽能提供比HBM高16倍的容量,但其约20微秒的读取延迟是GPU推理的主要瓶颈。Georgia Tech、NVIDIA Research和斯坦福大学团队提出SlipStream,一种软硬件协同设计的预取器,将LLM推理中的权重预取转化为需求驱动的生产者-消费者流水线。该方案通过仅跟踪4 KB页面并在需求首次访问时释放追踪条目,大幅降低了缓冲开销。在模拟测试中,SlipStream仅需40 MB缓冲即可达到理想HBF性能的92.4%,而此前基于虚拟地址顺序的H3方案即使使用320 MB缓冲也仅能达到43.1%。这一进展表明,通过优化内存访问调度而非单纯增加硬件资源,可显著缓解闪存延迟对AI推理的影响。

Comment on en est arrivé là

  1. 2026-11-10

    论文《SlipStream: Enabling HBF for GPU Systems by Mitigating the Latency and SRAM Overheads》提交至arXiv。

    arxiv.org ↗
  2. 2026-11-17

    SemiEngineering等媒体报道SlipStream技术,指出其以40MB缓冲实现92.4%理想性能,远超H3方案。

    semiengineering.com ↗

Ce qui reste non résolu

  • SlipStream在实际物理GPU硬件上的部署效果是否与模拟结果一致?
  • 该技术是否已被纳入NVIDIA或其他厂商的下一代GPU架构路线图?

Sources

  • semiengineering.comSemiEngineering报道↗
Connexion / Inscription
LectureRechercheRadarCadre d'investissement
arxiv.org
arXiv论文原文
↗

Couverture dans ce sujet

  • SlipStream: Demand-Driven Prefetching Significantly Mitigates High-Bandwidth Flash GPU Inference Latency2026-11-17Actualités

    A team from Georgia Tech, NVIDIA Research, and Stanford University has proposed SlipStream, a software-hardware co-designed prefetcher that transforms the prefetching of flash weights in LLM inference into a demand-driven pipeline. Using a 40 MB buffer, it achieves 92.4% of ideal HBF performance, whereas the previous H3 solution reached only 43.1% with a 320 MB buffer.