SlipStream
2 节点1 篇2 来源
【背景】高带宽闪存(HBF)虽能提供比HBM高16倍的容量,但其约20微秒的读取延迟是GPU推理的主要瓶颈。Georgia Tech、NVIDIA Research和斯坦福大学团队提出SlipStream,一种软硬件协同设计的预取器,将LLM推理中的权重预取转化为需求驱动的生产者-消费者流水线。该方案通过仅跟踪4 KB页面并在需求首次访问时释放追踪条目,大幅降低了缓冲开销。在模拟测试中,SlipStream仅需40 MB缓冲即可达到理想HBF性能的92.4%,而此前基于虚拟地址顺序的H3方案即使使用320 MB缓冲也仅能达到43.1%。这一进展表明,通过优化内存访问调度而非单纯增加硬件资源,可显著缓解闪存延迟对AI推理的影响。
事情怎么走到这一步
论文《SlipStream: Enabling HBF for GPU Systems by Mitigating the Latency and SRAM Overheads》提交至arXiv。
arxiv.org ↗SemiEngineering等媒体报道SlipStream技术,指出其以40MB缓冲实现92.4%理想性能,远超H3方案。
semiengineering.com ↗
还没定论的部分
- SlipStream在实际物理GPU硬件上的部署效果是否与模拟结果一致?
- 该技术是否已被纳入NVIDIA或其他厂商的下一代GPU架构路线图?