LLM推理内存优化

大语言模型（LLM）的长链推理正面临严峻的内存瓶颈：随着生成令牌数量增加，键值缓存（KV Cache）线性增长，导致显存耗尽或带宽受限。【背景】传统方法如稀疏注意力主要解决计算量，而近期研究转向通过算法压缩、分层卸载及异构硬件协同来突破容量与带宽限制。

普林斯顿大学与微软研究院提出AbridgeKV，通过训练“暂停标记”将长推理块压缩至KV缓存中，在保持准确率的同时实现H100上3.2倍的速度提升。与此同时，SemiAnalysis播客指出，HiCache等方案通过将KV缓存卸载至低带宽高容量存储来缓解压力，强调稀疏注意力更多是解决带宽而非容量问题。此外，UCLA团队发现内存处理占推理延迟的22%-97%，并提出利用GPU-FPGA异构系统加速这一过程，最高可实现2.2倍提速。这些进展表明，单一的软件优化已不足够，算法与硬件的协同设计成为关键方向。