普林斯顿与微软研究团队提出AbridgeKV，自报长链推理缓存压缩后H100速度提升3.2倍

普林斯顿大学与微软研究院的研究人员提出了AbridgeKV，一种用于压缩长链思维（Chain-of-Thought）生成过程中KV缓存的方法。该方法不依赖传统的缓存驱逐策略，而是训练模型将每块生成的文本压缩进几个“学习到的暂停标记”（learned pause tokens）的KV条目中。这些暂停标记是带有训练嵌入的额外输入标记，本身不产生输出，但能编码前文信息。一旦完成编码，原始文本块的缓存即被释放，后续标记转而关注这些暂停标记的KV条目。

在包含446道竞赛数学题（来自AIME、HMMT等）的测试中，使用32K token生成长度限制时，AbridgeKV仅保留四分之一的生成缓存即可匹配同等训练条件下全KV模型的准确率和输出长度。相比之下，最强的已发表驱逐方法在相同预算下会导致更长的生成过程，而最接近的训练型压缩器LightThinker则损失了10个百分点的准确率。

在实际部署方面，该研究指出在vLLM服务引擎中，AbridgeKV使每个序列的缓存大小减少了3.5倍，并在饱和的H100 GPU上实现了比全KV模式快3.2倍的单问题完成速度。这一结果基于Qwen3-4B-Base模型在OpenMathReasoning数据集上的微调实验，属于作者自测数据，尚未见独立复现报告。