资讯1 分钟阅读·
TaSQ提升1-bit缓存吞吐
新算法在单卡上将1-bit KV缓存批次扩大14倍，吞吐提升近一倍。
重要性局部证据E2 未复现写法快讯
TaSQ算法在RTX 6000 Ada GPU上实现14倍批次大小和1.87倍峰值吞吐。
该研究针对长上下文LLM推理中的KV缓存内存瓶颈，提出定制向量量化目标空间的方法。通过查询引导通道加权等技术，它在1-bit极端压缩下保持了推理稳定性。
作者称其SGLang实现相比BF16基线有显著性能增益。目前仅为预印本自报结果，尚未见第三方独立复现验证。