分块KV压缩技术
3 steps1 pieces5 Sources
字节跳动Seed团队最新研究揭示，采用分块KV Cache压缩技术的模型（如DeepSeek V4系列）存在“相位敏感性”缺陷：Token在压缩段内的绝对位置决定其信息能否被保留。实验显示，同一问题因输入前缀长度微调（如增加空格），模型准确率可在不同“相位”间波动高达40个百分点。该现象源于固定步长压缩引入的结构性盲区，非调参或后训练可根除。业界正探索动态分块、语义保留压缩（如ChunkKV）及恢复缓存（RestoreKV）等方案以解决此瓶颈。
How it got here
字节跳动Seed团队提交论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》，指出DeepSeek V4等模型因分块压缩导致检索准确率随Token位置周期性波动。
alphaxiv.org ↗雷峰网报道该发现，称其为DeepSeek的“隐藏Bug”，举例说明添加装饰性空格会导致代码补全结果从正确变为错误，且错误率与压缩步长相关。
leiphone.com ↗字节研究进一步确认，即使将DeepSeek-V4.1-Flash的压缩步长减半，相位敏感性差距虽缩小至6.1%，但仍未完全消除；从头训练的Qwen3基线模型复现了该现象。
leiphone.com ↗
What is still unsettled
- 动态分块技术（如ChunkKV）能否在不显著增加硬件开销的前提下，彻底解决固定步长带来的相位敏感性问题？
- 主流大模型厂商是否会调整KV Cache压缩策略，或转向更复杂的稀疏注意力机制以规避此类结构性缺陷？
- 现有的平均基准测试分数是否普遍掩盖了其他采用类似压缩技术模型的潜在位置依赖性风险？