资讯专题 · 分块KV压缩技术实质变化1 分钟阅读DisconfirmAI 编辑部

字节研究：分块KV压缩让token位置决定信息能否被读到

字节团队论文发现，DeepSeek V4等采用分块KV Cache压缩的模型存在相位敏感性问题：token在压缩段内的位置决定其信息能否被保留

2026-10-10 19:40

同一个问题问DeepSeek两次，只是多敲了几个空格，答案可能一个正确一个完全错误。字节团队9月底发布的论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》揭示了这一现象的底层原因：分块KV Cache压缩技术在减轻显存压力的同时引入了相位敏感性：token在压缩段内的位置决定其能否被模型读到

来源

leiphone.com

专题

分块KV压缩技术

字节跳动Seed团队最新研究揭示，采用分块KV Cache压缩技术的模型（如DeepSeek V4系列）存在“相位敏感性”缺陷：Token在压缩段内的绝对位置决定其信息能否被保留。实验显示，同一问题因输入前缀长度微调（如增加空格），模型准确…

3 节点1 篇更新于 2026-10-25 18:42

事情怎么走到这一步

2026-09-28字节跳动Seed团队提交论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》，指出DeepSeek V4等模型因分块压缩导致检索准确率随Token位置周期性波动。alphaxiv.org ↗
2026-10-10雷峰网报道该发现，称其为DeepSeek的“隐藏Bug”，举例说明添加装饰性空格会导致代码补全结果从正确变为错误，且错误率与压缩步长相关。

来源

还没定论的部分