资讯1 分钟阅读2026-09-18

Fathom按查询自适应读K缓存，解码步快1.67倍

Fathom让每查询自适应决定读取4位K缓存的位数，Qwen3-8B百万token解码步GPU耗时较136位稀疏扫描快1.67倍，作者自报

重要性局部证据E2 未复现

百万token场景下，每个查询现在可以自适应决定读取4位K缓存的位数：作者自报Qwen3-8B解码步GPU耗时较136位稀疏扫描快1.67倍，此时KV缓存与索引驻留主机内存。

此前稀疏扫描按固定位数读取K缓存，无法随查询调整读取量。

该对比由作者自测：计时用合成KV，真实编程代理会话中92位即匹配最准扫描的步一致性；索引在GPU内存时无加速。

单作者arXiv预印本（2609.17652），9月15日提交、17日更新v2，未经独立验证。

来源