Agent前缀缓存失效
6 节点1 篇8 来源
在长程Agent工作负载中,前缀缓存失效已成为影响推理效率与稳定性的核心瓶颈。由于Agent每轮交互需重发完整上下文,任何对Prompt前缀(如系统提示、工具定义)的微调都会导致缓存从首个差异Token起全部失效,迫使引擎重新计算整个历史序列。
近期工程实践与研究揭示了该问题的多重面向:
- 架构脆弱性:Ollama与Together AI指出,Harness端动态加载工具或变更Reasoning参数极易破坏缓存前缀;而服务端若无法保证请求路由至同一GPU,缓存亦会丢失。
- 亚稳态故障:多项研究(如NTU、Iowa State大学论文)证实,短暂流量激增可引发“人口-缓存反馈”循环,导致KV池溢出、命中率骤降,即使负载恢复,服务仍可能陷入长期降级状态。
- 集成缺陷:实证研究发现,大量开源Agent框架存在Prompt缓存配置错误(如未正确标记Cache Control),且此类错误往往静默发生,显著推高API成本。
- 优化策略:针对系统提示更新导致的失效,DeepSeek提出
in-history机制,通过追加而非替换旧前缀来保留缓存;另有研究建议通过限制活跃会话KV需求或采用特定恢复策略(如仅重试中断轮次)来降低能耗并避免崩溃。
【背景】Prefix Caching允许LLM复用已计算的Key-Value对,从而跳过重复Prefill阶段。但在Agent场景中,上下文的动态增长与修改使得这一优化变得极其敏感。
事情怎么走到这一步
Ollama与Together AI联合发布博客,详细解析长程Agent会话中前缀缓存失效的常见模式(如工具延迟加载、子Agent继承)及修复路径。
together.ai ↗GitHub Issue #5868报告Magpie Memory因整理会话改写指令文件及不可缓存的Distill请求,导致Prompt缓存频繁未命中。
github.com ↗预印本论文《Bursts That Outlast Themselves》揭示vLLM/SGLang等引擎在Agent负载下因缓存压力引发的亚稳态故障,少量额外请求可导致长达一小时的吞吐量减半。
arxiv.org ↗预印本论文《Repeating Work Can Lower Energy per Successful Goal in LLM Agents》对比不同恢复机制下的能耗,发现保留前缀缓存虽减少86%计算量,但特定场景下重启任务反而比继续执行更节能。
arxiv.org ↗