Ollama与Together AI联合撰文:长程Agent会话的缓存失效,几乎都源于一条前缀匹配规则被违反
Ollama的Parth Sareen与Together AI的Zain Hasan从harness与推理引擎的对立视角,解释前缀缓存为何在Agent工作负载中既关键又脆弱,并给出工具延迟加载、reasoning effort变更、子Agent继承等具体失败模式的修复路径。
Agent每走一步,harness就把整段对话重新发给模型:系统提示、工具定义、用户请求、Agent读过的每个文件、执行过的每条命令。返回的通常只有几十个token的工具调用。这就是Agent工作负载的典型流量模式——输入序列极长,输出极短。如果GPU每轮都要从头处理整段历史,会话越长越慢越贵。
前缀缓存是阻止这种退化的机制,但它的规则极其简单:缓存从prompt开头开始匹配,遇到第一个不同的token就停止,之后的内容全部重新处理。向prompt末尾追加新内容不产生额外代价;改变前面任何一个字符,哪怕只有一个,它之后的所有内容都要重算。如果改动出现在最顶部,等于把整段会话作废。Ollama的Parth Sareen与Together AI的Zain Hasan在联合撰文中指出,几乎所有Agent缓存问题都从这条规则推导而来。
harness侧最容易犯的错误是把每轮都变的内容放进系统提示。时间戳、git状态、Agent正在切换的工作目录——如果harness每轮重新渲染系统提示,每轮都是一次完整重读。修复方式是把这类信息放进任务消息,只写一次,让系统提示在所有会话中保持完全一致。
一个更隐蔽的例子来自GLM-5.3-Flash:reasoning effort不是一个引擎侧独立处理的设置,chat template把它写进最开头的系统块,排在工具和对话之前。当用户把effort从low调到high,下一个请求几乎从第一个token就与上一个不同,整段会话重新处理。在长任务中,这等于为改一个设置花费了数十万token。作者的建议是选定effort后不再更改;如果确实需要更多思考,开一个新会话比继续旧会话更便宜,还能得到干净的上下文。
工具延迟加载是另一个harness侧决策。新式harness支持Agent在运行时搜索并加载工具定义。如果把新定义加到工具列表里——工具列表位于prompt顶部、对话之前——前缀就变了,后面全部重算。更好的做法是把定义放在末尾,因为新内容本来就在末尾追加。但并非所有模型都支持在对话中途插入工具定义,有些chat template会直接报错。harness开发者需要知道这一点,用户不需要。
大工具结果同样有讲究。Agent读了640行文件,工具只返回前100行却不说明截断,模型不知道它缺了东西,会自信地编辑从未见过的代码。修复只需一行输出:告诉模型它拿到的是第1到100行共640行,可以搜索或请求其他范围。截断省token是对的,但不加说明地截断会让模型犯更昂贵的错误。
子Agent的启动方式决定它能复用多少父会话缓存。继承整个父会话(系统提示、工具、对话历史加上新任务)意味着前缀已经缓存,处理成本低;发一份简报(相同系统提示和工具,只给需要的文件和指令)意味着缓存只覆盖setup部分。继承听起来严格更好,但缓存前缀是便宜不是免费——子Agent生成的每个token仍要读取它,且全程占用GPU内存。一个只需要两个文件和一份清单的reviewer,大概率不需要三百轮历史。
引擎侧的责任是让缓存在下一轮请求到达时仍然存在,并且请求被路由到持有缓存的那台机器。Together AI描述了两条路由路径:客户端发送prompt_cache_key,相同key路由到相同节点;或者对前缀做哈希,发送到拥有最长匹配前缀的节点。后者是系统提示必须跨会话保持一致的另一个原因——如果每个新会话以完全相同的系统提示和工具定义开头,新会话可能直接命中已有缓存。
但路由不是无条件送暖节点。暖节点可能过载,此时排队等待与去空闲节点重新处理前缀之间需要权衡。作者明确指出,在load-aware routing范式下,缓存未命中有时反而是更划算的选择。这意味着即使prompt完美稳定,也不保证缓存命中——引擎侧的实现质量同样是约束。
缓存的存活时间也是问题。Agent发出工具调用后可能等几分钟跑测试。把这段空闲的缓存留在GPU内存里占着活跃用户需要的空间;扔掉它则Agent回来时要重读一切。Together AI的做法是把空闲会话的缓存卸载到CPU内存,下一轮再恢复。
把两侧合在一起看:harness决定第一次变化落在哪里,引擎决定缓存是否还在。任何一侧单独做对都不够。harness把prompt保持完美稳定,引擎把第7轮发到错误的机器,缓存照样丢。引擎路由完美,harness每轮改第一行,缓存照样丢。Agent用户在第90轮看到的速度,取决于两侧同时遵守那条前缀匹配规则。