AI云公司CoreWeave博客：智能体生产成本的真正驱动是循环重发上下文，架构选择比模型选择影响更大

大多数团队能让一个智能体完成一次任务。让同一个智能体在第100次相同请求上完成该任务、以可预测的成本、在失败时留下可读的追踪记录——这是完全不同的工程问题。Weights & Biases by CoreWeave博客作者Shreyan Basu Ray在2026年7月发表的一篇长文中，将这一差距的核心机制归结为一句话：成本驱动因素是循环每次迭代重发累积上下文。

具体而言，一个十步智能体并不做十次小调用，而是做十次越来越大的调用。系统提示、工具schema、对话历史、每一步的工具返回结果全部在每次迭代中重新发送。Anthropic报告的数据给出了形状：智能体交互的token用量约为聊天交互的4倍，多智能体系统约为15倍。智能体工作负载的输入输出token比经常达到100:1甚至更差，这意味着智能体成本是一个输入token问题，而非输出token问题——基于聊天定价的直觉会差一个数量级。

文章用一个客服工单分诊智能体的具体算例展示了机制：假设6000 token系统提示加工具schema、8步、每步增加约1500 token的工具结果和推理、每步300输出token，一次运行总计约90000输入token和2400输出token。按代表性前沿定价（输入每百万3美元、输出每百万15美元），约0.31美元每任务。对比同一系统提示的单次分类调用约0.02美元，智能体贵了约14倍，而全部差异来自跨轮次重发的上下文。

如果将稳定的系统提示做缓存（典型缓存读取率为基础输入的十分之一），同一运行降至约0.18美元，约42%的降幅。在每月10万次任务的规模下，仅这一项变更价值约13000美元。一项跨三家主要提供商在多轮研究基准上的系统评估发现，提示缓存将API成本降低41%至80%，首token时间改善13%至31%，且节省随提示规模增长，在50000 token提示时接近90%。

但文章强调一个反直觉发现：朴素的全文缓存不是最优策略。仅缓存稳定系统提示在成本和延迟上一致性最好，因为全文缓存会为永远不会被复用的动态工具调用和结果触发缓存写入，增加开销而无对应读取。在一个模型上，全文缓存导致约9%的延迟回退，而仅系统提示缓存改善了约31%的延迟。实践规则因此非常具体：保持可缓存前缀稳定，不要在系统提示开头放时间戳、会话标识符或用户特定字符串，因为开头一个不同的token就会使整个前缀失效。

架构选择对成本的影响远大于模型选择。文章指出已发表证据中最强的架构级节省是模型分层编排：贵模型规划和委派，便宜模型执行。Anthropic在其多智能体文档中报告，在BrowseComp基准上，一个编排模型委派给更便宜的工作子智能体达到了全前沿配置96%的性能，成本仅为46%——具体为86.8%准确率每问题18.53美元，对比90.8%准确率每问题40.56美元。机制很简单：编排者只看计划和摘要，而工作智能体以更低费率吸收大量token密集型的读写。

这一节省成立有两个条件：工作智能体不能真正需要前沿推理来完成其子任务，否则你会通过重试付两次钱；重复调用应落在同一个工作智能体上，使每个保持自己的热缓存而非重新为共享上下文付全价。

比成本更隐蔽的问题是成功率的诚实测量。τ-bench引入了pass^k——同一任务k次独立尝试全部成功的比例。结果令人清醒：一个在单次尝试中解决超过60%零售任务的智能体，在要求八次全部成功时降至约25%。一个看起来像60%表现的系统，诚实测量下接近四分之一。如果智能体面对真实用户，第100次相同请求比第一次更重要。

MAST多智能体系统失败分类法基于七套框架超过1600条标注执行轨迹的分析，识别出14种失败模式。约40%属于规范与系统设计问题，约三分之一属于智能体间对齐失败，其余属于验证失败。作者明确指出基础模型能力提升不足以覆盖整个分类体系——等待下一代模型来修复可靠性，证据表明那将是一段漫长的等待，因为缺陷在系统设计本身。

这种成本结构直接改写了推理基础设施的优先级。在输入输出比约100:1的工作负载中，GPU时间的大头花在处理输入而非生成输出——瓶颈是上下文，不是生成。KV缓存命中率因此从调优细节升格为一等运维指标，因为高命中率直接消除主导成本。