智能体上下文重发成本

AI智能体在生产环境中的成本失控并非源于模型推理本身，而是“上下文重发”机制导致的隐性开销。当智能体执行多步任务时，每次调用都会将累积的历史对话、系统提示词和工具定义重新发送给大模型。这种模式使得输入Token消耗随步骤数呈二次方增长，而非线性增加。

【背景】据2026年5月的行业审计显示，在典型的编码代理会话中，高达62%的费用用于重复发送上下文，仅11%用于实际推理输出。例如，一个50步的智能体循环可能产生相当于单次聊天30倍以上的成本。尽管Anthropic等厂商提供前缀缓存技术可将静态内容读取成本降低90%，但若未优化提示词结构或并行策略，缓存命中率往往极低。

目前业界共识在于通过架构优化而非单纯更换模型来控费：包括实施意图路由以分流简单请求、采用分层模型策略（如用轻量模型处理分类，旗舰模型处理复杂推理）以及严格限制最大迭代步数。然而，关于记忆系统（Memory Systems）是否真能比全量重发更经济尚无定论，最新基准测试表明其内部管道开销可能导致成本预测偏差达18%-69%。