阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

AWS 团队自测:三种策略将 AgentCore 智能体大 JSON 负载的 token 消耗最多降低 71%

AWS 工程团队在为航班运营平台 Flightscape 构建机组排班优化智能体时,面对 40 多个工具和兆字节级 JSON 输入,平均延迟超过 15 秒。他们依次引入三种可组合策略——将重载荷卸载至 S3 并只持久化引用、对超大列表结果按需分页、对超大字典输出用结构描述符替代——在 23 MB 代表性负载的自测中,token 消耗最多降低 71%、平均延迟最多降低 80%。

2026-11-18 06:44

当生产智能体拥有几十个工具、每次调用都返回完整结构化数据时,上下文窗口会在几轮对话内被填满。AWS 工程团队在为航班运营平台 Flightscape 构建机组排班优化智能体时遇到了这个问题:40 多个工具、兆字节级 JSON 输入,平均请求延迟超过 15 秒,某些单次工具响应超过 80,000 token。每一次工具调用都把完整载荷注入模型上下文,多轮对话中压力不断叠加,成本上升而响应质量下降。

他们的第一个发现是:瓶颈首先出现在持久化层。原始设计中,优化请求 JSON、响应 JSON、验证报告等重载荷直接存入会话状态,每一轮对话都要序列化这些对象。团队将重载荷移至 Amazon S3,AgentCore memory 只持久化轻量引用(S3 键名)。引用通过内容寻址生成——对 JSON 做规范化序列化后取 SHA-256 摘要——使写入幂等:相同载荷映射到相同键,未变化的请求在下一轮直接复用已有对象,不重复上传。

解决持久化层之后,瓶颈转移到工具响应。即使会话状态已轻量化,工具返回的完整列表仍然逐字注入模型上下文。团队引入按需分页:当工具结果超过采样阈值时,完整列表存入 S3,模型只收到一个紧凑摘要(总条数、前几条样本、结果句柄)。需要更多细节时,模型调用分页工具按 offset 和 limit 取回所需切片。

但并非所有超大输出都是列表。有些工具返回深层嵌套的字典,包含大量标量值和嵌套结构,逐字保留代价太高,但完全丢弃又会让模型失去推理线索。团队为字典输出设计了描述符压缩:列表字段只保留类型、计数和前五条样本,嵌套字典只保留键数量,标量值在有用时内联保留。完整载荷仍存入 S3,模型通过句柄按需取回。

三种策略可组合:策略一在每轮开始和结束时运行,策略二和三在每次工具返回结果时运行。在 5 轮对话的基准测试中,团队报告总 token 用量从约 289,500 降至约 82,900(降幅约 71%),平均追踪延迟从 15.4 秒降至 3.1 秒(降幅近 80%)。在 100 个样本问题上,总 token 从 2360 万降至 850 万(64%),平均延迟从 7,930 毫秒降至 2,461 毫秒(69%)。最重的单次查询(列出所有验证类别的有效机组)输入 token 从约 32,000 降至约 8,000,延迟从约 165 秒降至 9.9 秒。

需要指出的是,以上数字均为 AWS/Flightscape 团队在特定工作负载上的自测结果:23 MB 的航班机组排班 JSON、40 多个工具、LangGraph 编排、Amazon Bedrock 模型推理。文章未公开基线配置的具体模型版本和推理参数,也未量化分页工具调用次数增加对端到端延迟的影响。对于工具数量更少、载荷形态不同或模型推理配置不同的智能体,实际收益需要各自验证。核心可迁移的认识是:大 JSON 负载的上下文压力不是一次性解决的,而是随着每层优化依次暴露新瓶颈,需要逐层叠加对应的压缩或卸载策略。

来源

登录 / 注册
阅读研究雷达投资体系
aws.amazon.com
Amazon Web Services
↗
带入研究 →