埃森哲与亚马逊云科技提出AI token成本三阶段优化序列,四家客户实测降幅40%至85%
企业规模化部署AI后,单token价格下降但总支出反而上升。本文梳理埃森哲与亚马逊云科技联合提出的六项token成本优化杠杆,按配置变更、架构变更和基础设施投入三个阶段排序,并报告四家客户的实测结果:仅用单一缓存层的保险和采矿客户降幅约40%,组合应用多项杠杆的大型企业和电信客户分别达到85%和68%。核心主张是优化目标不是最小化token,而是为每个业务结果匹配适当程度的智能。
企业规模化部署AI后常遇到一个反直觉现象:单token价格在下降,总token支出却在上升。原因是更便宜的token刺激了更多采用,而agentic工作流将一次用户交互拆成多次模型调用。亚马逊云科技与埃森哲联合发布的这篇实践文章指出,面对这种情况,正确的优化目标不是不惜代价减少token数量,而是为每个业务结果匹配适当程度的智能——在成本、质量和风险之间找到对应点。
文章将六项优化杠杆按实施复杂度分为三个阶段。第一阶段是纯配置变更,不需要改动基础设施:prompt caching复用重复的系统指令和工具定义,设计目标是将缓存输入token成本降低最多90%;batch inference将非紧急任务异步批处理,成本比按需调用低50%。第二阶段涉及架构变更:intelligent prompt routing将请求分配到同一模型家族内不同规模的模型,据称可在不牺牲准确率的前提下降低最多30%成本;RAG优化通过分层分块、元数据过滤和重排序减少进入模型的无关上下文。第三阶段需要基础设施和训练投入:semantic caching用向量存储缓存语义相似的已回答请求;model distillation将大模型知识迁移到小模型,据称速度提升最多500%、成本降低最多75%。
这个排序背后的逻辑是依赖关系。文章强调,在应用任何杠杆之前,必须先建立成本归因——通过Amazon Bedrock application inference profiles按团队、工作负载和agent打标签,再用CUR 2.0和模型调用日志追踪消费来源。没有归因,就无法判断优化是否有效,也无法区分一张不断增长的账单究竟反映的是业务规模扩大带来的成功,还是纯粹浪费。埃森哲为此提出了Cost per Business Transaction框架,将一次成功业务输出背后的所有模型调用、重试、工具调用和agent交接聚合为单一全成本数字,把技术层面的token消耗翻译成业务负责人能直接使用的指标。
四家客户的实测结果印证了序列逻辑。一家大型企业此前所有请求都走前沿模型,没有任何缓存、分层或批处理;埃森哲同时应用模型分层、prompt caching和batch processing,月度token成本下降85%。一家电信运营商年token支出1200万美元,主要浪费来自agent无限制扇出和所有请求不分复杂度一律走前沿模型;埃森哲组合应用triage routing、semantic caching和context compression后,年支出降至380万美元,降幅68%。保险客户和采矿客户各自只应用了单一缓存层——前者用模型层prefix caching,后者用应用层semantic cache——两者合计token支出下降约40%,没有涉及模型路由变更或训练投入。
文章建议的操作顺序是:先连接消费与负责人和业务结果,再每次对一个工作负载应用一项杠杆,测量成本、质量和业务价值,在有效的基础上继续推进。对于受监管行业(金融服务、保险、医疗),质量测试结果和回滚程序应纳入标准变更管理记录。