AWS应用AI负责人Colleen Aubrey：别为AI发明新指标，用你已有的业务指标衡量它

Colleen Aubrey在亚马逊工作超过二十年，曾为数百万卖家和广告主构建面向客户的产品。2026年，她以AWS应用AI解决方案高级副总裁的身份，提出了一个对企业AI实践相当直接的建议：停止发明新的AI指标。

她的核心论点是，衡量AI是否成功不需要一套全新的度量体系。

我担心人们开始试图发明新指标来衡量AI的影响，但其实是同一套指标，她解释道，重要的是你的业务指标。

这句话听起来简单，但它指向一个普遍存在的实践问题：许多企业投入AI后，会搭建token消耗仪表盘、提示词使用频率统计、模型调用次数追踪等AI专项指标，然后发现这些数字上升了，但业务结果纹丝不动。

Aubrey给出的证明点是Wells Vehicle Electronics。据AWS报告，该公司在三个月内将库存削减了7%，同时把主动监控的SKU数量从20个扩展到2000个。她强调，Wells没有人谈论token，他们谈论的是营运资金。如果一个项目无法与首席财务官已经在追踪的指标挂钩，那它就是一个实验，不是一项投资。

这个区分在实践中意味着什么？Aubrey建议，在任何AI项目获得资金之前，先把它绑定到一个公司已经在追踪的业务指标上——库存水平、问题解决率、招聘周期时间、生产周期——并设定基线。如果在定义的时间窗口内这个指标没有变化，项目就不应该扩大，无论演示多么令人印象深刻。

她的论证还涉及一个更深层的机制：AI通常不会消除瓶颈，而是移动瓶颈。亚马逊内部的经验是，当AI编码工具被广泛部署后，团队首先发现的是测试覆盖率不足，修好测试后发现流水线有问题，修好流水线后又发现手动审批环节拖慢部署。Aubrey团队今年的结果是推送生产环境的速率翻了一倍，但她明确指出，这个速度提升不是来自编码助手本身，而是来自修复助手暴露的所有下游问题。

这对企业采购AI工具的含义是：如果只买工具而跳过管道修复，活动量会上升但产出会持平。她建议预算中要预留下游修复的资金和人力，而不是六个月后才发现新的约束。

Aubrey还提出了一个产品策略层面的教训：功能对等是一个陷阱。她接手AWS供应链产品时，团队正在构建五个模块试图追赶已有数十年先发优势的ERP供应商。她重启该产品为Connect Decisions时，问了一个不同的问题：痛点最尖锐的地方在哪里，现有工具最薄弱的地方在哪里？答案是计划员——他们整天在救火，被大量信号淹没，等到他们做出决定时时机已经过了。这个选一个楔子而不是一个平台的原则，被她视为企业AI项目从试点模式走出来的关键。一个狭窄的、痛苦的问题能带来快速胜利、清晰的指标和可信的扩展基础。试图一次性重新想象整个职能的项目往往会停滞。

需要指出的是，Wells Vehicle Electronics的数据来自AWS的转述，没有独立验证。Aubrey自己的叙述也表明，亚马逊内部AI带来的实际生产力提升很大程度上来自基础设施修复而非AI工具本身，这使得将结果归因于AI投资这一单一变量变得复杂。她的建议更适合作为一个评估纪律——用已有指标检验项目是否真正改变了业务——而非一个因果证明。