Snowflake:提示次数相同的两个组织,AI做的事可能完全不同
Snowflake三位作者提出四维框架,将AI采用率与AI熟练度分开度量,并用自家数据科学团队和营销团队的内部实践说明:只有跟踪AI实际承接的工作层级,才能判断它是否真正改变了产出。
一家公司每周记录一千次AI交互,另一家也记录一千次。前者大多数交互是问AI解释一段代码或查一个概念,后者有人在用AI搭建数据管道、排查异常、运行多步骤工作流。大多数企业AI看板会把这两家公司打同样的分数。
Snowflake产品营销Siddharth Dwivedi、数据科学家Zachary Blackwood和产品经理Swati Humbad在10月23日的博客中提出了一个四维框架,试图回答一个关键问题:AI是否真正在驱动有意义的工作产出。
框架的第一步是按AI实际承接的工作层级分类:基础层是解释代码、回答问题;应用开发层是写代码、排错、建报表;智能体层是多步骤流程,AI跨上下文推理、调用工具、完成一个结果而不只是回答一个问题。作者指出,如果AI真的在创造产能,节省的时间应该体现在智能体层。
第二步是把采用率和熟练度分开。采用率衡量AI在目标人群中铺开了多广,熟练度衡量人们交给AI的工作有多复杂。两个维度交叉出四种位置:高采用低熟练、低采用高熟练、两者都高、两者都低。第三步用行业基准给数字一个参照系——软件公司和受监管的保险公司不能共用同一条线。第四步看最先进用户和其余人之间的差距,把少数人的有效工作流当作路线图。
作者给出了四种把个人经验扩散到团队的具体做法:让已经拿到结果的人带实操工作坊而不是只做演示,检验标准是一个月后周使用量是否还在;把成功的工作流写成同事能直接运行的配方和模板,检验标准是下一个人执行时不需要再问作者;定期做包含失败环节的分享会,因为失败比成功更能告诉别人哪些问题值得尝试;让工作流库可搜索,否则发现成本取代创建成本成为瓶颈。
框架应用在他们自己的两个团队上。数据科学团队运行数千条数据管道,FY27第一季度需要处理960次管道异常,每次诊断约需一名熟练工程师30分钟,折合每月约160小时专家时间。团队此前已经积累了一份经过数百次事故打磨的诊断手册,足够让新人按步骤解决问题。他们把手册交给CoCo,由告警触发而不是由人敲键盘触发,同样的步骤、同样的标准,只是运行时间从团队排班变成了事故节奏。在这两个季度中,CoCo改进了超过500条管道,生成了超过100个已合并的PR,将事故到可审查修复的时间压到16分钟以内。
营销团队提供了另一个方向的证据。Snowflake全球营销组织近600人,2025年2月内部调研显示只有11.6%的北美营销人员对自己的AI使用能力感到很有信心。到2026年5月,全球营销团队的CoCo周使用率达到70%,93%的人自报每天使用AI工具。作者特别注明前者是观察到的行为、后者是自报,所以优先引用前者。营销人员具体建了什么:一个动效导出流程把一周的Summit准备工作压缩到20分钟;一个赢单/败单报告应用把每月三小时候选人识别加一周的季度汇报材料工作自动化了约90%;一个入站自动化引擎每天处理2000到3000封全球营销邮件回复,无需人工介入,替代了原计划采购的软件。
作者承认的边界:所有数字来自Snowflake内部对自家产品CoCo的使用记录;基准测试data-eng-bench是Snowflake AI Research自建、自测、自选对比对象的厂商结果;提案被接受与提出的比率尚未公布,因为团队正在加装这个度量;他们仍在摸索这套模式适用于哪些场景。框架的前提是组织已经有一份文档化的方法,而不是某种特定技术。
回到开头那两家公司的对比:差异从来不在交互次数,而在于一家把文档化的方法推进了智能体层,另一家没有——只有按工作层级度量才能看到这一点。
作者最后建议:挑一个团队已经在跑的、可重复的、有文档的流程,先量一下它今天花多少钱和时间,再决定要不要把它交给智能体。