Airbnb 用每任务成本选择编码模型,但评估分数为何预测不了生产花费
Airbnb 工程团队公开了其编码代理的模型选择方法:在自有任务上运行评估,记录每个模型和推理档位的得分与每任务成本,据此设定默认模型和推理上限。但一次上线后,评估表现良好的模型在生产中的周均花费数倍于前代——因为用户开始使用更长的自主会话,缓存上下文成为主要成本来源。该案例揭示了评估与生产之间的行为鸿沟及其诊断路径。
Airbnb 内部有两款编码代理工具:AirChat 运行在工程师的个人云开发机上,AirChat Remote 则在独立的云工作空间中运行云端代理,工程师可以交出一个任务后去做别的事。两条路径都经过 Airbnb 的大语言模型网关到达 Amazon Bedrock。每周有数千名工程师和工程相关岗位的人使用这些工具。问题在于,大约五周内发布了八个新模型,到十月中旬,约三分之二的编码代理请求已经流向这些新模型。每次发布都可能同时改变输出 token 数量、成本、延迟和容量,而发布时附带的基准测试图表并不能展示模型如何处理 Airbnb 工程师的实际工作。
他们的做法是并行运行两套系统。上线前,在自有任务上运行评估,测量每个模型和每个推理档位的得分与每任务成本。每任务成本定义为代理完成一个任务所消耗的全部 token 的列表价成本。Bedrock 对每个请求报告四种 token:未缓存输入、缓存读取、缓存写入和输出。评估中,他们对每个请求的四种 token 全部计价,然后累加任务内所有请求。推理档位同时改变得分和成本:在一个模型上,从低档位移到高档位,得分提高了 0.8 分,但每任务成本变为 2.5 倍。他们用这些结果设定每个模型的默认档位和推理上限,上限由网关强制执行。
上线后,生产可观测性显示实际发生了什么。一个被他们称为模型 A 的编码模型,在评估中得分比此前最好的模型高出三分以上,每任务成本大致相同,同一个评分器为所有模型打分。他们上线了它,将推理上限设为高档,要求工程师在日常工作中使用低档或中档。几周后,他们按列表价核算模型 A 的生产用量,发现每个用户的周均花费是前代模型的数倍。每个请求的成本约为三倍,平均每个用户发送的请求数也约为三倍。
偏差的机制在于行为改变。输出 token 只占一个请求成本的十分之一,大部分成本来自缓存上下文——模型在每个请求中重新读取的内容。模型 A 能够长时间自主工作,于是工程师开始使用更长的自主会话。评估测量的是模型在一个任务上的表现,生产测量的是人们选择如何与它协作。后来一个更新的模型在相同任务和评分器上得分高于模型 A,每任务成本约为模型 A 的六分之一。他们通过一次配置变更将模型 A 的用户迁移过去。在迁移后的第一个完整周,这批重度用户的请求数大致不变,但他们主力模型的花费降至约七分之一。
这个案例对运营编码代理的团队有直接的操作含义。评估的每任务成本是必要的筛选信号,但它假设任务边界固定。当模型能力改变用户的工作方式——更长的自主会话、更多的请求、更大的缓存上下文——生产成本会偏离评估预测。诊断路径是:将 CloudWatch 的运行时指标(延迟、token 计数、限流)与网关的使用记录(按模型、客户端、团队、用户聚合)放在一起比较,用评估的每任务成本作为预期基线,观察实际偏差来自哪个维度。Airbnb 还强调,对每个主要模型都应保留至少一个在自有评估中表现相当、可以负载转移的替代模型,否则容量压力下的选择就是猜测。