阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-21 22:36

Airbnb

2 节点1 篇2 来源

Airbnb 公开了其用于选择内部编程代理(AirChat 和 AirChat Remote)底层大语言模型的方法论。该公司在自有工程任务上评估模型,记录质量得分以及“每任务成本”——定义为完成单个任务所消耗的所有令牌的列表价格成本。这些数据指导默认模型的选择和推理努力上限的设定。

然而,评估指标与生产现实之间出现了显著差距。在部署一个测试表现良好的模型后,Airbnb 观察到用户每周的成本比前代模型高出数倍。主要驱动因素并非输出量,而是缓存上下文:用户进行了更长的自主会话,导致模型在每次请求时重新读取大量上下文,这成为主要的成本来源。

为解决这一问题,Airbnb 利用 Amazon CloudWatch 指标监控延迟、限流和令牌消耗(未缓存输入、缓存读/写和输出)。通过将生产信号与评估结果进行比较,他们能够识别使用模式何时偏离预期。例如,将重度用户从高成本模型迁移到更新、更高效的模型后,尽管请求数量相似,他们在主模型上的支出在第一个完整周内降至约七分之一。这一案例凸显了将评估得分与现实世界行为数据相结合以有效管理 AI 基础设施成本的必要性。

事情怎么走到这一步

  1. 2026-11-18

    Airbnb 发布与 AWS 联合撰写的博客文章,详述其如何使用每任务成本指标在 Amazon Bedrock 上选择编程模型。

    aws.amazon.com ↗
  2. 2026-11-19

    DisconfirmAI 编辑团队分析该出版物,强调由于缓存上下文使用导致的评估分数与实际生产支出之间的差异。

    disconfirmai.com ↗

还没定论的部分

  • 其他科技公司如何在生产环境中平衡推理努力(质量)与每任务成本之间的权衡?
  • 当生产成本显著偏离评估预测时,Airbnb 使用哪些具体阈值或自动触发器来切换默认模型?

来源

  • aws.amazon.comAmazon Web Services Blog
登录 / 注册
阅读研究雷达投资体系
↗
  • disconfirmai.comDisconfirmAI Editorial↗
  • 这一专题下的内容

    • Airbnb 用每任务成本选择编码模型,但评估分数为何预测不了生产花费2026-11-19资讯

      Airbnb 工程团队公开了其编码代理的模型选择方法:在自有任务上运行评估,记录每个模型和推理档位的得分与每任务成本,据此设定默认模型和推理上限。但一次上线后,评估表现良好的模型在生产中的周均花费数倍于前代——因为用户开始使用更长的自主会话,缓存上下文成为主要成本来源。该案例揭示了评估与生产之间的行为鸿沟及其诊断路径。