Airbnb 生产基准：微调小模型以约 1% 成本达到前沿分类质量

Airbnb 工程团队在 2026 年 11 月发布了一份生产环境分类基准，核心发现是：用数十万条领域标注数据微调 Gemma4-E2B（20 亿有效参数）后，其 F1 从未微调的 0.563 升至 0.902，中位延迟仅 35ms，与 GPT-6.1 Sol 和 Claude Sonnet 5.5 等前沿模型质量持平，而成本约为后者的百分之一。测试基于 10,000 条加权样本的留出集，评估 Airbnb 定价与支付透明度政策违规检测这一真实任务，模型每分钟被调用数千次，分数须在 200ms 内返回。

作者将这一结果概括为

微调移动了质量-延迟前沿，而非沿前沿做取舍

即微调不是用质量换速度或用速度换质量，而是同时改善两者。对比之下，前沿生成模型即使开启低思考模式，中位延迟仍约 900ms、p99 达数秒；开源模型虽快但质量明显低于微调结果；TypeSafe Jev 在 100ms 以内表现最好的现成模型，但仍不及微调 E2B。详细提示词（2,700 词）可让专有模型提升一到三个百分点，但对延迟预算内的模型差距依然显著，且进一步增加成本。

文章给出四个判断条件：流量高于约 30 RPM 时自托管 GPU 成本低于前沿 API；延迟预算紧张时微调模型 p99 约 85ms 而前沿 API 中位即 900ms；需要可调阈值而非固定判定结果时，分数输出允许不重写提示词即调整精确率-召回率取舍；拥有标注数据时，示例能教会模型指令难以穷举的细微区分。作者同时承认，低频或每周变化的任务仍适合用前沿模型加良好提示词解决。这是 Airbnb 第一方自报基准，使用公开标价和 71% 缓存命中率（高于其实际观测值，有利于托管模型），未经第三方独立复现。