亚马逊 Marketplace 如何用冻结视觉语言模型加 OCR 信号评估商品内容质量

亚马逊 Marketplace 的 A+ 内容是产品详情页上的富媒体模块，品牌通过图片、文字和视频组合讲述产品故事。问题在于，单独检查每个素材——图片是否清晰、文字是否有语法错误——会遗漏跨模块的质量问题：比如功能列表宣传 64 盎司容量，而生活方式照片却展示了单人份型号。亚马逊团队的做法是将完整页面渲染为一张快照，让视觉语言模型像顾客一样整体审视。

架构上的核心决策是不微调视觉语言模型。团队认为，用几千个标注样本微调一个基础模型需要 GPU 训练基础设施，且存在过拟合风险。替代方案是保持视觉语言模型和评分提示词固定，让模型按四个维度（视觉叙事、功能呈现、布局、转化优化）各输出 0 到 10 的分数、置信度和自然语言理由，然后将这些结构化输出作为特征，训练一个 CatBoost 梯度提升决策树分类器来预测专家标注的高质量或低质量标签。由于只重训分类器，当标注积累或评判标准变化时，更新只需一个短时 CPU 任务。

视觉语言模型擅长捕捉整体语义和视觉构图，但对细粒度排版可读性不够可靠——文字密度、行间距、字符拥挤程度这些布局信号它容易忽略。团队因此并行运行一个 OCR 模型，从快照中提取文字块及其位置，计算四个可读性指标：文字密度、字符密度、间距和综合可读性。融合模型将视觉语言模型的四个评分和 OCR 的四个指标共八个特征输入同一个 CatBoost 分类器。在 20% 留出集上，仅用视觉语言模型特征的分类器达到 0.89 准确率和 0.90 F1，仅用 OCR 特征达到 0.82 和 0.83，融合后达到 0.94 和 0.95——比视觉语言模型单独使用高出 5 个百分点。

这一方法的生产验证包括：用 SHAP 解释每个特征对决策的贡献，将最负面的特征连同产品类别和最佳实践交给语言模型生成优先级排序的改进建议；在全球 A/B 实验中，根据模型判断调整低质量内容的可见性，带来了订单产品销售额的统计显著提升；使用建议修订内容的卖家平均质量分数提高了 1.4 分（满分 10 分）。需要指出的是，以上所有数字均为亚马逊自报，基于其内部标注和留出集，未经独立复现；标注覆盖 10 个产品类别，方法能否推广到其他多模块内容评估场景尚未验证。