亚马逊请第三方审查自家AI安全测试：通过不等于可靠

AI安全评估通常关注模型在测试中是否输出了有害内容。但一个更少被追问的问题是：这些测试本身的质量如何？如果测试用例过于简单、覆盖面不均或存在数据泄漏，那么模型'通过'安全评估可能只是反映了测试的缺陷，而非模型的安全性。亚马逊在2026年10月公开了一次尝试：邀请独立非营利机构AVERI（AI Verification and Evaluation Research Institute）审查其内部安全评估数据集本身的质量，而非模型在测试中的表现。

AVERI团队由执行董事Miles Brundage带领，从亚马逊内部安全评估套件中随机抽取提示词样本，独立于亚马逊评估团队进行审查，考察多样性、难度校准和方法论严谨性。审查确认了亚马逊评估过程在主题覆盖、测试方式多样性和低污染风险方面的优势，但也指出了若干改进方向，其中之一涉及评估信号质量：在某些情况下，模型可能仅凭提示词中的表面线索就拒绝回答，因此通过这些测试并不必然表明模型在新情境下具有可靠的安全行为。

除表面线索问题外，AVERI还建议扩展多语言覆盖的均衡性、增加多步对抗性提示以探测更深层的模型推理、清理含时效性引用的陈旧测试用例，以及明确部分边缘情况的评分标准。亚马逊据此做了四项具体调整：刷新测试集并加入更高难度对抗场景、引入分层难度校准框架、建立季度审查节奏、将多语言提示均匀扩展到所有风险类别。

需要指出的是，这是亚马逊的第一方叙述。读者目前只能依据亚马逊这篇博客了解审查结果，无法独立核实审查的样本规模、具体评判标准，也无法确认转述是否完整。'验证了三项优势'的框架可能是亚马逊对一次更复杂审查的有利概括。不过，即便将全部具体发现视为待独立验证的主张，本文所演示的元评估方法本身——让外部机构审查测试而非仅审查输出——仍然为AI安全评估提供了一个可迁移的实践参照。