安全运营负责人Matt Coons：分层过滤将AI检测成本降至每天约1美元

许多企业将生成式AI引入安全运营后遇到的第一个问题不是精度，而是账单。Matt Coons在gihyo.jp撰文描述了他带领安全运营团队的经历：Trust & Safety领域的AI检测成本被压缩到每天约1美元。这个数字常让人意外，因为企业级AI高成本几乎是默认假设。他的解释是，预算超支的团队通常跳过了一个关键设计环节——决定哪些事件应该送到模型。

Coons的核心论点是：AI安全运营的成本由事件路由设计决定，而非模型本身的性能。他描述了一个三层结构。第一层是基于规则的模式检测，利用账号创建时间、邮件服务商、行为特征等要素自动处理明显事件，只有少量通过者到达语言模型。第二层是轻量模型做初步判定，以预设格式输出恶意/无害结论及置信度。第三层仅在轻量模型置信度不足时启动前沿模型，处理需要更广泛上下文和推理能力的案例。

支撑这一设计的实测数据来自Coons团队对多个模型的系统验证：在其目标用途中，轻量模型与前沿模型的精度差仅为1到2个百分点，而前沿模型的token成本约为轻量模型的5倍。他同时指出，这个费用对等关系成立的前提是——送到前沿模型的事件确实需要那种能力。如果路由设计不当，让大量轻量模型即可处理的事件涌入昂贵模型，成本优势就会消失。

Coons还讨论了提示词设计与幻觉的关系。他为代理检测编写的一个提示词超过1900词，覆盖了代理可能遇到的各种情形及升级判断标准；但并非所有用途都需要这种深度，Trust & Safety中有些提示词两三句话就够用。关于幻觉，他的观察是：区分准确分析与编造输出的关键是上下文。如果只把滥用报告喂给模型问'这个用户是否恶意'，模型可能照单全收；如果同时提供被报告对象的实际数据，模型就能独立评估主张是否成立。

最后，Coons划定了当前AI仍无法替代人工的边界。他举了一个具体例子：区分'为分析目的保存恶意软件样本的正规安全研究者'和'以攻击他人为目的保存相同内容的恶意用户'，需要一种当前代理尚不具备的识别力。利用条款解释存在分歧的任务帖讨论也属于此类。这些事件交给人工不是因为自动化失败，而是因为问题本身需要当前代AI无法稳定提供的上下文推理。

Coons强调这不是一个一次性的部署项目，而是持续的检测工程：攻击者尝试新的混淆手法，团队调整提示词和模型以捕捉它们。成本是在设计阶段决定的，不是引入后才需要头疼的运营问题。

这一方法的可迁移启示是：在将AI用于任何高量级分类或检测任务时，先问'哪些输入值得送到最贵的模型'，而不是先选模型再算账。规则预筛、分层路由和上下文增强提示词的组合，可以在精度损失极小的情况下大幅压缩支出。但作者自报的精度差和成本比来自其特定场景的内部验证，读者在迁移到自身业务时需要重新测量这两个数字。