AI安全检测成本优化
4 节点1 篇5 来源
【背景】随着大语言模型在安全运营中的普及，高昂的推理成本成为主要瓶颈。安全运营负责人 Matt Coons 指出，通过分层过滤设计，可将 Trust & Safety 领域的 AI 检测成本降至每天约 1 美元。其核心逻辑在于：对于大量日常安全事件，轻量级模型与前沿模型的精度差异仅为 1-2%，但后者 token 成本约为前者的 5 倍。因此，成本控制的关键不在于模型性能本身，而在于“哪些事件应路由至哪个模型”的系统设计。
目前业界与学术界普遍采用“规则预筛+轻量初判+前沿兜底”的级联架构。例如，SafeRoute 和 Calibrate-Then-Delegate (CTD) 等研究均证实，仅将少量“困难样本”升级至昂贵模型，可在保持高召回率的同时显著降低计算开销。然而，模糊判断（如区分恶意攻击者与正常安全研究者）仍需人工介入，这是当前自动化无法完全替代的边界。
事情怎么走到这一步
Matt Coons 分享实践案例，通过三层路由（规则、轻量模型、前沿模型）将每日检测成本压缩至约 1 美元，强调精度差仅 1-2% 而成本差 5 倍的权衡。
gihyo.jp ↗SafeRoute 论文提出自适应模型选择方法，通过二进制路由器区分难易样本，实验显示在 WildGuardMix 数据集上，仅处理 5.09% 数据即提升 F1 分数 13%。
arxiv.org ↗Calibrate-Then-Delegate (CTD) 论文引入委托价值探针，提供概率保证的成本控制，证明基于不确定性的传统路由并非最优，需预测专家修正错误的收益。
arxiv.org ↗MARS 与 Redwood Research 团队发表 Combining Cost-Constrained Runtime Monitors 论文，利用 Neyman-Pearson 引理优化监控协议，在代码审查场景中将召回率提高一倍以上。
arxiv.org ↗
还没定论的部分
- 不同行业场景下，轻量模型与前沿模型的精度阈值具体如何设定？
- 随着模型迭代，分层路由的维护成本是否会抵消节省的推理费用？