OpenAI发布新CSAM分类器,误报率降低48%,专门识别AI生成儿童性虐待材料
OpenAI推出新工具以应对激增的AI生成儿童性虐待材料报告,该分类器声称能将误报率降低48%,并首次提供针对AI生成内容的专门标记功能。
OpenAI于2026年11月16日在华盛顿特区宣布推出一款新的分类器,旨在帮助调查人员更有效地检测儿童性虐待材料(CSAM),特别是区分AI生成的虚假内容与真实受害者的影像。据《The Verge》报道,OpenAI称该工具将误报率降低了48%,同时被标记为含有虐待材料的图像中实际包含违规内容的可能性提高了一倍。
这一举措的背景是AI生成的儿童性虐待材料报告数量呈爆炸式增长。美国国家失踪与受虐儿童中心(NCMEC)的CyberTipline在2025年收到了40万份与生成式AI相关的报告,较2024年的6.7万份大幅上升。研究人员警告称,这种涌入可能使NCMEC的工作量变得“无法管理”。北卡罗来纳州总检察长Jeff Jackson表示,如果这种情况持续下去,“这意味着我们将未能完成我们的使命”。
OpenAI表示,这是首个广泛可用的、带有专门标记AI生成材料功能的CSAM分类器。OpenAI儿童安全公共政策负责人John Buckley指出,对于执法部门而言,能够区分虚构儿童和真实儿童的图像至关重要,这有助于优化报告处理流程。此外,OpenAI还向经过审核的组织免费提供该工具,并为开发者提供指导,协助培训执法人员利用AI辅助调查。
除了技术工具,OpenAI还更新了其ChatGPT图像生成器的安全措施。用户若尝试生成CSAM,将看到新的警告信息,并面临24小时的访问暂停,同时获得寻求专业帮助的资源链接。OpenAI强调,此举旨在中断有害行为并引导用户寻求帮助,而非仅仅惩罚。尽管OpenAI自报这些措施有效,但其性能指标尚未经过独立第三方的验证。