HackerOne测试：GPT-6 Astra发现85.5%漏洞，三模型组合达98.4%，但难辨业务逻辑缺陷
HackerOne最新基准测试表明，单一前沿AI模型可发现大部分技术漏洞，但多模型组合才能接近全覆盖；AI在判断实际攻击可行性和识别业务逻辑漏洞方面仍存在显著局限。
全球知名漏洞赏金平台HackerOne发布了名为“Benchmarking the Frontier”的研究资料，评估了18个AI模型变体在漏洞发现与验证任务中的表现。结果显示，OpenAI的GPT-6 Astra在HackerOne内部测试环境“Celestia”包含的62个已知漏洞中发现了53个，复现率为85.5%。当结合使用GPT-6 Astra、GPT-5.6 Sol和Anthropic的Claude Mythos 5三个模型时，总发现率提升至98.4%（62个中发现61个）。
然而，发现漏洞并不等同于确认其可被利用。在另一项针对CVE公开漏洞和Web应用报告的对比实验中，GPT-5.5在验证速度上具有优势，比Claude Sonnet 4.6快约3倍，且误报率较低。Claude Opus 4.7则在处理复杂攻击路径时表现更佳，例如能准确识别出服务器端请求伪造（SSRF）虽存在但无法导致远程代码执行（RCE）的情况，从而驳回无效报告。相比之下，GPT-5.5在面对相同输入时可能出现判断不一致，需增加推理资源才能达到类似准确率，但这会显著延长分析时间。
HackerOne强调，优化代理工具链比单纯更换模型更能提升性能。通过添加代码搜索工具和强化补丁比对流程，各模型的验证准确率均从80%以上提升至98%。但AI在识别“业务逻辑漏洞”方面仍显薄弱，这类漏洞不涉及代码错误，而是滥用正常业务流程（如优惠券重复叠加），需要理解服务运营逻辑，目前AI在此类场景下的可靠性较低。
随着AI生成大量低质量漏洞报告，HackerOne平台收到的报告数量自2025年1月以来增长了2.8倍，而有效报告仅增长1.9倍。这迫使安全研究人员将工作重心转向更复杂的漏洞分析和人工验证，企业未修复的漏洞积压量两年内增加了131%，尽管平均修复周期已从135天缩短至62天。