CWE-bench v2
4 节点1 篇4 来源
Collinear AI发布CWE-bench v2，这是一个旨在测试前沿编码代理修复真实代码安全漏洞能力的公开基准。v2版本包含100个公开任务和150个保留任务，覆盖185种常见弱点枚举（CWE），较v1的73种大幅扩展。初步结果显示，Gemini 4 Argon在公开集上以67.8%的pass@1领先，Claude Opus 5.5紧随其后。尽管95%的任务至少被一个模型解决，但最高分仍低于70%，表明长尾漏洞修复仍是难题。【背景】该基准采用确定性程序化验证，确保结果可复现且无LLM评分偏差。争议在于模型是否真正理解漏洞而非记忆补丁，v2通过排除已知上游补丁来强化这一测试。下一步需关注各实验室在保留集上的表现及成本效率比。
事情怎么走到这一步
Collinear AI发布CWE-bench v0/v1博客文章，介绍基于OWASP Top 10的初始基准概念，强调防御性审计与修补任务。
blog.collinear.ai ↗CWE-bench官网更新v2结果，显示在所有250个任务中，Claude Opus 5.5以67.1% pass@1居首，Gemini 4 Argon为65.0%。
cwe-bench.com ↗Collinear AI在Hugging Face博客发布CWE-bench v2正式公告，开放100个公开任务，覆盖91种CWE，并公布Gemini 4 Argon在公开集上67.8%的pass@1成绩。
huggingface.co ↗媒体广泛报道CWE-bench v2发布，指出其透明性和可复现性，以及模型在长尾漏洞修复上的不足。
explainx.ai ↗
还没定论的部分
- 模型在保留集（held-out set）上的具体表现如何？目前仅知Claude Opus 5.5和Muse Wonder在该集合上并列第一（67.0%）。
- 随着成本增加，pass@1的提升幅度是否值得？Pareto前沿显示46倍的成本仅带来1.16倍的通过率提升。
- 哪些特定类型的CWE（如信任边界、认证会话）最难被模型修复？数据显示这些类别的平均通过率最低（约45-46%）。