Collinear AI发布CWE-bench v2：覆盖91类漏洞，Gemini 4 Argon以67.8%通过率居首
Collinear AI发布CWE-bench v2，包含100个公开任务覆盖91种常见弱点枚举（CWE），旨在测试前沿模型修复真实代码安全漏洞的能力。初步结果显示Gemini 4 Argon在pass@1指标上领先，但最高分仍低于70%，表明长尾漏洞修复仍是难题。
Collinear AI于2026年11月3日发布了CWE-bench v2，这是一个用于评估人工智能代理发现和修复开源软件中安全漏洞能力的基准测试。新版本开放了100个公共任务，覆盖了91种不同的常见弱点枚举（CWE），涵盖了广泛的漏洞类别。该基准要求代理在获取真实开源仓库的代码检出和简短指令后，在不破坏现有功能的前提下定位并修复安全缺陷。评分完全通过程序化检查实现，确保结果具有确定性且可复现。
根据Collinear AI公布的初步结果，在评估的11个模型中，Google的Gemini 4 Argon以67.8%的pass@1准确率和81.0%的pass@4准确率位居榜首，略高于Anthropic的Claude Opus 5.5（67.3% pass@1）。尽管有95个任务被至少一个模型解决，证明任务本身是可解的，但即使是表现最好的模型也在每次尝试中未能解决约19%的任务集，显示长尾漏洞修复能力仍有显著差距。在成本效率方面，DeepSeek V4.1 Flash、Claude Opus 5.5和Gemini 4 Argon构成了帕累托前沿，其中DeepSeek以每轮0.04美元的成本达到57.0%的pass@1，而Gemini则以3.92美元的成本获得微弱优势。
该基准测试的数据集和验证器已在Hugging Face上开源，支持通过Harbor框架直接运行。所有程序化检查均经过LLM评审小组的校准，以确保难度和公平性。此外，Collinear AI还维护了一个保留测试集，用于追踪模型在未见过任务上的进展。这一发布为开发者和安全研究人员提供了一个标准化的工具，以量化评估前沿模型在网络安全防御领域的实际能力边界。