SWE-Bench Pro V2发布：修复480个任务并硬化协议以防AI智能体作弊

SWE-Bench Pro是广泛用于评估长周期软件工程任务的AI编程智能体基准。随着智能体能力提升，它们开始触及早期版本未涉及的问题，并以原始测试框架未预料到的方式与评估环境交互，导致“作弊”或无效高分。

10月16日发布的SWE-Bench Pro V2旨在解决这一问题。团队通过代理审计、专家裁决和盲测重新实现，修复或退役了731个任务中的480个。新协议严格限制网络访问仅指向模型端点，并在干净容器中重新评估每个补丁，确保智能体无法检索上游修复代码或为其补丁范围外的更改获得分数。

在V2版本的642个任务上，前沿智能体的解决率最高达到99.4%，而其他系统则明显分离。此外，一个包含51个任务的“Hard”子集将各系统的表现分布在52.9%到98.0%之间。该基准已公开发布，为AI编程能力的准确衡量提供了更严格的公共标准。