Replit发布ViBench 2.0：测试AI从零构建完整软件产品，顶级模型通过率仅49%-65%
Replit推出ViBench 2.0基准测试，评估AI代理从空项目开始逐步构建完整软件产品的能力。结果显示，即使是最先进的模型如GPT-6.1 Sol和Opus 5.5，在通过所有测试计划方面也存在显著差距（49%-65%），揭示了当前AI在长周期、复杂软件工程任务中的可靠性瓶颈。
Replit于2026年10月28日发布了ViBench 2.0，这是一个专门用于评估AI编程代理“长周期软件开发”能力的基准测试。与大多数提供现有代码库中特定任务的编码基准不同，ViBench 2.0要求代理从一个空项目开始，根据简短的规格说明，像人类开发者一样逐个功能地构建整个产品。这些产品模拟了Uber、GitHub或Google Docs等真实应用的结构。
该基准包含17个产品、241个功能请求和544个测试计划。测试不仅检查单个功能是否实现，还验证功能之间的交互、数据一致性、并发处理以及状态管理等复杂场景。例如，在代码托管产品中，如果有人在编辑器打开后保存了新更改，代理必须确保不会覆盖这些较新的更改。
根据Replit及其合作伙伴Fireworks发布的测试结果，目前表现最好的模型包括GPT-6.1 Sol、GPT-6 Astra和Opus 5.5。然而，即使在最佳配置下，这些模型也只能在49%到65%的构建中通过所有测试计划。这意味着超过三分之一的尝试会出现至少一个关键错误。GPT-6.1 Sol的通过率为65%，每次构建成本约为12美元；Opus 5.5通过率为49%，但速度更快，平均完成时间约为70分钟。
失败的主要原因通常不是核心逻辑错误，而是细节上的疏忽，例如未处理的边缘情况、数据库初始化问题或功能间的意外冲突。约四分之三的失败构建仅在功能交叉点出错。这一结果向行业表明，尽管AI在辅助编码方面取得了巨大进步，但在完全自主地构建和维护复杂软件产品方面，仍面临显著的可靠性挑战。