阅读研究雷达投资体系AI公司权威资料
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

谷歌与Mercor发布物理工程基准测试,前沿模型得分均低于50%

谷歌与Mercor联合推出针对物理工程任务的AI代理基准测试。结果显示,所有前沿模型在模拟真实工程环境中的表现均低于50%,凸显了当前AI在复杂物理世界任务中的能力缺口。

2026-11-03

2026年11月4日,美国谷歌公司(Google)的AI与基础设施团队宣布推出“物理工程期末考”(Physical-Engineering's Last Exam),这是一个旨在评估AI代理完成机械、电气、土木和结构工程等实际物理世界任务能力的新型基准测试。该基准由谷歌与人才平台Mercor合作开发,并发布了包含29个公开任务、评分工具及开放竞赛排行榜的网站ple-bench.com。

现有的学术基准测试多侧重于教科书式问题或单一工具调用,无法反映AI代理在需要遵守建筑规范、控制成本并接受持证工程师审查的真实工程环境中的表现。“物理工程期末考”通过85项长周期任务填补了这一空白,这些任务基于真实的工程项目文件夹构建,平均包含61个文件,如PDF文档、电子表格、电子邮件、2D CAD图纸和3D BIM模型等。AI代理必须在容器化环境中处理这些文件,找出适用的规范和物理限制,运行计算并生成可供审查的生产级交付物。

谷歌团队使用七种公开的代理执行框架(包括Antigravity、Claude Code、Codex等)对14款前沿模型进行了测试。结果发现,所有模型在私有测试集上的得分均低于50%,最高分仅为48.3%。此外,尽管表现最好的配置能满足91%的单项约束,但只有41.3%的交付物能通过所有严格的安全性和可行性检查。这一数据表明,当前AI技术在处理复杂、高风险的物理工程任务时仍存在显著的能力差距,距离实际工业应用尚有较大距离。

来源

  • cloud.google.comGoogle Cloud Blog↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系AI公司权威资料