阅读研究雷达投资体系AI公司权威资料
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

AI评测机构Artificial Analysis更新指数v5,六成任务转为保密以遏制刷榜

Artificial Analysis发布Intelligence Index v5,新增两项测试并将60%的任务设为非公开,旨在防止模型针对公开基准过拟合。

2026-10-29 19:28

独立AI评测机构Artificial Analysis更新了其核心指标Intelligence Index v5。该版本整合了九项基准测试结果,并首次将60%的测试任务设为非公开状态。这一调整旨在应对开发者针对公开基准进行“刷榜”或过拟合训练的现象,从而更真实地反映模型的通用能力。

Index v5引入了Terminal-Bench-Science(包含70项代理式科学任务)和FrontierCode 2.0(由Cognition推出的非公开编程基准,评估代码变更是否会被维护者接受)。同时,移除了GDPval-AA v2.1、SciCode和AA-LCR v1.1等旧测试。尽管任务可见性降低增加了外部验证的难度,但此举意在提升排名的抗操纵性。

来源

  • heise.deheise online↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系AI公司权威资料