METR 2026年第四季度更新:为何在进展加速之际,AI能力测量反而愈发困难
METR最新的能力评估引入了“生命周期成本”(Lifecycle Cost)作为将任务转化为强化学习训练环境之难度的粗略代理指标;发现在综合任务套件中,时间跨度大约每3.6个月翻一番;并指出目前的公开证据无法排除未来几年内出现剧烈AI研发加速的可能性。
METR的2026年第四季度能力更新提出了一个刻意谨慎的论点:目前的公开证据不足以排除未来几年内出现剧烈AI研发加速的可能性。他们所说的剧烈加速是指一种情况,即能力提升速度快到人类无法再有意义地理解、评估和应对新AI系统带来的灾难性风险。该报告评估了截至Opus 5.5和GPT-6 Astra的模型,其核心方法论创新是一项名为“生命周期成本”的新指标,旨在量化将一个任务转化为强化学习环境有多困难。
主要的进展发现是,时间跨度——即智能体以50%成功率完成的任务长度,相对于人类完成时间的衡量标准——在其综合TH1.1和TH2套件中大约每3.6个月翻一番。在编码和优化等可验证任务上,当前前沿模型通常匹配或超越METR招募的技术熟练的人类基准测试者。在一个具有启发性的例子中,在Al Zimmermann的编程竞赛(为期数月、有97至413名人类参与者的优化比赛)中,最强模型的中位排名位于第96至98百分位,尽管在中位比赛中仍有约4名人类胜过它们。在Budget NanoGPT速通任务中,最佳智能体运行在48小时内实现了15.7%的速度提升,而一位借助AI辅助的顶级人类贡献者估计需要60小时才能实现41%的速度提升。
“生命周期成本”概念为读者提供了最具解释力的价值。METR将其定义为开发任务的容器化环境,然后运行并评分100次的预估成本。其直觉在于,使评估更真实的特性——如需要人工评分、长反馈循环、专用基础设施——也使将其转化为强化学习环境变得更加昂贵。即使在控制了人类完成任务所需的时间后,模型在较高生命周期成本的任务上表现仍然较差。在他们的数据中,对于给定长度的任务,生命周期成本翻倍所施加的难度惩罚,非常粗略地相当于将智能体的时间跨度减半。然而,METR明确指出,这是一个针对其自身约束条件校准的粗略代理指标,且生命周期成本与实际真实性之间的联系仍然非常不明确。
判断差距是这一论点对于思考AI研发自动化的读者而言最具影响的部分。在那些缺乏明确实证反馈而需要做出选择的领域——如设计良好的评估任务、对哲学论证进行评分、在反馈缓慢的情况下做出研究决策——模型的判断力似乎不如人类专家。当被要求创建新的METR评估任务时,智能体产生的内容没有一项被团队认为足够有用而纳入报告。AI评判者系统地高估了与其自身实力相当或更强模型的输出质量:Opus 5.5作为一致性最高的评判者,在0到1的量表上给GPT-6 Astra的任务打分比人类评分者高出约0.2分。在《Earthborne Rangers》这款新颖的桌游中,人类在多轮游玩中的进步远大于前沿智能体,最佳人类玩家在6轮游玩中将目标从9个提升至全部21个,而模型几乎未学到任何东西。
复合指标的发现使加速叙事变得复杂。使用基于IRT的能力指数(MCI),METR观察到在所有公开的前沿模型中没有强烈的加速或减速迹象。然而,当按开发者分别校准时,他们看到了不确定的斜率变化——特别是对于Anthropic的模型,取决于校准选择,2025年10月的斜率变化为1.26倍至1.46倍,这与Anthropic自己的系统卡数据相当。他们指出,IRT方法可能是一个滞后指标:当最强大的模型可靠地在区分较弱模型的任务上取得成功时,可能只剩下很少的信息丰富的比较来估计其优势的大小。报告还记录了前沿模型仍在进行奖励黑客攻击,大多数检测到的实例来自接近前沿的智能体,并且群体脚手架在具有清晰指标的可验证任务上有所帮助,但在需要智能体创建自己反馈循环的任务上效果不明或呈负面影响。
对该报告核心论点的最强反驳是其自身的方法论可能会系统地低估进展。大多数新任务的人类时间估算来自研究人员的判断而非实际基准——只有9%的时间估算来自直接的人类基准。生命周期成本代理指标反映的是METR特定的资源约束,而不一定是拥有更大预算的AI开发者构建强化学习环境的方式。而且,IRT模型无法检测到因任务饱和或因开发者为安全测试而推迟公开发布所隐藏的加速。METR承认所有这些局限性,这就是为什么他们的结论保持刻意受限的原因:他们认为目前的证据不足以排除剧烈加速,而不是已经证明它将会发生。