阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化1 分钟阅读DisconfirmAI 编辑部

METR报告:AI模型在编码任务上表现卓越,但在判断力任务上落后

METR最新报告显示,AI在可验证任务(如编码)上呈指数级进步,但在需要判断力的开放式任务上仍不及人类。

2026-11-21 02:15

AI评估非营利组织METR发布了其备受关注的“时间跨度”图表的更新版本。报告发现,虽然前沿AI模型在具有明确成功标准的任务(如软件工程和数学)上继续快速进步,但在需要类人判断力的开放式任务(如设计研究评估或评分哲学论点)上却表现挣扎。

METR最初的时间跨度图表通过人类完成任务所需的时间来衡量任务难度,显示AI能够成功完成的任务长度每四个月翻一番。更新后的报告扩展了这一套件,纳入了更复杂、耗时更长且依赖判断力的任务。在这些新指标上,即使是最先进的模型也未能产出被METR研究人员认为有用的评估方案,其在哲学论点评分上的表现也低于人类水平。

这种差异凸显了自动化AI研发(AI R&D)的关键瓶颈。“可验证”任务的进步得益于强化学习,系统可以通过重复尝试和自动反馈进行训练。然而,将这种技术应用于成功标准模糊或需要更长时间才能确定的任务仍然困难重重。专家指出,虽然模型在这些模糊任务上有所改进——与一年前的“明显低于标准”相比,一些最新模型达到了“略高于标准”的表现——但由于缺乏稳健的指标,预测未来的进展极具挑战性。

该报告还指出了评估中的实际困难。对于许多新任务,由于成本和专业知识限制,人类完成时间是估算而非实测得出的。此外,主观任务往往依赖有限的人类评分者,这引发了对分数普遍适用性的质疑。尽管存在这些局限性,纳入基于判断力的任务被视为理解AI能否自主推动科学发现的必要步骤。

来源

  • technologyreview.comMIT Technology Review↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系