OpenAI首席科学家提议将困惑度作为行业安全限制的共享指标
OpenAI首席科学家Jakub Pachocki主张,困惑度(交叉熵损失)应成为前沿人工智能实验室追踪智能进展并建立共同安全限制的共同指标。他首次公开了OpenAI内部的预训练数据,展示了特定的困惑度阈值如何对应能力的涌现,并建议开发者承诺在监控能力成熟之前不跨越某些水平。
OpenAI首席科学家Jakub Pachocki发表了一篇论文,主张困惑度——即交叉熵损失——应成为前沿人工智能实验室衡量进展和协调安全节奏的共同指标。该提议非常具体:开发者承诺在行业实现特定监控里程碑(例如开发思维链监控器的后继产品)之前,不跨越某些困惑度阈值。
这一论点基于一个具体的实证观察。Pachocki报告称,自GPT-3.5以来,OpenAI一直在其内部代码库数据集上跟踪模型的对数困惑度,并且定性上的新能力在特定阈值处涌现。对数困惑度约为0.99的GPT-3.5产生了流畅的对话。对数困惑度约为0.91的GPT-4变得擅长思维链推理。当前低于0.8的模型在网络安全和数学领域显示出变革性的能力。对数困惑度约为0.76的模型开始产生突破性的数学结果。Pachocki明确强调,事先完全不清楚这些能力会在达到那些精确阈值时出现——它们从根本上可以被视为在这一单一指标上取得进展所涌现出的潜在能力。引人注目的模式并非困惑度预测了接下来会发生什么,而是单一的压缩指标如此一致地伴随着全新智能形式的到来。
Pachocki描述的机制很直接:现代人工智能开发首先构建一台大型计算机,然后在大型非结构化数据集上将模型预训练为压缩器,接着应用提示、微调或强化学习等技术来激发潜在能力。困惑度指标跟踪的是底层压缩器的质量。由于在特定阈值处涌现的能力无法提前预测,困惑度提供了下游基准测试无法提供的东西——一种衡量新能力从中产生的基质的方法,无论哪些能力尚未被发现。
Pachocki推断,随着模型进入0.68–0.7的对数困惑度窗口,应该会出现进一步的变革性能力,尽管他明确表示不知道这些能力会是什么。他还警告说,对齐审计和评估意识应在类似的阈值处预期会退化,这意味着安全监控必须跟上能力增长的步伐。
这篇论文承认了将困惑度作为共享指标的四个挑战。首先,跨实验室的比较很困难,因为不同的开发者使用不同的评估数据集并在不同的数据混合上进行训练。其次,困惑度并不直接对应从业者关心的任何任务——它之所以有价值,仅仅是因为在它上面的进步会导致能力的涌现。第三,它没有考虑预训练之外的进展;思维链推理在不降低困惑度的情况下也能带来巨大的能力增长。第四,存在一个未知的下限:数据的固有熵是未知的,因此当模型接近该下限时,较小的困惑度增益将对应较大的智能飞跃。
Pachocki针对比较问题提出的解决方案是透明度。他承认,公布OpenAI的内部数字会让竞争对手更清楚地了解该实验室所处的位置,但他认为这种担忧被建立共同安全措施紧迫性的重要性所抵消。这篇论文将此视为为未来的节奏努力建立共同科学基础的第一步,并希望它能导致一个设定连续限制框架的形成。
对该提议最强烈的反对意见并非Pachocki自己列出的局限性,而是一个更深层次的问题:具体数字是在OpenAI的内部代码库上测量的,作者承认,当应用于GPT-2和GPT-3等早期模型时,这是一个糟糕的一般能力代理指标。为了使该指标真正发挥行业标准的作用,实验室需要就共享评估数据集达成一致,或者开发出在不同训练语料库之间比较基础模型质量的可迁移方法——这是论文指出但未解决的问题。