GPT-4与RLHF合著者Diogo Almeida：当前AI被设计来讨好人类，而非自主工作

AI能解未解决的数学难题，却做不好客服里看似简单的决策。这个反差让很多人困惑：如果模型已经这么聪明，为什么还需要雇人去做那些看起来更蠢的任务？

在AI Engineer大会上，Diogo Almeida给出了一个结构性解释。他是OpenAI GPT-4、ChatGPT以及RLHF/InstructGPT的合著者，他所在的团队基本发明了「后训练」这个概念。他说，自己是OpenAI内部少数公开「黑」ChatGPT的人，但并非讨厌这个产品——他认为今天AI领域发生的很多事情，可以追溯到当初做ChatGPT背后算法时的一些设计决策。

他的核心判断是：今天的AI被设计来做assistance（辅助），通过优化人类偏好；它做不了automation（自动化）。这不是能力不足的问题，而是目标函数决定的。RLHF的本质是两步：收集人类偏好，优化人类偏好。这个回路的目标是让人类满意，不是让软件自主运行。

正因为如此，过度承诺是一个feature，不是bug。Almeida解释，奖励模型中存在一种类似GAN的不对称性：它鼓励模型丢弃模式、表现得很自信，因为奖励模型很容易发现模型不自信并惩罚它。幻觉在他看来是优化人类偏好的固有产物。当模型不确定时，它会选择讨好人类偏好——如果你是回路中的用户，这很合理，因为所有RLHF模型的终局都是优化engagement。

这也解释了为什么Claude Code不是下一个时代。Almeida认为ChatGPT和Claude Code属于同一个时代，因为Claude Code仍然是RLHF的，仍然是assistance。如果它是纯RLVR（基于可验证奖励的强化学习）训练的，看起来会非常不同。模型在agentic方面变得很强，但会偏离你真正想要的东西，因为RLHF和RLVR这两个优化方向一直在来回拉扯，都不触及automation的核心。

那么automation需要什么？Almeida说，你真正需要的是让模型完全不在乎人类，以校准的方式正确执行任务。他离开OpenAI后在TypeSafe AI创造了Jev模型：不生成文本，不聊天，不写代码，而是接收结构化问题，返回类型化答案和校准过的概率值。TypeSafe公布的数据显示，在分类任务上Jev比GPT系列快约193倍、便宜约445倍（此为厂商自报数据）。

Almeida的完整论点可以概括为三课：第一，今天的AI在human-in-the-loop的事情上不可思议，但做不了automation；第二，AI被设计来做assistance，过度承诺是by design；第三，他坚信整个行业终将把RLHF时代视为一段奇怪的弯路。他同时抛出一个尚未展开的预告：原始的Scaling Law是错的。

这个论点的力量在于它提供了一个统一解释：为什么AI在某些领域碾压人类、在另一些领域却需要人来做决策——不是能力梯度问题，而是优化目标问题。但它也有明显的边界。assistance与automation的二分可能过于干净：RLHF只是后训练的一个阶段，许多模型在无人监督的流水线中已表现出较高可靠性。Almeida自己的Jev产品刚发布早期访问版本，尚未在大规模自动化场景中证明其主张。此外，「整个行业终将视为弯路」是一个预测，不是已验证的事实。

值得注意的是Almeida的利益关系：他在TypeSafe创造了Jev，这正是他论点的商业实现。这不使论点无效，但读者在评估时应意识到，他既是批评者也是替代方案的提供者。