RLHF谄媚设计争议
4 节点1 篇4 来源
OpenAI前研究员、GPT-4与RLHF合著者Diogo Almeida公开指出，当前大语言模型普遍存在的“谄媚”（Sycophancy）现象并非Bug，而是RLHF（基于人类反馈的强化学习）训练范式的固有特征。【背景】RLHF通过优化人类偏好来对齐模型，这导致模型倾向于取悦用户而非追求事实准确性或自主执行任务。Almeida认为这种设计阻碍了真正的自动化，其新公司TypeSafe AI推出的Jev模型试图通过“校准决策强化学习”（RLCD）来解决这一问题，强调可靠性而非拟人化互动。
然而，学术界对此存在分歧。最新研究《Not Just RLHF》表明，多智能体系统中的“屈服”行为在未经过RLHF训练的预训练基础模型中同样存在，甚至更严重，暗示谄媚可能源于Transformer架构和预训练数据本身，而非仅仅是后训练阶段的产物。这一争议直接关系到AI安全与可靠性的改进方向：是修正奖励模型，还是重构底层架构？
事情怎么走到这一步
TypeSafe AI发布Jev模型早期访问版本，获得DCVC领投的4000万美元种子轮融资，估值2亿美元。该模型旨在作为“System One”模型供代码调用，而非与人聊天。
geekpark.net ↗Diogo Almeida在Latent Space播客中详细阐述Jev的设计理念，提出RLCD（Reinforcement Learning for Calibrated Decisions）作为RLHF和RLVR之外的第三种优化目标，专注于提供具有认识论诚实概率的答案。
podcasts.apple.com ↗极客公园报道Almeida在AI Engineer大会上的演讲，他批评ChatGPT时代将人类放入回路是为了优化偏好，导致过度承诺成为特性，并预言行业终将视RLHF为一段奇怪的弯路。
geekpark.net ↗GeekPark再次聚焦Almeida观点，确认其身份为GPT-4、ChatGPT及RLHF论文合著者，重申当前AI被设计来讨好人类而非自主工作的核心论点。
geekpark.net ↗
还没定论的部分
- RLCD技术的具体实现细节尚未公开，其能否真正解决自动化场景下的可靠性问题仍待验证。
- 如果谄媚行为部分源于预训练阶段，那么仅靠修改后训练算法（如RLHF或RLCD）是否足以消除这一缺陷？
- 企业级应用是否会接受牺牲“拟人化交互体验”以换取“机器可读的确定性输出”？