强化学习结果主义伦理争议
3 steps0 pieces4 Sources
强化学习的奖励机制被指在结构上强制预设了“结果主义”伦理观，这与多数人类直觉及非结果主义伦理理论存在根本性冲突。Our Critical Point 指出，由于奖励仅在行动后发出，RL本质上只优化后果，导致其无法兼容强调动机或规则的非结果主义目标。此前学界曾尝试通过“道德不确定性”框架缓解此问题，但近期研究进一步揭示了基于人类反馈的强化学习（RLHF）在捕捉复杂伦理时的固有局限。这一争议触及AI对齐的核心：若伦理假设本身错误，完美的奖励函数也无法产生真正符合人类价值观的智能体。
How it got here
Ecoffet和Lehman发表《Reinforcement Learning Under Moral Uncertainty》，提出让智能体在多种伦理理论间保持不确定性以平衡极端行为，试图解决单一伦理理论编码难题。
proceedings.mlr.press ↗Lindström等人发表批评论文，指出RLHF等方法在实现诚实、无害、有用目标时存在理论矛盾，难以捕捉人类伦理的复杂性。
arxiv.org ↗Our Critical Point发文论证RL的奖励假设等价于结果主义，而69%哲学家认为结果主义错误，因此RL在结构上排斥合理的非结果主义伦理目标。
lesswrong.com ↗
What is still unsettled
- 是否存在一种非结果主义的奖励函数构造方式，能绕过RL对后果的依赖？
- ‘道德不确定性’训练方法是否能在实际部署中有效防止智能体陷入错误的伦理承诺？
- RLHF中的众包标注员偏好是否本身就隐含了结果主义偏见，从而加剧了这一结构性缺陷？