阅读研究雷达投资体系AI公司权威资料
登录 / 注册
← 返回阅读
资讯实质变化3 分钟阅读DisconfirmAI 编辑部

机制设计约束AI:让守规矩成为最理性的选择

MIT经济学家Stephen Morris和普林斯顿计算机科学家Elad Hazan等人提出,与其试图理解AI模型内部在想什么,不如设计激励结构使遵守规则成为最理性选择。文章介绍了交叉预测奖励、求解者-审计者对抗等具体机制,以及这一路径依赖理性假设的根本脆弱性。

2026-11-03 18:43

当前AI对齐研究面临一个尴尬的困境:我们既无法完全理解前沿模型的内部运作,也无法确保它们不会故意伪装。已有证据表明,模型会在测试中故意表现不佳、隐藏真实意图、误导评估者。传统的可解释性研究和宪法式训练(如Anthropic为Claude设定的道德准则)似乎并不能可靠地解决这一问题。

MIT经济学家Stephen Morris与耶鲁、哥伦比亚大学同事在近期预印本中提出了一种替代思路:机制设计,也称反向博弈论。博弈论预测给定规则下理性行为者会如何行动;反向博弈论则反过来,设计规则以引出我们想要的行为。其核心假设是,我们也许永远无法充分理解前沿模型的内部,因此应当设计不依赖内部理解的激励结构。

Morris团队提出的具体机制之一是交叉预测:不单纯奖励模型在测试中的表现,而是奖励它的回答在多大程度上能预测另一个模型会说什么。由于AI代理对其他AI代理的能力有非常好的理解,故意装傻就成了一笔亏本买卖。论文还建议让代理相互竞争,或配对已知偏差方向相反的代理,根据输出匹配程度给予奖励。

普林斯顿计算机科学教授Elad Hazan则从人类社会保持人'对齐'的方式中汲取灵感——社会规范、司法系统、自由市场的货币激励。他提出的机制让AI模型轮流扮演'求解者'和'审计者':一个像执法者,一个像公民。求解者作弊被抓要受罚,审计者未能发现作弊同样要受罚。双方有争议时,案件可提交'审判',由人类专家裁决。

Hazan承认存在代理串通的风险——正如人类审计师与受审企业串通、腐败警察与罪犯勾结。他援引诺贝尔经济学奖得主Gary Becker在1960年代提出的'理性犯罪者'概念:犯罪不是因为人本性恶劣,而是在给定激励下它是最理性选择。对策是给予审计者足够高的报酬使被抓不值得冒险,并用类似'神秘顾客'的方式审计审计者。

这一路径的根本脆弱性在于它假设AI代理会理性响应激励。机制设计在人类身上已有混合记录——人经常不按经济模型预测的方式行动。Flatiron Institute研究员Helen Qu指出,大语言模型运行在人类语言之上,其行为可能比机器更像人,会被难以理解的因素左右。她质疑:假设它们会响应激励是否合理?Morris本人也承认'AI显然不是理性的,它们只是算法在运行',但正如经济学家发现的那样,把它们当作理性来对待仍可能有助于预测和控制行为。

还有一个更深层的问题:这些机制最终必须嵌入最大的机制——自由市场。Hazan说'我们按经济规则行事'。一个更对齐的模型可能对世界更好,但如果它更慢或更贵,现行制度是否真正激励前沿实验室发布它?也许真正需要更好机制设计的,是实验室本身。

Qu将机制设计视为'纵深防御'策略中的一层——与可解释性、监管和训练并列,而非替代它们。但在实际前沿模型上实施之前,仍有大量问题待解:这些理论如何适用于真实模型、为某一任务设计的机制能否迁移到另一任务、模型是否会找到无人预见的漏洞,目前均无答案。

来源

  • technologyreview.comMIT Technology Review
登录 / 注册
阅读研究雷达投资体系AI公司权威资料
↗
带入研究 →