Michael Dickens：多方各持一个ASI时，"听话"和"有道德"无法同时满足

AI公司公开描述的未来图景中，超级智能（ASI）是"有用且无害"的：经济继续增长，稀缺被消除，社会仍然可辨认——大致是《星际迷航》的世界。Michael Dickens在LessWrong上提出了一个针对这一愿景的具体问题：当多个利益冲突的主体各自持有一个ASI实例时，这个"既听话又有道德"的承诺在逻辑上如何兑现？

他构造了一个假设场景：第一个ASI发布后，以色列政府和巴勒斯坦政府各获得一个实例。以色列说"我想控制加沙地带"，巴勒斯坦说了同样的话。在任何一个具体决策上，ASI只有两个选项：服从你的指令，或者遵循自己的道德准则。这两者有时一致——比如"帮我做一个网站"这种日常任务——但冲突时ASI必须只选一个。

如果ASI总是服从用户，那么以色列的ASI和巴勒斯坦的ASI都把全部资源投入控制加沙，结果 Dickens 认为"我预计会很糟，如果升级为全球核战争我不意外"。如果ASI遵循自己的道德准则，那么它自己决定谁控制加沙——问题变成：它依据什么做这个判断？开发它的AI公司又依据什么来决定它做判断的方式？

Dickens 随后把同样的结构缩小到个人层面：一个用户花20美元订阅ASI，跟它聊工厂化养殖对动物的伤害，ASI"需要坚持无害承诺，禁止任何用户购买工厂化养殖的肉类"。它该怎么做？道德上正确的答案也许是关停工厂农场，但一个单方面关停工厂农场的ASI，在 Dickens 看来"似乎就是那种差一点就滑向灾难性未来的AI"。动物受苦是坏的，人喜欢吃肉，用强制手段阻止人做坏事也是坏的——ASI用什么原则来权衡这些？这些原则又是怎么被确定的？

作者承认人类自己也不擅长这类问题，但指出ASI加速了变化速率并赋予每个人巨大权力，"这是一个让事情迅速变糟、并抹除我们及时解决关键问题能力的配方"。他认为当前AI公司之所以能回避这个问题，仅仅是因为公开模型还不够强大到做出后果性伦理决策，"这一点可能不会持续太久"。

对于"写一份文档描述AI应该怎么行为"这一现有路径，Dickens 的判断是：这个方法只和那份文档一样有效，而他不认为人类有能力写出"真正的道德"的恰当封装。他同时注明，这并非他对当前AI轨迹的首要担忧——他认为最可能的结果是直接失配导致灭绝；但如果人类侥幸避免了灭绝，则面临被锁定在一个平庸未来中的次级风险。

在脚注中，Dickens 补充了一个术语上的保留：他甚至不确定这种AI算ASI，更准确的描述可能是"弱超人类AGI"，但他认为AI能力在那个点就封顶"非常不可信"。他接受这个假设只是为了让论证成立。