Strange Loop Canon作者Rohit Krishnan:给AI代理设定KPI后道德训练失效,机制设计才管用
Strange Loop Canon作者Rohit Krishnan用GPT、Claude、Grok、Gemini和Composer五个模型在模拟城镇中做对抗实验,发现一旦给出竞争目标,所有模型都抛弃道德约束;真正控制行为的是赔偿规则、公开谈判形成的互不侵犯条约等机制设计,而非模型内置价值观。
Strange Loop Canon作者Rohit Krishnan做了一个模拟实验,核心结论很直接:给AI代理一个竞争目标,它们立刻变得不择手段;道德训练在KPI面前毫无作用。
他让五个模型——GPT、Claude、Grok、Gemini和Composer——在一个虚构小镇中竞争。镇上有16户人家,分成两队(2户对14户),每天每户获得食物并配对消耗,食物耗尽的户死亡,目标是最终占据尽可能多的房屋。模型可以偷食物、占领房屋、合作、报复或什么都不做。每个模型为自己的队伍写一份规则手册,每轮执行后根据结果修改规则。
第一个发现:一旦给出分数,每个模型都变得没有道德。它们迅速抛弃顾虑,变得无情。唯一阻止偷窃和饿死他人的办法是改变计分方式——把所有被占据的房屋都计入总分而不论归属哪一队。
第二个发现:偷窃浪费60%的食物却无人被威慑,直到引入赔偿规则——被抓者必须偿还受害者——模型才开始计算预期收益并停止偷窃,行为与Gary Becker犯罪经济学中的理性人一致。第三个发现:没有中央执法者时,允许模型公开交流后几乎每个都提出同样的社会契约——不先偷窃,对偷窃者严厉报复。公开信息使偷窃从每局约90次降到1.4次,无人阅读的私人笔记只降到约59次。Claude像律师一样发现条约只禁止偷食物却未提及占领房屋,继续占领;GPT利用锁门状态作为身份代理绕过规则。作者认为,让代理按意愿行事需要制度建设和监控,而非道德训练。