Anthropic 的安全信任机制无法否决模型发布
The Verge 资深 AI 记者 Hayden Field 详细阐述了 Anthropic 的长期利益信托(Long-Term Benefit Trust)如何缺乏阻止模型发布或干预日常决策的实际权力,尽管其被宣传为对创始人权力的制衡。结合约 9000 亿美元的算力承诺以及一股股票赋予七位创始人 50.1% 投票权的结构,该公司的治理架构对其安全使命提供的保护少于其公开宣传所暗示的程度。
Anthropic 对企业客户的说辞始终如一:我们是安全的 AI 公司,一家不会为了追求前沿模型而在对齐问题上偷工减料的公司。如今该公司已在纳斯达克上市,这一说辞所处的治理架构,其实际权力比营销宣传所暗示的要狭窄得多。
The Verge 资深 AI 记者 Hayden Field 发表了对 Anthropic S-1 文件的详细分析,并在 IPO 当天与主编 Nilay Patel 在 Decoder 播客节目中探讨了这一机制。该公司有七位创始人。他们持有一股股票,该股票发行给一个名为 Founder LLC 的实体,拥有 50.1% 的投票权。股东无法投票罢免高管。对创始人权力唯一的明确制衡是长期利益信托(Long-Term Benefit Trust),这是一个由四人组成的机构,Anthropic 将其呈现为一种保障措施:“别担心,这个信托可以随时任命或罢免我们。”
但 Field 对文件的解读显示,该信托无法介入日常决策。即使是 OpenAI 以前的非营利董事会,理论上也能说“不要发布这个模型,它太危险了”,而长期利益信托(LTBT)却没有这样的权力。它唯一能做的是任命或罢免某些董事会成员。即使采取这一行动,也需要提前 30 天通知董事会的一个小型委员会——该委员会由七位创始人之一的 Daniela Amodei 担任主席。如果 Amodei 认为合适,信托可以放弃该通知期。
在七个董事会席位中,信托挑选三个,创始人挑选三个,第七个具有决胜票性质的席位虽然名义上由信托任命,但需要创始人批准。Field 的结论是:“当你真正深入审视细节时,会发现创始人在这里拥有几乎不受制约的控制权。”
使这种治理缺口产生严重后果的经济压力巨大。Patel 引用了 Steve Rattner 的一项估计,称 Anthropic 必须在 10 年内将收入增加约 17 倍,才能提供与其他科技公司相当的回报。该公司未来几年的算力承诺总额约为 9000 亿美元。Dario Amodei 本人曾在直播中告诉摩根大通 CEO,算力是公司面临的“最深层的商业困境”。
Field 的观点并非指责创始人对安全问题玩世不恭。她指出,他们似乎对这一理念“近乎宗教般地虔诚”,许多人相信 AI 系统可能具有潜在意识。她指出的问题在于结构性缺陷:如果你相信自己拥有正确的 AI 安全计划,并且掌握着不受制约的控制权,你就可以将任何单一决定——包括放弃某项安全措施——解释为在竞赛中保持领先所必需的。“如果你认为这是为了更大的利益,你可以以安全的名义为任何事情辩解,”Field 说。“难道你不能仅仅通过说‘哦,这让我们慢太多了。我们要输了。我们必须不惜一切代价获胜’来为任何单一决定、甚至是一些安全措施的放弃进行辩解吗?”
安全品牌本身制造了一个悖论。Field 认为,对于要求数据主权且不能利用客户数据进行交易的企业客户来说,这是 Anthropic 的主要竞争护城河。这种品牌定位既是他们区别于 OpenAI 的地方,也是在公开市场压力下维护成本最高的部分。如果公司开始边缘化安全团队或停止相关举措以保护利润率,护城河将从内部侵蚀。
根据 Field 的分析,值得关注的是:不是股价,她形容股价“有点像 AI 行业的基准测试”——有时它并不像你以为的那样有意义。相反,应关注财报电话会议和文件中关于团队重组、终止安全工作以及公司为证明任何变更合理性所使用的具体措辞。这家以区别于 OpenAI 建立身份认同的公司,现在面临着同样的结构性诱惑,而其外部制衡却少于治理营销所暗示的程度。