澳大利亚AI学者Toby Walsh：AI的风险不在机器变聪明，而在人类制度变脆弱

Toby Walsh是澳大利亚新南威尔士大学（UNSW）教授、人工智能学者，长期推动自主致命武器国际禁令。他在2026年9月出版的《God AI: Boom or Doom?》中同时处理了超级智能、奇点、存在性风险和劳动市场问题，但全书的落点不是预测机器何时超越人类，而是追问：当能力增长时，我们的制度准备好了吗？

在《电子新闻》（ETNews）的书面访谈中，Walsh把这一立场压缩成一句话：'我最担心的不是机器变得多聪明，而是我们的制度有多脆弱。挑战是权力，不是智能。'他进一步解释，AI变得多强固然重要，但更紧迫的问题是——谁拥有这种能力，谁控制它，出了事谁负责。

他的论证机制来自一个具体类比：航空业。航空业没有把事故当作不可避免的代价而放任不管，而是建立了事故调查、设计改进和运营规则的循环，用安全建立了公众信任，信任反过来扩大了市场。Walsh认为AI应当走同一条路——安全不是增长的障碍，而是增长的前提条件。

但Walsh同时指出，现行制度设计存在一个具体的退化模式。他批评了'human-in-the-loop'（人在回路中）的流行做法：如果机器生成一份目标列表，人类只有几秒钟来批准，那这个人类审查就有沦为橡皮图章的风险。他给出的判断标准是：人类必须拥有实际审阅信息的时间和权限，并且在必要时能够拒绝AI的判断——仅仅'在流程中'不等于'在控制中'。

这一区分有现实背景。Walsh提到2018年他联合全球30个国家的AI和机器人研究者对韩国KAIST发起学术抵制，起因是KAIST与韩华系统公司合作设立国防AI研究中心。抵制在KAIST承诺不开发自主武器、保持人类控制后撤回。他还引用了美国Maven系统在伊朗冲突中融合情报数据推荐武器、首日打击约1000个目标的报道，认为这正是他多年警告的场景已经发生。

Walsh并不回避超级智能和存在性风险。他的书从'Boom or Doom'开始，经过超级智能、奇点、存在性风险、AI灭绝，最后以'充满爱的机器'（Machines of Loving Grace）收尾。他的立场是：这些场景值得研究，但把它们当作既定命运来争论是错置问题。真正可操作的变量是工程测试、独立验证、事故报告、实际问责和公共制度能力——这些是可以今天就开始建设的。

对于谁应该被约束、约束到什么程度，Walsh给出的方向是：在AI系统发布前进行独立安全测试，建立事故报告机制，对造成损害的产品追究实际责任；在国际层面，自主武器禁令和核武器决策中保持人类最终控制权是不可让渡的红线。他同时强调，国家内部监管无法覆盖的领域需要国际协议。

Walsh对制度脆弱性的诊断还包括一个容易被忽视的维度：监管者对被监管者的依赖。他主张政府内部必须培养独立专业能力，公共研究必须获得资金，否则监管者只能依赖企业提供的信息来判断风险。他批评澳大利亚政府曾取消常设独立AI咨询机构的计划，认为这恰恰是制度脆弱性的表现。

他的结论不是乐观也不是悲观，而是把选择权交还给人：'决定我们命运的不是机器，而是我们自己。'Boom和Doom不是预测，是选项，而选项的质量取决于制度的质量。