Ben's Bites 作者 Ben:AI 不是人在打字,而是模式在预测下一个词
Ben's Bites 作者 Ben 从妻子认为 AI 背后有人打字的误解出发,先用数量级估算证明把全球 AI 对话量交给人类打字在组织上完全不可行,再用 Shannon 1950 年的字母猜测游戏引出 transformer 架构的核心机制:模型不存储页面,只保留语言模式,通过逐步预测下一个 token 生成回复。
Ben's Bites 的作者 Ben 有一天发现妻子觉得 AI 背后坐着一个人在打字。他自己也觉得这个直觉没那么荒谬——毕竟回复来得那么自然。但他决定先不急着纠正,而是顺着这个假设算一笔账。
他做了最宽松的假设:每个人以世界纪录速度打字(每分钟 200 词),不休息、不吃饭、不放假,而且公司分布在所有时区所以永远有人醒着。当前大模型聊天机器人每天大约收到 60 亿条消息,每条回复约 500 词。仅靠打字,就需要 1040 万人不间断工作。如果按真实公司的结构来算——加上 CEO、管理层、HR、内部沟通——需要 7740 万员工才能维持这 1040 万人打字。这个数字显然不现实。
排除了'人在打字'之后,Ben 转向解释实际发生了什么。他用了 Claude Shannon 1950 年的一个游戏作为起点:Shannon 从书里挑一句话,让妻子 Betty 一个字母一个字母地猜。Betty 不知道那句话是什么,但她熟悉英语的模式,所以能逐步缩小范围。
这个思路被搬到了机器上。过去六十多年,给机器更多文本几乎没有帮助,因为它只能看到最后几个词。2017 年,Google 的八个人让模型同时看到所有词并给重要的词赋予更高权重——他们把这种机制叫 attention,把这种架构叫 transformer。这就是 ChatGPT 名字里那个 T。
有了这个架构,给模型更多文本才真正开始起作用:更多数据,更大的模型,更好的预测。生成回复的过程就是重复这个猜测:读你说的话,猜下一个词(或词的一部分,叫 token),把它接上去,再回头看一遍,再猜下一个。
模型读过网站、书籍、论坛、粉丝维基和代码。一个顶级模型训练时处理超过 32 万亿 token,一个人不眠不休地读需要大约 19 万年。但它不像搜索引擎那样存储这些页面供日后查找。它只是保留了模式。
Ben 把这一切解释给妻子听。最后他总结的那句话,也是整篇文章的落点:没有人坐在那里打字。是数百万人、跨越数年,同时回答所有问题。
这个解释的边界值得注意。文中的数字是基于多个假设的估算——平均消息数、回复长度、打字速度、管理比例——实际分布可能不同。Shannon 的逐字母猜测与模型的实际 token 级预测之间也有简化:真实模型处理的是子词单元而非单个字母,且能同时考虑整段上下文而非仅前一个词。但核心区分是成立的:AI 的回复不是检索也不是人工,而是基于统计模式的条件生成。