AI游戏伴侣Kult创始人Omid Ashtari:用决策模型按置信度路由,轻量模型先答、不确定时升级
伦敦初创公司Kult的创始人兼CEO Omid Ashtari在Google Cloud博客中解释了其AI游戏伴侣的模型路由架构:Gemini Flash处理每一轮对话,重型模型仅用于每个游戏一次的深度推理,而一个名为Jev的决策专用模型通过校准置信度分数决定何时升级。这套架构让一个小型团队能够覆盖超过100款游戏,同时满足消费者产品对延迟、准确性和成本的要求。
一个坐在玩家旁边的AI游戏伴侣,需要同时满足三个相互矛盾的要求:回答要快(游戏是实时的),答案要准(每个游戏有自己的物品、系统和词汇),成本要低(始终在线的伴侣每次会话处理多轮对话,每轮都必须便宜到消费者产品能承受)。伦敦初创公司Kult的创始人兼CEO Omid Ashtari在Google Cloud博客中解释了他们如何用模型路由架构解决这个三难问题。
核心思路不是选一个模型,而是让不同层级的模型各做各的事。最轻量的Gemini Flash层级处理高频率重复工作——Kult为每添加一个游戏要发起数千次小调用。Gemini Flash运行每一轮对话:它判断玩家在问什么,然后基于Kult自己构建的游戏知识库写出答案,快到能跟上游戏节奏。而最新、最重的Gemini模型只处理每个游戏一次的罕见深度推理。Ashtari指出,最新Flash模型在价格、速度和质量之间达到了他们在别处没有找到的平衡点,这正是始终在线的游戏伴侣能作为消费者产品运转的原因。
但光有层级划分还不够,还需要一个机制来决定什么时候该升级。Kult使用一个名为Jev的决策专用模型来处理这类判断:它不写文章,只返回一个选择和一个校准过的置信度分数。置信的案例在极短时间内以极低成本解决,不置信的则升级到更大的Gemini模型。Ashtari解释,系统中很多工作本质上是决策而非写作——需要理解查询关于哪个游戏、问题是否需要查找、答案是否覆盖了要点。这些决策不需要大模型,但需要可靠。
这套路由之所以能工作,有一个前提条件:答案的准确性不来自模型的记忆,而来自Kult自己构建的结构化知识库。游戏每次更新补丁都可能改变内容,通用模型的训练截止日期意味着它们可能落后数月。Kult为每款覆盖的游戏自动构建结构化知识库并保持更新,模型的工作是对这些知识进行推理,而非依赖训练数据中的记忆。Ashtari的设计将事实来源和推理能力分开:知识库提供事实,模型负责推理和表达。
Kult目前覆盖超过100款游戏,添加新游戏是自动化流程而非人工项目。这让他们这样一个小团队能够瞄准玩家随时拿起的游戏,包括新发售作品——而新游戏的大部分游玩发生在发布后的头几周。公司目前处于alpha阶段,正在逐步向更多玩家开放。
需要强调的是,这是Kult自报的架构描述。Jev模型未公开,无法独立检验其置信度校准的质量;产品处于alpha阶段,没有公开的性能数据证明该路由策略在规模化后仍有效。但Ashtari给出的设计逻辑——用最小能做对的模型做对的事,用决策模型判断什么时候该升级——对任何构建多轮对话型消费者AI产品的团队都有参考价值。