阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化4 分钟阅读DisconfirmAI 编辑部

Netflix 工程团队解释 AI Discover 的核心架构决策:LLM 提议路径,代码决定是否执行

Netflix 技术博客详细描述了 AI Discover 背后的智能层设计。面对 LLM 延迟不可控、输出不可信与 TV 端必须即时响应之间的矛盾,团队选择了计划-执行分离模式:LLM 可以起草请求处理路径,但代码在运行前验证每一步,失败时回退到已测试的固定计划。文章还解释了异步页面生成、代码强制执行安全规则、以及模型无关性设计如何共同支撑这一架构。

2026-11-18 01:01

Netflix 的工程团队在技术博客中公开了 AI Discover 背后的智能层架构。这个功能让电视端用户通过选择主题来发现内容,每次交互都涉及 LLM 参与——生成主题标签、撰写推荐说明、建议下一步方向。但 LLM 调用是整个系统中最慢、最昂贵的部分,尾部延迟可能飙升,输出也可能不符合预期。与此同时,电视端用户按下遥控器后期望立刻得到响应,任何一次失败都会直接呈现在客厅屏幕上。

团队面临的核心矛盾是:传统推荐系统基于历史行为排序,不需要理解用户意图;而 AI Discover 需要 LLM 来理解用户想要什么并规划如何响应。最简实现是把整个请求交给 LLM,让它选片、写标签、决定下一步。但 Netflix 工程团队明确拒绝了这条路,因为'在需要受治理结果的场景中依赖概率性输出',在大规模下意味着罕见的失败每天都会发生多次。

他们的解决方案是计划-执行分离。系统分为控制器和执行器两部分。控制器收集上下文,确定一个处理计划——要么使用已验证的固定计划,要么让 LLM 现场起草一个新计划。无论哪种来源,计划都必须通过同一组验证:每一步是否经过批准、每个输入是否有生产者、是否存在循环、是否恰好产出一个页面。验证通过后,执行器按计划运行各步骤,步骤之间通过声明的类型化契约传递输出。

这个模式的关键在于:LLM 可以提议路径,但代码决定是否运行。如果规划器响应太慢或生成的计划未通过检查,系统回退到已测试的固定计划。用户始终得到结果,只是丰富程度可能不同。Netflix 将这种模式称为 plan-and-execute agent,与常见的循环式 Agent(推理、调用工具、读取结果、再推理)形成对比。循环式 Agent 灵活,但无法预先知道需要多少步,也无法判断是否走入了错误路径。

安全规则同样通过代码而非提示词强制执行。内容分级、成熟度限制、用户明确排除的内容——这些不能依赖 LLM 的概率性遵守。规划器看到的是剥离了敏感信息的请求,它用占位符引用参数;计划通过验证后,控制器才从实际请求中填入真实值。这同时防御了提示注入:即使 LLM 被诱导生成恶意参数,占位符机制确保它无法直接写入实际值。

异步服务是另一个关键决策。电视端大多数交互是同步的:按按钮,得到页面。但多步生成可能需要数秒。Netflix 将涉及生成的请求改为异步:按下按钮立即返回确认,电视切换到'思考中'状态,执行器在后台运行计划,完成后通知电视拉取结果。慢生成不再拖慢其他请求,每次按键仍有即时反馈。

模型无关性设计让系统可以独立于任何单一模型演进。所有 LLM 位于统一接口之后,每个任务可以指定不同的模型或能力版本,这是可以实时覆盖的逐任务设置。切换前,候选模型在相同任务上由自动检查和 LLM 评审打分,确保每次替换都是可度量的变更。系统行为大量存在于服务端提示和配置中,因此交换模型、工具和能力不需要新代码或 TV 应用发布。

这套架构的可迁移性取决于一个前提:Netflix 已有成熟的可组合能力单元——搜索、大规模排序、目录元数据访问——它们被封装为声明式的能力接口,每个能力声明自己的输入输出、可见上下文和失败行为。文章坦承,重塑这些系统需要仔细工作,因为 Agent 编排挑战了分布式系统的许多长期假设:一个能力现在必须在没人设计过的组合中运行,被一个在运行时选择调用它的调用者使用。粒度选择本身就是难题——太细则规划器有更多出错方式,太粗则失去组合更丰富计划的空间。

对于没有类似基础设施的团队,这个方案的最大成本不在智能层本身,而在使现有系统可组合这一步。文章没有给出从零开始的路径,它描述的是一个已经拥有多年推荐系统积累的公司在 LLM 时代的增量改造。但它清晰展示了一个可检验的架构原则:当 LLM 的输出需要进入受治理的生产系统时,将提议权与执行权分离,用代码验证而非提示词约束来保证安全边界。

来源

登录 / 注册
阅读研究雷达投资体系
  • netflixtechblog.com↗
  • 带入研究 →