Meta工程师Aditya Gautam解析短视频多智能体架构

Meta工程师Aditya Gautam在AI Engineer频道发表演讲，介绍了他在处理大规模短视频内容时面临的两个核心问题：单视频内的多模态时间错位（如前几秒是体育，后几秒转为政治）以及AI生成内容导致的原创性归因困难。

Gautam描述了一种由三个智能体组成的架构来应对这些挑战。感知者（Perceiver）负责在时间变化点分割视频并提取嵌入、标签和OCR信息；审查者（Reviewer）分析这些JSON数据并结合实时评论和情感信号；检索者（Retriever）则将主题、嵌入和实体索引到倒排、向量和图存储中，以便在推理时拉取相似片段和作者。

该系统的每个智能体都运行在专门的小型视觉语言模型（VLM）上，而非前沿大模型。为此，团队在内部图像数据上预训练视觉编码器，进行指令微调以适配JSON模式，并使用来自生产样本的DPO循环进行优化。评估指标不仅包括精确率和召回率，还涵盖节点延迟、推理预算、令牌成本和判断器漂移。