Meta GEM模型：LLM架构如何重塑广告推荐系统的扩展性

Meta的工程团队于2026年10月13日发布了关于其生成式广告模型（GEM）最新一代的技术详解。这篇博客的核心价值在于它揭示了如何将大语言模型（LLM）的扩展范式迁移到工业级推荐系统（RecSys）中，并具体解决了后者特有的异构特征、数据动态性和实时延迟约束。对于关注AI基础设施和广告技术的读者而言，这是一份罕见的生产环境架构案例。

GEM的演进标志着从针对Facebook、Instagram等单一领域的孤立优化，转向一个统一的中央基础模型。这一转变的关键在于“弯曲扩展曲线”。传统的推荐模型难以像Transformer那样随参数和数据量线性提升性能，因为用户行为序列包含大量异构特征且分布不断漂移。Meta为此设计了名为Kunlun的新架构，通过深度硬件协同设计，实现了2.5倍的模型复杂度增长，并在最大规模预训练中观察到了类似LLM的扩展规律。这意味着更多的算力和更长的上下文直接转化为排序质量的提升，进而带来业务结果的增长。

在推理效率方面，GEM面临的最大挑战是如何将庞大基础模型的智能高效地传递给数百个实时服务的垂直模型。直接在请求路径上评估大规模模型成本过高且延迟不可接受。Meta引入了LoopFM结构表示技术，这是一种后训练方法，它将GEM的内部表示和顺序历史记忆压缩成紧凑的结构化数据，供下游模型学习。配合Solaris弹性预计算机制，系统可以在后台异步预测未来可能需要的用户-广告对嵌入，从而在不增加实时延迟预算的情况下，让垂直模型获得接近实时的基础模型智能。

此外，GEM通过跨表面、跨域的统一学习引擎，打破了各平台间的数据孤岛。利用共享专家与领域特定专家的混合架构，以及无成本的数据混合策略，模型能够从数据丰富的点击任务中学习通用表示，并将其迁移到数据稀疏的转化任务中。这种统一不仅提升了全漏斗的优化能力，还使得Meta能够在数千个GPU上将端到端训练效率提升至20-25%的模型FLOPS利用率（MFU），同时总训练FLOPs增加了4倍。

尽管Meta报告了18.9%的转化率提升和12%的点击率提升，但这些数据均为厂商自述，缺乏独立第三方的验证或详细的基线对比披露。然而，其提出的Kunlun架构、LoopFM知识转移和Solaris预计算等技术细节，为理解如何在资源受限的生产环境中实现LLM规模的推荐系统提供了具体的工程思路。这些机制展示了如何通过架构创新和异步计算来平衡模型智能与服务延迟之间的矛盾，是AI应用落地的重要参考。