Meta语义Token化
2 节点1 篇3 来源
【背景】Meta于2026年10月发布GenRecs Tokenization技术,旨在通过多模态语义Token替代传统广告ID,解决新广告冷启动问题并提升推荐精度。该技术配合生成式广告模型(GEM)和自适应排序模型,使各场景广告转化率提升0.35%。
此前,Meta依赖庞大的静态ID嵌入表,导致新商品因缺乏历史数据而难以被精准匹配。GenRecs Tokenization将广告、产品等实体编码为离散语义Token序列,使模型能利用预训练世界知识理解内容本质。例如,新款跑鞋广告可继承同类产品的已有认知,无需从零积累点击数据。
这一转变标志着工业推荐系统与大型语言模型(LLM)范式的深度融合。通过引入稳定的语义词汇表,Meta不仅消除了冷启动惩罚,还实现了内存占用降低90%以上的基础设施优化。目前争议较少,主要聚焦于该架构在超大规模实时排序中的长期稳定性与扩展性验证。
事情怎么走到这一步
Meta工程团队发布文章《From User Sequences to Scaling Laws》,介绍基于密集Token化和目标感知注意力的多阶段序列模型,作为GEM平台核心组件,已带来Instagram转化率累计提升6%。
engineering.fb.com ↗Meta正式推出GenRecs Tokenization,采用稳定语义词汇表替代专用ID,结合GEM和自适应排序模型,实现跨场景转化率提升0.35%,并显著降低内存需求。
engineering.fb.com ↗
还没定论的部分
- GenRecs Tokenization在极端高并发下的延迟表现是否优于传统ID查找?
- 语义Token化的质量指标(如聚类纯度)如何量化影响下游排序模型的最终收益?
- 该技术是否会进一步改变Meta对第三方开发者或广告主的数据接口规范?