英伟达序列推荐加速

英伟达正通过全栈优化工具链，推动基于HSTU（Hierarchical Sequential Transduction Unit）架构的生成式推荐系统落地。该方案旨在解决传统深度学习推荐模型在长序列用户行为建模中的计算瓶颈，通过PyTorch生态集成、CUTLASS内核融合及Dynamo-Triton推理服务，实现训练吞吐提升85%、推理延迟降低最高5.93倍的性能突破。

【背景】HSTU由Meta提出，将推荐重构为序列生成任务，以克服传统DLRM的可扩展性限制。

时间线显示，2024年ICML论文确立HSTU理论优势；2025年6月NVIDIA发布recsys-examples，提供基于CUTLASS的高效HSTU算子及动态Embedding支持，并在美团场景验证了端到端吞吐提升85%；2026年9月推出GR-Inference系统，针对短解码、大Beam搜索特性优化KV缓存与调度，在小红书和唯品会落地中实现点击率与转化率微幅但关键的增长；10月NVIDIA工程师进一步解析SASRec向HSTU迁移的GPU内核融合策略。

争议点在于工程复杂度与收益平衡：一方认为生成式推荐需重构整个召回排序链路，另一方则指出通过TensorRT-LLM等现有工具可平滑接入。目前尚无定论的是大规模稀疏特征与稠密LLM联合推理的最佳实践边界。

后续需关注：1) NVIDIA recsys-examples仓库对更多主流推荐框架的兼容性更新；2) 头部互联网公司在A/B测试中关于“有效点击率”提升的具体阈值披露；3) HSTU在千亿参数规模下的推理成本曲线是否随硬件迭代持续下降。