NVIDIA工程师在PyTorch频道解析序列推荐模型加速：SASRec与HSTU的GPU优化实践

NVIDIA工程师Zan Huang和Jiayu Sun于2026年9月24日在PyTorch官方YouTube频道发布了题为“Accelerating Sequential Recommender Models in the PyTorch Ecosystem”的技术演讲。该视频聚焦于序列推荐模型与大语言模型（LLM）在自注意力机制上的联系，以及生产环境推荐系统所面临的独特挑战。

根据发布者提供的摘要，演讲首先回顾了早期基于Transformer解码器的序列推荐器SASRec，展示了其从TensorFlow到PyTorch的重写过程，并强调了PyTorch如何降低建模复杂性以及学术原型与生产系统之间的差距。随后，演讲深入探讨了HSTU这一大规模序列推荐注意力算子，分析了其标准Transformer注意力的结构性差异，并分享了关于内核融合、变长序列处理以及通过FBGEMM集成到PyTorch的关键GPU洞察。最后，演讲者从建模和系统角度反思了序列推荐与LLM的关系，分享了跨推荐工作负载的新兴趋势和优化策略观察。