资讯1 分钟阅读·
PyTorch视频：Y. Zhao讲HiFloat8及vLLM/DeepSpeed实现
PyTorch官方频道于2026年9月24日发布视频，由Y. Zhao介绍HiFloat8 (HiF8)。该格式旨在通过“自然”对齐神经网络权重分布来缓解FP8的梯度溢出问题，并在vLLM和DeepSpeed中演示了实现，声称提供与FP16相当的准确率及更高的GEMM性能。
重要性局部证据E2 未复现写法快讯
PyTorch官方频道于2026年9月24日发布了一期关于HiFloat8 (HiF8) 的技术讲解视频，主讲人为Y. Zhao。该资源针对标准FP8格式在大模型训练中常见的梯度溢出和依赖复杂延迟缩放导致的稳定性问题，提出了HiF8作为一种替代方案。
根据发布者描述，HiF8是一种锥形精度格式，其动态范围管理方式被认为能更自然地匹配神经网络的权重和梯度分布，从而无需像标准FP8那样进行激进的缩放即可捕捉高幅值异常值。视频内容涵盖了HiF8在训练和推理流程中的应用，并展示了其在vLLM和DeepSpeed生态系统中的实现，允许开发者在GPU上评估其性能。
发布者指出，HiF8在保持与FP16相当准确率的同时，可提供1.5至1.7倍的GEMM（通用矩阵乘法）性能提升。此外，视频还分享了关于HiF8专用硬件支持的持续合作见解。对于关注模型训练稳定性优化及底层数值格式创新的AI工程师和研究者，此视频提供了具体的技术背景和实现路径参考。