英伟达cuBLAS新算法
3 节点1 篇3 来源
英伟达在 CUDA Toolkit 13.4.2 中为 cuBLAS 库引入了 Ozaki-II 和 2M 算法,旨在通过整数 Tensor Core 加速双精度矩阵乘法(DGEMM/ZGEMM),同时保持全 FP64 精度。该方案将浮点数拆解为整数片段进行计算并重组结果,官方测试显示在 Vera Rubin NVL72 上 DGEMM 速度提升最高达 5.5 倍,GB200 上 ZGEMM 提升 5 倍。尽管无需修改应用代码即可自动启用,但业界对仿真精度是否完全符合 IEEE 标准、内存开销增加以及在向量主导负载中的实际收益存在争议。AMD 等竞争对手强调原生 FP64 硬件的重要性,而独立研究指出宽指数分布可能影响精度。读者需关注后续第三方基准测试及 HPC 中心在实际生产环境中的验证结果。
事情怎么走到这一步
英伟达发布技术博客,介绍 CUDA Toolkit 13.0 Update 2 中 cuBLAS 的浮点仿真功能,包括基于 Blackwell INT8 Tensor Core 的 FP64 仿真(Ozaki Scheme)。
developer.nvidia.com ↗英伟达宣布 CUDA Toolkit 13.4.2 引入 Ozaki-II 和 2M 算法,声称在保持全精度下显著加速科学计算中的双精度矩阵乘法。
developer.nvidia.com ↗TechTimes 报道指出,虽然英伟达宣称最高 5.5 倍加速,但该增益仅适用于矩阵乘法,向量运算无提升,且所有数据均来自英伟达内部测试。
techtimes.com ↗
还没定论的部分
- 独立实验室或第三方 HPC 中心(如 TACC)能否复现英伟达报告的端到端加速比?
- Ozaki-II 算法在输入数据指数分布较宽时的实际精度损失是否在可接受范围内?
- 相比原生 FP64 实现,仿真算法带来的额外内存占用(约两倍)是否会限制大规模并行计算的扩展性?