NVIDIA称TF32x3可加速机器学习原子间势并保持能量守恒,单遍TF32则无法收敛
机器学习原子间势因力对数值误差敏感,多数仍坚持FP32推理。NVIDIA在技术博客中报告,BF16x9和TF32x3两种Tensor Core FP32模拟方法可在不重训模型的前提下分别将PET分子动力学步加速1.1–1.7倍和约1.5倍,其中TF32x3在能量守恒和结构弛豫收敛测试中保持与FP32一致的物理行为,而速度更快的单遍TF32则无法达到力收敛标准。
机器学习原子间势(MLIP)用神经网络预测原子间能量和力,成本远低于密度泛函理论等量子力学方法,但精度要求并未因此降低。力是能量对原子位置的导数,在分子动力学模拟中每一步的力都决定原子速度和位置更新,数值误差会沿轨迹累积。因此即使GPU在低精度矩阵乘法上的吞吐量远高于FP32,许多MLIP仍坚持用FP32推理。
NVIDIA在其技术博客中评估了两种Tensor Core FP32模拟方法。BF16x9在Blackwell GPU上将每个FP32操作数分解为三个缩放BF16分量,计算九对乘积后在FP32中累加;通过设置环境变量CUBLAS_EMULATE_SINGLE_PRECISION=1即可启用,无需修改模型代码。TF32x3在Ampere GPU上将每个FP32操作数分为前导TF32分量和残差TF32分量,计算三个交叉乘积(前导×前导、前导×残差、残差×前导),省略最小的残差×残差项,通过CUTLASS的OpMultiplyAddFastF32算子实现,输入输出仍为FP32,对模型其余部分透明。
真正的区别不在单点精度,而在物理一致性。NVIDIA团队用三项测试验证:将CO分子从Pt(111)表面拖离时,TF32x3沿用了FP32的平滑能量曲线,而单遍TF32引入了可见的逐点波动;在192原子水盒的NVE模拟中,TF32x3与FP32表现出相当的有界能量涨落,单遍TF32则出现系统性漂移;在539原子Cantor合金薄片的结构弛豫中,TF32x3在218–222步内达到1.0×10⁻³ eV/Å的力收敛标准(与FP32的218步相当),而单遍TF32即使将步数限制加倍到1000步仍无法收敛,力停滞在约1.2×10⁻³ eV/Å。
在性能方面,BF16x9在17280原子体系上实现端到端1.7倍加速(192原子体系为1.1–1.2倍),其误差低于模型自身的非确定性水平;TF32x3在A100上加速MD步约1.5倍,力误差约为FP32重编译间差异的三倍。但加速幅度取决于体系大小和GEMM在总运行时间中的占比——小体系中启动开销和非GEMM工作占比更大,收益更有限。TF32x3的性能还依赖针对具体矩阵形状和硬件的内核调优。两种方法均无需重训或改变模型架构,可作为独立性能层与其他软件优化组合使用。