Lambda等开源TurboPairFormer：OpenFold3训练提速1.73倍且梯度可复现

Lambda、Stevens理工学院和OpenFold团队于2026年11月13日发布了开源GPU内核库TurboPairFormer，旨在优化生物分子结构预测模型OpenFold3的训练效率。该工具针对计算成本高昂的“三角注意力”（triangle attention）操作进行了重构，在NVIDIA H100和H200 GPU上实现了最高1.73倍的训练加速。

据官方博客称，TurboPairFormer通过三项关键技术提升了性能：首先，它在反向传播中仅重新计算一次注意力概率，减少了冗余开销；其次，它采用输出残差补偿技术，捕获FP32转BF16时的舍入误差，使梯度平均误差降低28%至47%；最后，它使用固定累加顺序确保梯度在重复运行中逐位一致（bitwise identical），解决了浮点原子操作导致的非确定性问题。

在16张H100 GPU的测试中，TurboPairFormer在所有测试的裁剪大小（crop sizes）下均显示出最低的每步GPU计算时间。例如，在768 token裁剪下，其速度比原OpenFold3 Triton后端快1.73倍，比NVIDIA cuEquivariance快1.13倍。此外，在600个固定输入测试用例中，所有梯度均实现了完全可复现，有助于稳定大规模训练过程。