TensorRT 11.1 自动调优：把编译器调度变成可搜索的构建路线

深度学习编译器在生成推理引擎时，调度阶段决定模型以何种顺序和方式执行各层运算。这个阶段的传统做法是编译器作者为常见模型编写启发式规则，遇到新模型或新硬件组合时再追加例外。NVIDIA TensorRT 高级系统软件工程师胡健（Jian Hu）和高级产品经理柴琳（Lin Chai）在 10 月 23 日发布的 TensorRT 11.1 技术博客中，介绍了他们如何改变这一工作方式：把调度策略表示为可搜索的构建路线，让性能优化从预测转向测量。

构建路线的核心概念是编译器旋钮。一个旋钮是改变编译管线某个方面的配置项，例如选择水平融合还是垂直融合、采用哪条代码生成路径。TensorRT 11.1 暴露超过 200 个可调旋钮，每个旋钮有有限个允许值和一个默认值。一组旋钮取值的确定组合就是一条构建路线。不指定路线时，TensorRT 使用所有旋钮保持默认值的路线。

作者用一个假设的三遍编译器说明基本逻辑：第二遍 f₂ 的融合策略由一个二值旋钮 p 控制，p=1 时水平融合，p=0 时垂直融合。两种取值产生两条路线，对同一输入模型生成两个候选引擎。水平融合未必总是更快——对某个模型它可能胜出，对另一个模型则可能落败，结果还会随张量形状和目标 GPU 变化。因此选择更优路线需要把两个候选都构建出来，比较端到端性能。

这个两路线例子捕捉了调优的本质：编译器暴露有意义的调度替代方案，测量行为决定哪个完整方案在当前部署场景下表现最好。胡健和柴琳强调，旋钮组合是构建路线的规格说明，不是引擎的完整描述；TensorRT 仍然执行战术选择等剩余构建阶段，并可能用网络约束调和个别旋钮值。

在实际实现中，trtexec 工具将调优组织为循环：用户指定输入模型和一个类正则的路线表达式，trtexec 按搜索算法将表达式展开为具体路线列表，逐条构建引擎并测量精度和性能，排除构建崩溃或推理精度不达标的路线，最终选出测量到的端到端性能最快的合格引擎。厂商在十个评估工作负载上报告了 1.14 倍至 1.63 倍的性能提升（相对默认路线归一化），但这是 NVIDIA 自测结果，未给出独立复现。

性能与精度纠缠是推理优化中的实际困难。作者用一个思想实验说明 Global Performance Tuner 如何将其分离：假设一个简单神经网络模型有四个位置可以插入量化节点（Q/DQ），每个位置由一个二值旋钮控制，编译器因此提供 2 的 4 次方等于 16 个候选方案。全部插入量化的方案性能最好但可能不满足精度要求；完全不插入的方案精度最好但性能最差。中间哪些方案同时满足两个要求，事先难以判断。

解法是引入精度容差阈值 ε。当 ε 为零时，候选输出必须与参考输出逐位一致，只有不做任何低精度替换的方案合格；当 ε 为正无穷时，精度约束不起作用，全部 16 个方案合格。作者进一步假设：若解空间中存在一个不做任何有效计算、运行时间为零的"空"方案，纯性能导向的优化器可能选中它——这说明性能本身不是充分的优化目标。当 ε 从正无穷逐渐收紧到零时，合格候选集逐步收缩——作者举例说明可能从 16 个缩到 14、13、8、7 最终到 1 个，但强调这些数字仅为示意，实际转换点取决于模型、参考数据和所选精度指标。

由此，Global Performance Tuner 的设计原则是：精度决定哪些候选方案可接受，性能在可接受方案中排序。开发者设定适合自己应用的精度边界，调优器在该边界内识别测量到的最快构建路线。作者明确指出这不消除底层权衡，而是将性能与精度在优化过程中的角色分离，使性能-精度优化成为可测量、可复现、由应用定义的约束优化过程。

胡健和柴琳同时给出使用建议，其中一条与适用边界直接相关：最优构建路线严格绑定搜索时使用的模型、输入形状、目标 GPU、软件栈以及 TensorRT 和调优器版本。一条在某个部署中改善性能的路线，在另一个部署中可能无效甚至导致回退。更换模型、形状、硬件、CUDA 或驱动环境或相关 TensorRT 版本后需要重新调优。此前调优实验中获得的知识仍有价值——如果某些旋钮反复改善一类相关工作负载，该经验可以指导未来搜索空间设计并帮助优先排序有希望的候选，但应作为聚焦探索的先验，最终路线仍须在实际部署环境中验证和测量。