语音AI公司Deepgram称Nova-3移植AWS Trainium2后批处理推理每美元多处理11%至70%音频

语音AI公司Deepgram每年处理千万亿音频token，服务超过20万开发者和1400家组织。其离线批处理负载——呼叫中心分析、医疗转录等场景——对推理成本极度敏感。2026年10月，Deepgram与AWS前向部署工程团队公布了一份将Nova-3语音转文字模型移植至Trainium2芯片的完整工程记录，自报在单台EC2 trn2.3xlarge实例上每美元多处理11%至70%音频。

移植并非简单的编译替换。团队首先用TorchNeuron将Nova-3在Trainium2上以eager模式运行，检查哪些操作回退到CPU，然后用torch.compile将编码器与解码器分别编译为静态形状图，编译后的路径在Trainium2上运行所有模型操作，未检测到CPU回退。数值精度在层级输出和端到端词错误率两个层面校验，确保与Deepgram参考值一致。

真正的增益来自内核级优化。团队采用一个循环策略：启用NKILib预置内核、用Neuron Explorer做性能剖析、根据剖析结果调优或手写替换。三个关键发现各有针对性——前馈网络层的参考内核每个token tile都从片外重新加载全部投影权重，内存带宽成为瓶颈，手写内核改为一次加载权重tile并在多个token tile间复用，在batch size 96下延迟降低至参考内核的一半；深度可分离一维卷积的参考内核被建模为隐式矩阵乘，Tensor Engine利用率低，团队改写为向量引擎上的广播乘累加循环，达到满利用率，提速1.5倍；二维卷积层在batch size超过32后阻止整图编译，团队从零编写了NKI内核，在batch size不超过32时卷积模块提速最高达50倍。

最后一个增益来源是运行时语言。Nova-3对每个音频块执行一系列小型解码器调用，主机端调度在低batch size下成为瓶颈。Deepgram的生产服务栈本身用Rust编写，团队因此构建了一个轻量Rust运行时：Rust通过共享工作窃取队列协调八个模型副本，C层直接通过Neuron Runtime API加载和执行预编译的NEFF文件，完全绕开Python解释器。与多进程Python基线相比，Rust运行时消除了解释器开销；与多线程基线相比，还缓解了GIL序列化。在吞吐最优的batch size下，Rust运行时比多进程Python基线再提升7.5%吞吐。

需要强调的是，上述所有数据均为Deepgram与AWS的自报测量，基线为Deepgram此前运行的计算选项，具体配置未公开。11%至70%的宽区间覆盖了不同工作负载和batch size，读者在评估自身场景时不能直接套用这一范围。