语音转写公司AssemblyAI：跨GPU实例族分散加队列重试，Spot推理成本降70%

语音转写推理是GPU密集型工作负载。每个音频文件触发声学模型、语言模型和后处理阶段的深度学习管线，在NVIDIA GPU上运行以满足延迟要求。规模上来讲，这意味着数千台GPU实例持续运行。AssemblyAI需要一种方式在保持可用性和延迟承诺的前提下大规模运行这些工作负载，而全部使用按需实例在成本上不可行。

Spot实例提供显著折扣，但亚马逊弹性计算云（Amazon EC2）可以在需要容量时以两分钟通知收回实例。问题在于：如何优雅地吸收Spot中断，同时维持服务等级协议承诺？AssemblyAI的答案是四个支柱协同工作：ECS容量提供程序混合Spot和按需实例、跨多GPU实例族的Spot分散、基于队列的重试架构、以及多区域部署满足数据驻留要求。

其中最具迁移价值的发现是实例族分散。AssemblyAI的基础设施横跨三个EC2 GPU实例族：g4dn搭载NVIDIA T4 GPU，为标准语音识别模型提供经济基线；g5搭载NVIDIA A10G GPU，为更高要求的模型架构提供更高吞吐；g6搭载NVIDIA L4 GPU，为包括大语言模型推理在内的更大模型提供改进的性能价格比。通过跨实例族和尺寸分散需求，AssemblyAI从显著更大的可用Spot容量池中获取资源。这三个族接入独立的容量池，当一个族经历容量压力时，其他族仍然可用。文章明确指出，在此规模下运营，跨实例族和尺寸分散是降低Spot中断率最有效的杠杆。

中断发生时的恢复路径同样关键。当Spot实例收到两分钟中断通知时，能在窗口内完成的任务正常结束；需要更多时间的任务被返回SQS队列，立即对其他工作节点可用。另一个健康的GPU实例可能在不同实例类型或不同可用区上拾取消息并完成推理。为缩短恢复时间，AssemblyAI创建包含模型工件和容器镜像的自定义AMI，制作时间约两分钟，使新实例启动后即可直接运行推理而无需拉取镜像或下载模型。对终端客户而言，Spot中断的影响是处理时间略有增加，但转写最终成功完成并按预期交付。

在容量调度层面，AssemblyAI在每个ECS集群内配置多个容量提供程序于单一容量提供程序策略中。按需容量提供程序作为始终在线的基线，Spot容量提供程序跨不同GPU实例族和可用区服务需求峰值。每个容量提供程序关联一个EC2自动伸缩组，ECS托管伸缩根据容量提供程序权重和待处理推理任务自动调节GPU实例数量。当任务队列增长时，Spot容量提供程序从分散池中请求更多实例；当需求下降时，实例优雅缩减。

需要强调的边界：所有性能数据——70%成本节省、约4倍年度计算需求增长、约两分钟AMI创建时间——均为AssemblyAI和AWS自报。70%的对比基准是按需实例定价，文章指出全部使用按需实例在成本上不可行，但未披露AssemblyAI此前实际运行的混合配置。该模式适用于短生命周期、可独立重试的GPU计算任务；需要长时间连续状态维护的训练作业或跨请求保持上下文的推理场景，其队列重试假设不成立。此外，g4dn、g5、g6在特定欧洲区域的Spot可用性受AWS容量波动影响，分散策略的效果取决于这些容量池的实际独立性。