英伟达技术博客：如何在保留多语言能力的前提下微调语音识别模型以适应沙特阿拉伯方言
英伟达工程师详细解释了使用NeMo框架微调Nemotron 3.5 ASR模型以识别沙特纳季迪和希贾兹方言的工作流。通过最小化数据清洗、加权重放混合（Replay Mixing）、基于时长的分桶以及部分编码器解冻，模型在目标方言上的词错误率从55.05%降至29.96%，同时英语性能略有提升。文章还探讨了不同解码配置对延迟的影响，为低资源方言适配提供了可复现的工程参考。
重要性实质性证据E3 可检验写法快讯
自动语音识别（ASR）模型通常在主流语言和标准发音上表现良好，但在部署到特定地区方言或嘈杂环境时往往力不从心。英伟达技术博客于2026年10月1日发布了一篇详细教程，展示了如何使用NeMo框架微调Nemotron 3.5 ASR模型，使其能够准确识别沙特的纳季迪（Najdi）和希贾兹（Hijazi）方言，同时不牺牲原有的英语和其他阿拉伯语能力。
该工作流的核心在于解决“灾难性遗忘”问题，即模型在学习新方言时忘记旧语言。作者提出了一种加权重放混合策略：将90%的目标方言数据与10%的先前学习数据（7%英语FLEURS数据和3%阿拉伯语FLEURS数据）混合训练。这种显式的比例声明避免了因滑动窗口洗牌导致重放数据在训练后期才生效的问题。实验表明，仅7%的英语重放数据就足以让英语词错误率（WER）从11.04%微降至10.42%，证明该方法能有效保留多语言能力。
在数据处理方面，文章强调了“最小化清洗”的重要性。作者并未盲目使用默认的质量评分阈值，而是先检查分布再设定截断点。例如，默认的UTMOS质量分数阈值3.0会拒绝几乎所有样本，而实际使用的阈值为1.25。通过移除不可听标注（如“غيرواضح”）和严重错位的片段，保留了103,559个有效话语（占原始数据的82.5%）。此外，采用基于时长的分桶（Duration-based Bucketing）减少了填充浪费，使流式编码器的训练更加高效。
关于模型适配深度，作者对比了冻结编码器、解冻顶部N层和解冻全部24层的方案。结果显示，更新所有24层编码器带来了最低的误差率（WER 29.96%），但需要训练2.3亿参数。相比之下，仅解冻顶部8层虽然节省了计算资源，但WER升至32.32%。这表明在拥有约134小时目标语音数据的情况下，全量微调是可行的；但如果数据更少或内存受限，部分冻结则是更经济的选择。
除了训练阶段，推理时的解码配置也显著影响性能。作者发现，在不重新训练的情况下，将注意力上下文从默认的[56, 3]帧扩展到[56, 13]帧，并结合MALSD beam-8解码，可将WER进一步降低2.71个百分点至27.25%。然而，这一改进以增加约800毫秒的延迟为代价。因此，对于实时字幕等低延迟场景，较小的上下文窗口更为合适；而对于批量转录任务，更高的准确率则值得付出延迟成本。
该教程最后指出，这套方法可以迁移到其他语言或领域，但需要根据具体语料库调整元数据、规范化规则和评估指标。对于没有空格分隔的语言，词错误率可能具有误导性，建议使用字符级或形态素级指标。整体而言，这篇博客提供了一个从数据清洗、混合策略、架构调整到解码优化的完整工程视角，帮助开发者在有限资源下实现高质量的方言适配。