英伟达方言ASR微调

英伟达发布基于NeMo框架微调Nemotron 3.5 ASR模型的技术方案，旨在解决沙特阿拉伯纳季迪（Najdi）和希贾兹（Hijazi）方言识别难题。通过引入加权重放混合（Replay Mixing）、最小化数据清洗及部分编码器解冻策略，该工作流在仅使用133.7小时目标方言数据的情况下，将测试集词错误率（WER）从55.05%显著降至29.96%，同时保持英语及其他阿拉伯语方言性能不退化甚至略有提升。

这一进展揭示了多语言大模型在垂直领域部署时的核心矛盾：单纯针对新方言微调往往导致“灾难性遗忘”，削弱原有语言能力。英伟达的方案证明，通过在训练集中混入约7%的英语等旧数据作为“重放”样本，并保守地保留噪声较大的难例音频（而非盲目过滤），可以在不牺牲通用性的前提下实现高精度方言适配。此外，实验表明全量更新24层编码器虽能获得最低错误率，但需训练2.3亿参数；而在数据有限时，部分冻结编码器虽损失约2.4个百分点精度，却能大幅降低算力需求。对于实时应用，调整解码配置（如Beam-8 MALSD）可在不重新训练的情况下进一步降低2.71% WER，但会增加约800ms延迟，需在准确率与响应速度间权衡。