苹果研究：双语混合预训练优于超参数调优，等效于2至3倍数据量

在数据受限的语言模型预训练中，混合高资源辅助语言数据的效果优于激进的超参数调优。

对于大多数低资源语言，模型必须重复训练数据多次，这会损害泛化能力。传统补救措施包括通过高权重衰减进行正则化以限制网络容量，或引入辅助语言数据以扩展训练分布。

苹果机器学习团队在150M至1.43B参数的四种模型规模上进行了约1000次预训练实验，以阿拉伯语为目标、英语为辅助。结果显示，混合数据带来的验证损失改善相当于2至3倍的独特目标数据量，下游任务准确率提升相当于2至13倍。此外，目标语言验证损失会系统性低估混合数据的价值，因为它只捕捉了正则化效应而忽略了知识贡献。

该结论基于自测基准（E2），尚未见独立复现。建议优先调整混合比例而非超参数，并通过μP从小型代理模型迁移超参数。