苹果多语预训练研究
4 steps1 pieces4 Sources
苹果机器学习团队近期密集发布多项研究，系统性地重构了低资源语言模型预训练的技术路径。核心发现表明，在数据受限场景下，引入高资源辅助语言（如英语）进行混合训练，其效果显著优于激进的超参数调优，性能提升等效于2至3倍的目标语言数据量。
这一系列研究始于对数据质量的关注，逐步深入到混合策略与缩放定律的结合。【背景】此前业界常通过调整权重衰减等超参数来缓解过拟合，但苹果最新实验证实，单纯依赖调参无法弥补目标语料匮乏带来的泛化能力下降，而数据混合能直接注入新知识并多样化训练信号。
争议点在于如何量化“混合”的收益：验证损失往往低估了混合的价值，因为它仅捕捉正则化效应，而忽略了知识贡献。后续工作进一步指出，混合训练允许目标语料重复15-20次而不致严重过拟合，这挑战了传统的数据去重直觉。
读者应关注苹果是否将这些基于缩放定律的最优混合比例算法集成至Apple Intelligence的基础模型更新中，以及该策略在非英语辅助语言场景下的普适性验证。
How it got here
苹果发布Apple Intelligence基础模型技术报告，介绍支持16种语言的端侧及云端模型架构。
arxiv.org ↗发表《评估数据质量在训练双语语言模型中的作用》，提出通过高质量英语数据过滤来提升法、德、中文模型表现。
machinelearning.apple.com ↗发布《Mix, Don’t Tune》论文，实证显示在阿拉伯语预训练中，混合英语数据比超参数调优带来更大性能提升。
machinelearning.apple.com ↗同期发布《Scaling Laws for Mixture Pretraining Under Data Constraints》，确定混合训练下目标数据可重复15-20次的阈值。
machinelearning.apple.com ↗
What is still unsettled
- 混合策略中的“知识贡献”部分如何更精确地从验证损失中剥离并量化？
- 当辅助语言并非英语而是其他高资源语言时，最优混合比例和收益倍数是否保持一致？
- 这些基于小规模代理模型推导出的缩放定律，在万亿参数级模型上的外推误差有多大？