NVIDIA中间训练配方
2 节点0 篇3 来源
NVIDIA发布开源“中间训练”（Midtraining）配方，旨在填补大模型预训练与后训练之间的空白，提升代码智能体性能。该阶段在256K上下文长度下，使用数百亿个自然软件工程数据Token进行训练。实验显示，在Nemotron 3.5 Lightning模型上，500B Token的中间训练使SWE-bench Verified得分从60.7提升至64.5；在更大的Super模型上，DeepSWE得分从11.7升至15.7。此举回应了业界对长上下文Agent数据难以融入传统短上下文预训练或合成数据主导的SFT阶段的痛点，并指出过长的SFT可能损害后续RL训练能力。目前争议在于该配方是否具备普适性，以及其数据混合比例对其他架构的影响。
事情怎么走到这一步
NVIDIA团队在arXiv提交论文《Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe》，公开中间训练的数据构造方法与消融实验结果。
arxiv.org ↗媒体广泛报道该配方，强调其在Nemotron系列模型上带来的SWE-bench等代码基准分数显著提升，以及其对Agent鲁棒性的改善。
aiweekly.co ↗
还没定论的部分
- 该中间训练配方在非Nemotron架构（如Qwen、GLM）上的迁移效果如何？
- 自然软件工程数据与少量Agent轨迹的最佳混合比例在不同规模模型中是否一致？
- 社区复现该配方时，所需的计算资源门槛是否会限制中小实验室的应用？