NVIDIA发布开源中间训练配方，自报Nemotron模型SWE-bench得分提升3.8分

NVIDIA研究人员在arXiv发布了一篇关于“中间训练”（Midtraining）的开源配方，旨在解决前沿模型在预训练和后期监督微调（SFT）之间的数据断层问题。该研究指出，预训练通常使用短上下文且缺乏智能体交互数据，而SFT多为合成数据且过长会损害后续强化学习潜力，中间训练则通过在256K长上下文中混合自然软件工程数据（如代码库、PR、提交历史）与少量智能体轨迹来填补这一空白。

据论文摘要自报，在Nemotron 3.5 Lightning模型上，经过500B tokens的中间训练后，其SWE-bench Verified得分从60.7提升至64.5，SWE-bench Multilingual从55.8提升至62.8。在更大的Nemotron 3.5 Super模型上，280B tokens的中间训练使DeepSWE得分从11.7升至15.7。这些结果均在相同的完整SFT配置下测得。

该配方还报告了基于短固定SFT运行的评估协议，因为作者发现基座模型的代理指标无法可靠预测后训练结果。目前该结果仅为第一方基准测试，尚未见独立第三方复现，且主要验证于NVIDIA自家的Nemotron系列模型。