NVIDIA发布开源中间训练配方，自报代码智能体基准得分提升

NVIDIA研究团队于10月15日提交arXiv预印本，公开了一种用于大语言模型的“中间训练”（midtraining）配方。该方法旨在填补短上下文预训练与合成数据监督微调（SFT）之间的空白，通过引入大量真实的软件工程数据来提升模型作为代码智能体的能力。

该配方在256K上下文窗口下，使用打包的代码仓库、Pull Request、提交历史和构建日志等自然数据，以及少量智能体轨迹数据进行训练。在NVIDIA自家的Nemotron 3.5 Lightning模型上，经过5000亿token的中间训练后，其SWE-bench Verified得分从60.7提升至64.5，SWE-bench Multilingual从55.8升至62.8。在更大的Nemotron 3.5 Super模型上，DeepSWE基准得分从11.7提升至15.7。

研究指出，传统的预训练很少接触智能体交互，而纯合成的SFT数据可能导致后续强化学习阶段的训练不稳定。中间训练通过混合真实世界代码数据解决了这一问题。目前该结果仅为作者自测，尚未有第三方独立复现报告。