NVIDIA中间训练配方

NVIDIA于2026年10月17日公开了用于代码智能体的“中间训练”（Midtraining）配方，旨在解决大模型从预训练到微调过程中的数据断层问题。该阶段在256K上下文长度下，使用数百亿token的自然软件工程数据（如仓库、PR、提交历史）及少量智能体轨迹进行训练。

【背景】传统流程中，预训练通常仅支持4K-8K短上下文且缺乏智能体交互数据，而SFT多为合成数据且长周期训练可能损害后续RL的可训练性。中间训练通过引入长上下文自然数据，将部分学习负担从SFT前移。

实验显示，在Nemotron 3.5 Lightning模型上，500B token的中间训练使SWE-bench Verified得分从60.7提升至64.5；在更大的Nemotron 3.5 Super模型上，280B token使DeepSWE得分从11.7升至15.7。此外，该方法还提升了模型在不同智能体框架下的鲁棒性。

目前争议点在于：虽然NVIDIA自报显著增益，但业界对于“中间训练”是否应成为标准流程尚无定论，且其计算成本较高。未来需关注其他实验室复现结果及更多开源模型对该配方的采纳情况。