NVIDIA研究员Dhruv Nathawani：用Wikidata图路径构造搜索谜题，训练模型调用搜索工具而非凭记忆作答
NVIDIA研究科学家Dhruv Nathawani在AI Engineer大会上展示了一条合成数据管线：从Wikidata实体图随机游走获取路径，将路径转化为必须多步搜索才能解答的谜题，再用搜索工具执行生成完整轨迹用于监督微调。他报告5万种子经生成和过滤后保留7千条训练记录，模型在BrowseComp基准上从0%提升至30%。同时他坦承验证环节的困难：一个关于美国钢铁公司归属的谜题，生成器和验证器都给出了过期答案。
如果模型能从参数记忆里直接给出答案，它就没有理由调用搜索工具。教模型搜索，因此不是训练阶段的事，而是数据设计阶段的事：你必须先构造出那些让搜索成为唯一可行路径的问题。NVIDIA研究科学家Dhruv Nathawani在2026年10月的AI Engineer世界博览会上，用NeMo Data Designer展示了这条从问题设计到训练数据的完整管线。
核心技巧是把Wikidata实体图的随机游走路径变成谜题。例如一条路径连接NVIDIA→Jensen→Oregon State University→Benton County→Thomas Hart Benton，生成的谜题是：'哪家公司由那位就读于以Thomas Hart Benton命名的县内大学的人创立？'答案藏在链式关系里，模型无法一步搜索命中，必须拆解线索、逐步检索、比对约束。Nathawani给出的经验是游走长度控制在四到八跳：太短则答案过于直接，太长则容易漂移到'人类'这类无区分度的通用节点。
管线分三个笔记本递进。第一个用Wikipedia主题CSV作为种子，配合难度采样器和Jinja模板生成问答对，此时还没有搜索行为。第二个通过MCP协议接入Tavily搜索工具，让模型在回答时发出真实查询并保留检索结果，训练材料从孤立答案变成可检查的尝试轨迹。第三个把Wikidata路径作为种子，让模型基于路径中的实体生成谜题，再由搜索代理执行完整的多步工具调用，产出包含查询、返回内容和最终回答的端到端轨迹，用于监督微调。
Nathawani报告了这条管线的产出数字：5万个种子经过生成和过滤后保留7000条高质量端到端SFT记录，训练后模型在BrowseComp基准上从0%移动到30%。他同时指出，这是整条管线的综合效果，无法归因到某一种采样器、某个提示模板或某一层过滤器。在Text-to-SQL任务上，他报告Nemotron Nano在BIRD基准上从26%提升到41%，但明确区分了这是非代理式设置，与代理式系统的SOTA分数不可互换比较。
验证环节是这条管线最诚实的困难。Nathawani举了一个具体例子：一道谜题问'哪个国家拥有美国钢铁公司'，代理回答'美国'，验证器判定正确。他后来搜索后觉得该公司可能已被日本企业收购——他本人用了生成器和验证器共享同一个错误前提，双方一致通过并不意味着答案正确。他进一步指出，一个简单确定性匹配函数只给出约24%的吻合率，但这个低数字本身无法区分是答案确实差、参考标准不合适、还是匹配函数没能识别可接受的回答。
他的应对是把评估拆成多个方向：模型判断负责规模化初筛，人工复核模型判断本身来确认评估标准是否被正确执行，实时信息检索来检查底层事实是否已变化。他强调，通过一百项检查只能证明这一百项问题不存在，不能证明没有其他问题。
对实践者而言，这条管线可迁移的要点不在于具体工具选择（Tavily只是演示，Exa或自建搜索工具均可替换），而在于数据设计思路：多样性优先于数量，用最便宜的正确列类型（采样用Python而非LLM），先过量生成再过滤，在预览阶段检查少量记录后再启动批量，以及把数据生成配方本身当作可版本控制的代码来分享。
这条管线目前仍在NVIDIA内部用于Nemotron系列模型的搜索能力训练。Nathawani也提到强化学习变体：不预先执行每道谜题生成目标轨迹，而是只生成提示数据集，在训练时让模型实时调用工具并由NeMo Gym的奖励函数评分。但他明确表示通用奖励函数的生成仍是未解决问题，团队正在考虑但尚未实现。