NVIDIA
2 节点1 篇3 来源
【背景】NVIDIA研究科学家Dhruv Nathawani在2026年AI Engineer大会上展示了一条基于Wikidata知识图谱的合成数据管线,旨在训练大模型调用搜索工具而非凭记忆作答。该管线通过随机游走获取实体路径并转化为多步搜索谜题,经Tavily实时搜索生成轨迹后用于监督微调。报告显示,5万个种子数据经严格过滤保留7千条高质量记录,使模型在BrowseComp基准上的表现从0%提升至30%。然而,Nathawani也坦承验证环节的困难:即使源自Wikidata的谜题,其答案也可能因事实过时而失效,导致生成器与验证器同时给出错误结果。这一案例揭示了合成数据在解决“幻觉”与保持“时效性”之间的张力,表明单一模型评分或静态源图无法确立数据集质量,需结合确定性检查、人工复核与动态事实证据。
事情怎么走到这一步
NVIDIA研究员Dhruv Nathawani在AI Engineer大会展示Wikidata搜索训练管线,报告BrowseComp得分从0%升至30%。
youtube.com ↗NVIDIA NeMo Data Designer发布开发笔记,详述四阶段管线:从5万Wikidata种子到7千SFT轨迹,使用MiniMax-M2进行Rollout。
docs.nvidia.com ↗
还没定论的部分
- 如何解决Wikidata等静态知识源的事实过时问题,以确保训练数据的长期有效性?
- 除了BrowseComp,该管线在其他复杂推理基准上的泛化能力如何?