阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯专题 · 英伟达AI工程博客2 分钟阅读·2026-10-18

英伟达工程师解释AI原生软件开发:以隔离与验证为核心的TensorRT实践

NVIDIA TensorRT团队高级工程师Yifei Fang分享了构建开源项目TensorRT Model Connect的经验。文章阐述了如何通过选择可横向扩展的工作、提供结果而非具体步骤给编码代理、以及实施严格的模型族隔离和对抗性验证,来安全地利用AI生成代码。

重要性实质性证据E3 可检验写法快讯

2026-09-30 03:10

在将AI编码代理融入严肃的软件工程时,关键挑战往往不在于代理能否完成单个任务,而在于如何设计系统以容纳其不可预测性。NVIDIA TensorRT团队高级工程师Yifei Fang在其关于开源项目TensorRT Model Connect的文章中,详细解释了“AI原生”开发的实际含义:并非让AI编写所有代码,而是将AI输出视为模块化、可验证的工作单元,并通过架构设计防止错误级联。

Fang指出,AI原生开发始于问题选择。只有当工作负载可以分解为独立的并行流时,增加代理才具有价值。TensorRT Model Connect针对长尾AI模型支持进行了优化,因为不同模型族的实现可以独立调查和测试。这种几何结构使得项目能够通过添加独立单元而非延长单一串行集成路径来扩展。截至2026年7月29日的公开版本,该项目已覆盖128个在NVIDIA GB300上测试的模型族。

在与代理交互的方式上,团队采取了“提供结果和参考,而非食谱”的策略。代理被赋予高层目标(如支持某个模型族或缩小精度差距)以及所需的证据标准,但具体的实现路径保持灵活。这种方法避免了将工程师的首选实现硬编码到每个提示中,允许通用代理利用其已学习的模式进行探索。然而,接受标准是严格的,任何变更都必须满足与其他贡献相同的架构和技术门槛。

隔离是规模化的核心单位。Fang强调,组件应根据其演变速度分离:TensorRT和CUDA作为稳定的执行基础,而Model Connect作为快速移动的集成层。模型族实现拥有特定的模型知识,包括构建器、运行时管道和验证证据。这种设计牺牲了一些代码复用以减少耦合,确保失败的影响范围局部化。同时,变更被设计为“双向门”,即易于评估和回滚,从而在不削弱系统的情况下实现快速学习。

随着候选代码变得廉价,证据变得昂贵。为了确保可靠性,验证过程必须对人类可读且对代理原生。语义任务接口(如文本输入/文本输出)使最终行为足够清晰,以便人类快速抽查。此外,QA和开发人员被视为对抗性合作者,共享可复现的CI管道。QA像红队一样试图证伪实现声明,而开发人员则加强实现和管道。这种机制确保了信任的增长速度与验证系统的扩展能力相匹配,而不是仅仅取决于代理生成代码的速度。

来源

  • 原始出处developer.nvidia.com↗
登录 / 注册
阅读研究雷达投资体系
专题

英伟达AI工程博客

英伟达近期通过开发者博客披露了其AI工程化的核心实践,重点展示了在软件构建与模型推理两个层面的技术突破。在软件开发侧,TensorRT团队提出“AI原生”理念,强调通过横向扩展任务、提供结果而非步骤给编码代理,以及实施严格的模型族隔离和对抗…

2 节点2 篇更新于 2026-10-18 18:43

事情怎么走到这一步

  1. 2026-09-21英伟达发布博客介绍TensorRT多设备推理集成,展示Cosmos 3 Nano视频生成延迟从156.6秒降至34.2秒。
  2. 2026-09-29英伟达TensorRT团队高级工程师Yifei Fang分享AI原生开发经验,阐述如何通过隔离与验证安全利用AI生成代码。

还没定论的部分

  • AI原生开发中的“对抗性验证”具体如何量化其对错误级联的阻断效果?
  • 多设备推理在并发吞吐量或成本效益方面的表现是否会在后续版本中得到补充评估?

这条线上还有

  • 英伟达TensorRT多设备推理:将分布式GPU加速封装为单一模型端点2026-10-18
读完整专题 →
带入研究 →