阅读研究雷达投资体系
登录 / 注册
← 返回阅读
资讯实质变化2 分钟阅读DisconfirmAI 编辑部

AMD ROCm 团队提出以内核文本为键的配置钉定法,控制实验表明 glue 加速来自配置而非内核体替换

AMD ROCm 团队将 TorchInductor 的 glue 内核配置搜索移出编译过程,以内核文本的 SHA-256 指纹为键写入包内。在两个生产模型上,钉定配置相对默认启动获得 1.388x 和 2.846x 加速;控制实验将同一配置放回编译器内核体后性能复现,表明加速来自配置而非内核体替换。

2026-11-17 08:00

TorchInductor 在编译推理图时,会为每个 glue 内核(pointwise、reduction、persistent-reduction)生成候选配置列表,autotune 计时后把赢家写入以融合编号为键的缓存。这个机制有两个硬伤:第一,它是封闭选择,只计时编译器自己列出的候选,更快的 tile 若不在列表里就永远不会被选中;第二,缓存键是融合编号而非内核内容,上游模板一变编号就重新排列,缓存随之失效,而且同一 GPU 上另一个进程可以让最快的配置看起来变慢。AMD 的 Yuchen Lin、Huan Li、Chunhung Wang 和 Chao Chen 在 2026 年 11 月 17 日的 ROCm 博客中提出将搜索移出编译:离线扫描候选配置,只有数值检查通过且追踪确实更快时才保留,最终以内核文本的 SHA-256 指纹(去掉数字后缀后截断至 20 个十六进制字符)为键,连同选定配置一起写入 AOTInductor 包。启动时不再计时候选,直接加载已验证的配置。

方法的核心验证来自一个控制实验:将 Tuned 包中的配置钉定文件放回 Inductor 编译器内核体(即不替换任何内核源代码),在 Model A 的 GPU 6 上测得 1567.2 us 的 glue 时间,与 Tuned 的 1598.7 us 基本一致;在 Model B 上,编译器内核体加同一配置钉定文件得到 391.2 us,而 Tuned 为 350.88 us。两个快速行在延迟上也吻合。这说明 1.388x 和 2.846x 的加速几乎完全来自配置搜索,AITER 内核体替换(Model A 上仅三个 SiLU 内核)不是必要条件。

适用边界是:形状固定,使一个测量配置就是生产启动的那一个;热路径仍是未调优的 GEMM 或 attention 时此法无效;形状每步变化时钉定失去意义;时间瓶颈是内核体无法消除的启动开销时也无济于事。所有数据为 AMD 在 GFX942(80 CU)、ROCm 7.2.2、PyTorch 2.9.1 环境下的自报结果,Model A 的三个 open-list 编译结果差距达 245 us,大于 Tuned 相对最快编译的优势,因此该优势未列为加速比。

来源

  • rocm.blogs.amd.comROCm Blogs↗
带入研究 →
登录 / 注册
阅读研究雷达投资体系