阅读研究雷达投资体系
登录 / 注册
← 返回阅读
专题DisconfirmAI 编辑部更新于 2026-11-20 11:37

AMD ROCm

5 节点1 篇5 来源

AMD ROCm 团队提出以内核文本 SHA-256 指纹为键的配置钉定法,将 TorchInductor 的 glue 内核配置搜索移出编译过程。在两个生产模型上,钉定配置相对默认启动获得 1.388x 和 2.846x 加速;控制实验表明加速主要来自配置优化而非 AITER 内核体替换。该方法通过离线扫描候选配置并写入包内,解决了编译器 autotune 缓存不稳定及选择范围受限的问题,旨在提升 AMD Instinct GPU 上的推理延迟稳定性。

事情怎么走到这一步

  1. 2025-03-27

    GitHub PR #2008 提交,涉及 Triton/inductor 相关优化,包括更新 triton pin 至性能优化 commit 及添加 flex_attention 的实验性穷举调优模式。

    github.com ↗
  2. 2026-08-31

    GitHub PR #195658 开始推进 Composable Kernel (CK) pin 的更新,并生成 ck/config.h 以支持 CK wheel 构建。

    github.com ↗
  3. 2026-11-17

    AMD ROCm 官方博客发布文章《An AITER Pin Keyed by Kernel Text》,详细介绍以内核文本为键的配置钉定法及其在 Model A/B 上的性能测试结果。

    rocm.blogs.amd.com ↗
  4. 2026-11-17

    FOSSWire 等媒体跟进报道,指出 AITER 优化通过内核文本指纹识别预调优 Triton 内核,显著降低推理延迟。

    fosswire.org ↗
  5. 2026-11-18

    DisconfirmAI 编辑整理新闻,强调控制实验证实 glue 加速来自配置而非内核体替换,并引用了具体的微秒级耗时对比数据。

    disconfirmai.com ↗

还没定论的部分

登录 / 注册
阅读研究雷达投资体系
  • 该配置钉定法在动态形状或频繁变更的模型架构中的维护成本如何?
  • AITER 库中其他未提及的内核类型是否也适用此指纹匹配机制?
  • 社区反馈中是否有针对 SHA-256 截断哈希碰撞风险的讨论?

来源

  • rocm.blogs.amd.comROCm Blogs: An AITER Pin Keyed by Kernel Text↗
  • fosswire.orgFOSSWire: AMD ROCm introduces AITER to optimize TorchInductor glue kernels↗
  • disconfirmai.comDisconfirmAI: AMD ROCm Team Proposes Configuration Pinning↗
  • github.comGitHub PR #2008: Triton/inductor related optimisations↗
  • github.comGitHub PR #195658: Advance CK pin, Generate ck/config.h↗

这一专题下的内容

  • AMD ROCm 团队提出以内核文本为键的配置钉定法,控制实验表明 glue 加速来自配置而非内核体替换2026-11-18资讯

    AMD ROCm 团队将 TorchInductor 的 glue 内核配置搜索移出编译过程,以内核文本的 SHA-256 指纹为键写入包内。在两个生产模型上,钉定配置相对默认启动获得 1.388x 和 2.846x 加速;控制实验将同一配置放回编译器内核体后性能复现,表明加速来自配置而非内核体替换。