読書リサーチレーダー投資フレームワーク
ログイン / 新規登録
← 読解に戻る
トピックDisconfirmAI 編集部更新日 2026-11-20 11:37

AMD ROCm

5 ステップ1 件5 ソース

AMD ROCm 团队提出以内核文本 SHA-256 指纹为键的配置钉定法,将 TorchInductor 的 glue 内核配置搜索移出编译过程。在两个生产模型上,钉定配置相对默认启动获得 1.388x 和 2.846x 加速;控制实验表明加速主要来自配置优化而非 AITER 内核体替换。该方法通过离线扫描候选配置并写入包内,解决了编译器 autotune 缓存不稳定及选择范围受限的问题,旨在提升 AMD Instinct GPU 上的推理延迟稳定性。

経緯

  1. 2025-03-27

    GitHub PR #2008 提交,涉及 Triton/inductor 相关优化,包括更新 triton pin 至性能优化 commit 及添加 flex_attention 的实验性穷举调优模式。

    github.com ↗
  2. 2026-08-31

    GitHub PR #195658 开始推进 Composable Kernel (CK) pin 的更新,并生成 ck/config.h 以支持 CK wheel 构建。

    github.com ↗
  3. 2026-11-17

    AMD ROCm 官方博客发布文章《An AITER Pin Keyed by Kernel Text》,详细介绍以内核文本为键的配置钉定法及其在 Model A/B 上的性能测试结果。

    rocm.blogs.amd.com ↗
  4. 2026-11-17

    FOSSWire 等媒体跟进报道,指出 AITER 优化通过内核文本指纹识别预调优 Triton 内核,显著降低推理延迟。

    fosswire.org ↗
  5. 2026-11-18

    DisconfirmAI 编辑整理新闻,强调控制实验证实 glue 加速来自配置而非内核体替换,并引用了具体的微秒级耗时对比数据。

    disconfirmai.com ↗

未解決の問題

ログイン / 新規登録
読書リサーチレーダー投資フレームワーク
  • 该配置钉定法在动态形状或频繁变更的模型架构中的维护成本如何?
  • AITER 库中其他未提及的内核类型是否也适用此指纹匹配机制?
  • 社区反馈中是否有针对 SHA-256 截断哈希碰撞风险的讨论?

ソース

  • rocm.blogs.amd.comROCm Blogs: An AITER Pin Keyed by Kernel Text↗
  • fosswire.orgFOSSWire: AMD ROCm introduces AITER to optimize TorchInductor glue kernels↗
  • disconfirmai.comDisconfirmAI: AMD ROCm Team Proposes Configuration Pinning↗
  • github.comGitHub PR #2008: Triton/inductor related optimisations↗
  • github.comGitHub PR #195658: Advance CK pin, Generate ck/config.h↗

このトピックでのカバー範囲

  • AMD ROCm Team Proposes Configuration Pinning by Kernel Text as Key, Control Experiments Show Glue Acceleration Comes from Configuration Rather Than Kernel Body Replacement2026-11-18ニュース

    The AMD ROCm team has moved the TorchInductor glue kernel configuration search out of the compilation process, using the SHA-256 fingerprint of the kernel text as a key to write configurations into the package. On two production models, pinned configurations achieved speedups of 1.388x and 2.846x relative to default startup; control experiments that placed the same configuration back into the compiler's kernel body reproduced the performance, indicating that the acceleration stems from the configuration rather than kernel body replacement.