AMD ROCm
5 节点1 篇5 来源
AMD ROCm 团队提出以内核文本 SHA-256 指纹为键的配置钉定法,将 TorchInductor 的 glue 内核配置搜索移出编译过程。在两个生产模型上,钉定配置相对默认启动获得 1.388x 和 2.846x 加速;控制实验表明加速主要来自配置优化而非 AITER 内核体替换。该方法通过离线扫描候选配置并写入包内,解决了编译器 autotune 缓存不稳定及选择范围受限的问题,旨在提升 AMD Instinct GPU 上的推理延迟稳定性。
事情怎么走到这一步
GitHub PR #2008 提交,涉及 Triton/inductor 相关优化,包括更新 triton pin 至性能优化 commit 及添加 flex_attention 的实验性穷举调优模式。
github.com ↗GitHub PR #195658 开始推进 Composable Kernel (CK) pin 的更新,并生成 ck/config.h 以支持 CK wheel 构建。
github.com ↗AMD ROCm 官方博客发布文章《An AITER Pin Keyed by Kernel Text》,详细介绍以内核文本为键的配置钉定法及其在 Model A/B 上的性能测试结果。
rocm.blogs.amd.com ↗FOSSWire 等媒体跟进报道,指出 AITER 优化通过内核文本指纹识别预调优 Triton 内核,显著降低推理延迟。
fosswire.org ↗DisconfirmAI 编辑整理新闻,强调控制实验证实 glue 加速来自配置而非内核体替换,并引用了具体的微秒级耗时对比数据。
disconfirmai.com ↗