AMD发布InferaSim：用稀疏测量预测大模型推理性能，大幅降低调优成本
AMD推出开源工具InferaSim，通过少量实测结合解析投影预测LLM服务配置性能，内部测试显示可节省超95%的GPU试错时间。
美国半导体公司AMD于2026年11月6日发布了开源工具ROCm InferaSim，旨在解决大语言模型（LLM）推理服务配置调优中耗资巨大的问题。在部署LLM服务前，工程师需要选择推理引擎、并行布局、精度和调度器设置等参数，这会产生数千种候选配置。传统方法需要对每个配置进行硬件实测，每次试验都会占用多GPU节点数分钟。AMD表示，其搜索空间中的完整测量大约需要25,000个GPU小时，因此大多数团队只能尝试少数猜测并保留最佳结果，而错误的猜测会导致额外的GPU浪费或错过延迟目标。
InferaSim的核心思想是“稀疏测量，解析迁移”。该工具将影响内核运行的参数（如模型、数据类型、注意力后端、图模式、投机解码）与可以解析计算的参数（如批次大小、并发度、上下文长度、张量并行宽度、副本数量）分离开来。对于前者，InferaSim只需进行一次短时间的实测，称为“锚点”（anchor），保存为包含预填充和解码步骤延迟扫描及运行签名的JSON文件；对于后者，工具则基于锚点进行快速解析投影。每个投影在单个CPU核心上耗时不到半秒。
在AMD自家的Instinct MI355X GPU上的内部测试显示，11个锚点的测量成本为9.1个GPU小时，覆盖了原本需要204个GPU小时才能完全测量的226种配置。这意味着GPU时间主要用于确认一个简短的候选列表，而不是遍历所有可能性。InferaSim能够在任何部署存在之前，预测HBM容量是否足够、特定到达过程下的延迟分布、满足SLO所需的副本数量以及预填充和解码的最佳拆分方式。
该工具还引入了离散事件模拟器（DES）来模拟泊松到达过程，从而提供延迟百分位数和队列等待时间，而非仅仅是平均值。此外，InferaSim可以绘制吞吐量与交互性之间的帕累托前沿，帮助团队找到在给定交互性水平下每GPU吞吐量最高的配置。根据AMD发布的论文和博客，InferaSim的预测前沿保留了GLM-5.2所有10个实测前沿配置，以及MiniMax-M3 12个实测前沿配置中的11个。
开发者可以通过GitHub仓库获取代码，并在支持ROCm软件栈的主机上安装。InferaSim提供了两种模式：默认的“锚定模式”使用匹配的锚点校准步骤模型，适合绝对数值预测；“模拟模式”则是完全解析的，不需要锚点，仅用于在同一引擎内对候选者进行排名。这一工具为AI基础设施团队提供了一种更经济、更高效的推理服务优化路径。