AMD 展示智能体推理调度权衡:活跃会话延迟降 22%,新请求等待增加 49%
AMD ATOM 团队解释智能体编码工作负载的三层服务挑战,重点展示 PrefillDelayer 的调度策略:在 16 并发下将 P90 token 间延迟改善 22%,代价是中位首 token 时间恶化 49%,并说明为何该策略仅在特定并发区间启用。
智能体编码会话的流量模式与普通聊天请求有根本区别。AMD 在其 ATOM 推理引擎的技术博客中描述了一个典型案例:一次会话包含 198 次模型调用,其中第 48 次调用发送 195.5K tokens,但只有 1.3K 是新增内容。整个语料库的中位输入长度为 142,016 tokens,中位输出仅 444 tokens。这种极长输入、极短输出、高度共享前缀的模式,加上子代理的突发并行和工具执行造成的空闲间隔,构成了与普通请求完全不同的服务挑战。
AMD 将这些挑战分为三层:内存(保持历史可复用)、调度(平衡新请求与正在进行的解码)、计算(降低小批量下的单步开销)。其中调度层的权衡最为直观地揭示了智能体服务的内在矛盾。ATOM 的 PrefillDelayer 在每次 prefill 完成后,允许固定数量的解码步骤先运行,期间暂不接纳新到达的请求,使它们合并为一次 prefill。在 16 并发会话下,这一策略将 P90 token 间延迟从 31.6 毫秒降至 24.6 毫秒,改善 22%,活跃会话因此获得更稳定的输出节奏;但新请求的中位首 token 时间从 1,182 毫秒升至 1,766 毫秒,恶化 49%。
这个矛盾在智能体工作负载中比在普通聊天中更尖锐,因为会话树结构会放大延迟。一个父代理等待其子代理返回结果,任何一个分支的延迟都会推迟整个任务的完成。AMD 因此将 PrefillDelayer 仅从 16 并发及以上启用,在低并发的交互区间保持关闭,并在部署建议中按并发水平给出不同的配置组合。
内存层和计算层的优化各有其适用条件。ReplaySSM 将推测解码中每个草稿位置的全量状态快照替换为一个检查点加紧凑更新记录,在 7 个草稿 token 的实验中每卡释放 24.49 GiB,可用 KV 块从 8,325 增至 18,813,即 2.26 倍——但这增加的是历史保留容量,不是吞吐量或缓存命中率。Mono decode 将单个 KDA 层的多个小内核融合为两个持久内核,在单请求测试中将目标模型前向时间从 22.0 毫秒降至 16.4 毫秒,但该优化目前仅在单并发下启用,更高并发的效果尚未测量。
在综合效果上,AMD 报告 48 并发时 94.1% 的 prompt token 被复用而非重新计算(其中 77.3% 来自 GPU HBM,16.8% 从 CPU DRAM 恢复),而该语料库的理论上限为 97.2%。在 56 并发下,八张 MI355X 达到每芯片 17.5K 总 token/s。这些数字来自 AMD 在 SemiAnalysis InferenceX AgentX 基准测试中的运行结果,属于厂商在特定硬件和模型组合下的工程参考,并非独立第三方验证的普遍性能基准。