AMD智能体推理调度
5 节点1 篇5 来源
AMD ATOM团队针对智能体编码工作负载(AgentX)的长历史复用与突发子代理特性,提出了三层服务优化策略。核心在于PrefillDelayer调度机制:在16并发场景下,该策略通过延迟预填充请求以合并短批次,使活跃会话的P90 token间延迟改善22%,但代价是新请求的中位首token时间(TTFT)恶化49%。这一权衡仅在特定并发区间启用,旨在平衡持续生成体验与新请求响应速度。此外,AMD结合Moonshot AI重建了基于Kimi K3/K2.6模型的端到端服务栈,利用统一内存带宽池(UMBP)实现多级KV缓存感知路由,进一步降低p99 TTFT并提升吞吐量。
事情怎么走到这一步
Red Hat与AMD宣布合作,推出支持AMD Instinct MI355X GPU的Red Hat AI 3.4,强调智能体AI需要新的基础设施栈,包括GPU用于复杂推理和CPU用于编排。
redhat.com ↗AMD发布技术文章,介绍与Moonshot AI合作重建的智能体AI服务栈,提出UMBP(统一内存与带宽池)概念,解决KV缓存跨层级调度问题。
amd.com ↗AMD发布PACE平台感知计算引擎,将其从纯推理引擎升级为智能体AI编排器,支持LangGraph作为原生编排层,实现确定性执行与基准测试。
amd.com ↗AMD展示TokenSpeed引擎在MI355X上运行Kimi K3的性能,指出在高并发下ATOM采用prefill coalescing策略会显著增加TTFT但改善TPOT。
amd.com ↗AMD ROCm博客详细解释ATOM团队的PrefillDelayer调度策略,量化其在16并发下对P90 interactivity(+22%)和中位TTFT(-49%)的具体影响。