商汤大装置CTO宣善明：Agentic推理竞争的关键是架构效率，不是芯片数量
商汤大装置副总裁兼CTO宣善明在深圳CSDI峰会上介绍了Agentic时代推理基础设施的架构思路：将推理过程按硬件需求分层——计算密集的Prefill交给国产算力，带宽密集的Decode交给高阶GPU（PD分离）；进一步探索跨数据中心传输KV Cache实现跨域PD分离，以及将Decode内部的Attention和FFN拆分到不同硬件的AF分离。宣善明称特定测试下吞吐量可提升5倍，AF分离有望带来150%至200%的单卡吞吐提升，但这些数字均为厂商自报，测试配置未公开。
重要性实质性证据E2 未复现写法快讯
Agentic应用把Token消耗推到了千倍量级，而高端芯片供给跟不上。商汤大装置副总裁兼CTO宣善明在10月16日深圳CSDI峰会上给出的应对思路不是简单堆算力，而是把推理过程按硬件需求拆开，让不同芯片各干自己擅长的事。
大模型推理分两个阶段：Prefill处理输入Token，计算密集；Decode逐步生成输出Token，需要持续读取上下文缓存，对显存带宽要求高。PD分离把这两步解耦——用适配的国产算力集中做Prefill，用高带宽高阶GPU做Decode，中间通过KV Cache传输连接。这不是把不同芯片放在一起跑，而是按计算特征重新分配任务。在部分异构配置中，可能需要30至50个中低阶Prefill节点才能匹配一个Decode节点的处理能力，一旦Decode节点故障，大量Prefill资源随之闲置，因此还需要动态补位和角色切换机制。
在这个基础上，宣善明介绍了两个延伸方向。跨域PD分离试图打破单个数据中心的边界：本地中低阶算力做Prefill，把KV Cache传到其他地区的高阶集群做Decode。这一方案能成立，与模型架构演进有关——1M上下文的KV Cache规模在部分模型中已从近100GB降至约1GB，跨域传输压力大幅降低。AF分离则进一步拆分Decode阶段内部：Attention处理上下文、吃带宽，FFN做矩阵乘法、吃算力，把二者分到不同硬件上独立扩展。
宣善明称，在特定测试配置下，通过异构推理与资源协同，整体Token吞吐量可提升至原来的5倍；AF分离有望带来单卡吞吐提升150%至200%、运营成本降低30%至40%。这些数字均为商汤自报，测试配置未公开，尚无独立复现。跨域PD分离和AF分离目前仍处于探索阶段。商汤大装置平台日均Token服务量已达6万亿，预计第四季度达到日均10万亿。