IBM Research：分布式推理如何协调大模型服务

大规模服务大语言模型不仅仅是将模型运行在GPU上，它需要协调成千上万具有不同优先级和上下文长度的请求。IBM Research用空中交通管制作类比来解释这一挑战：正如管制员必须管理飞机的位置、目的地和燃料需求，分布式推理框架必须在优化加速器使用的同时，避免产生长队列或冗余计算。

这种协调的核心在于工作在vLLM或SGLang等单个模型服务器之上。分布式推理框架编排集群中的服务器组，考虑队列深度、缓存可用性和服务器角色以有效路由请求。随着AI智能体引入不规则的流量模式（如相关请求的突发后暂停调用工具），这一层变得愈发必要。

一项关键创新是前缀缓存感知路由。当模型处理提示词时，它将中间状态存储在KV缓存中。如果后续请求共享相同的开头文本——这在具有固定系统指令的聊天机器人或检查同一代码库的编码助手中很常见——模型可以重用这些存储的计算。传统的负载均衡器可能会将这些请求发送到任何可用的服务器，迫使进行冗余处理。前缀感知路由则将请求定向到已经持有相关上下文的服务器，从而降低延迟并提高吞吐量。

为了支持这种重用，KV缓存卸载扩展了模型的工作内存。加速器内存速度快但容量有限，常被长提示词和并发会话填满。卸载将不那么立即有用的缓存条目移动到更慢但更大的层级，如CPU内存或本地存储。虽然从这些层级检索比从加速器内存直接读取要慢，但它显著快于且便宜于重新计算整个提示词，从而扩大了有效缓存容量。

流控制在负载下管理请求的准入和排序。如果没有它，对延迟敏感的交互式查询可能会卡在低优先级的批处理作业后面。分布式推理系统强制执行公平性和优先级，保护交互式流量，同时调节突发或可推迟的工作。这种纪律对于吸收智能体流量的不均匀性至关重要，将突发平滑为有序的流。

批处理推理优化在不堵塞系统的情况下填补空闲容量。背景任务如研究评估或文档处理可以利用闲置的硬件资源。然而，它们必须被仔细管理以避免延迟面向用户的响应。系统将作业管理与请求放置分离，允许批处理层决定工作如何进入系统，而路由器决定每个请求在哪里运行，确保共享基础设施保持响应能力。

预填充/解码分离区分了两个不同的计算阶段。预填充处理输入提示词并构建KV缓存，需要高并行计算。解码逐token生成响应，对内存访问延迟敏感。通过将这些阶段分配给独立扩展的专业工作者，操作员可以在压力存在的地方添加资源——为长文档提供更多预填充容量，为活跃对话提供更多解码容量——减少不同工作负载之间的干扰。

宽专家并行性解决了混合专家（MoE）模型的内存约束。这些模型包含许多专门的神经网络（专家），但每个token只激活子集。传统的张量并行性将操作分布在GPU上，需要同步。宽专家并行性将专家分布在GPU和服务器上，仅将token发送到持有选定专家的GPU。这种稀疏通信为KV缓存释放了加速器内存，使得能够服务极大的MoE模型。

总之，这些机制将LLM服务从孤立的服务器转变为协调的分布式系统。随着AI从简单聊天转向维护长上下文并生成不规则流量的智能体，性能取决于这种协调而不仅仅是原始容量。增加更多加速器不会自动使推理快速或负担得起；系统必须知道工作应该去哪里，什么可以被重用，以及哪些资源适合每个阶段。