vLLM配置优化
3 节点1 篇4 来源
vLLM配置优化旨在通过调整调度策略、内核融合及并行架构，解决大模型推理中的延迟与吞吐量瓶颈。以Kimi K3为例，vLLM团队在B300节点上通过自适应令牌预算、内部KDA前缀检查点及零拷贝混合批次等四项关键改动，将吞吐量提升2.2至2.8倍，首令牌延迟（TTFT）降低72%至85%【背景】。Runpod工程师Chris Vela则演示了如何利用BenchPod工具实时测试不同配置（如最大批量令牌数），以数据驱动替代默认猜测，从而优化特定硬件上的推理性能。当前争议在于通用引擎能否在保持灵活性的同时匹配专用引擎的效率，而vLLM通过集成DeepSeek开源内核及P/D分离技术，已在GB300 NVL72机架上将DeepSeek-V4.1-Flash的每GPU吞吐量推高至954K tokens/s，证明了这一路径的可行性。
事情怎么走到这一步
vLLM官方博客发布《Kimi K3 Performance Optimizations》，详述了从v0.27.1到commit 82a85dc1的性能改进，包括自适应调度预算和ReplaySSM状态重构等技术。
vllm.ai ↗vLLM团队发布报告，展示在GB300 NVL72机架上利用P/D分离和Wide-EP技术，使DeepSeek-V4.1-Flash的每GPU吞吐量达到954K tokens/s，接近专用引擎DeepInfer的性能。
github.com ↗Runpod前沿部署工程师Chris Vela在AI Engineer频道演示BenchPod工具，展示如何通过实时测试vLLM配置（如调整最大批量令牌）来优化Kimi K3在B300上的推理延迟。
youtube.com ↗
还没定论的部分
- BenchPod工具是否已公开可用，以及其自动化配置搜索的范围是否涵盖所有vLLM优化级别？
- vLLM的-O3激进优化级别未来将包含哪些具体的实验性优化措施？
- 在非NVL72机架的常规多GPU集群中，P/D分离对DeepSeek-V4.1-Flash吞吐量的提升幅度是否与GB300一致？