vLLM支持Reflection Beam模型，自报解码延迟降低2.71倍

vLLM项目于2026年10月16日发布博客称，其推理引擎已实现对Reflection公司新发布的Beam-1.0模型的“Day 0”支持。Beam是一个总参数量5010亿、每token激活230亿参数的混合专家（MoE）模型。

据vLLM官方博客介绍，团队利用编码代理（coding agents）对模型在NVIDIA Blackwell硬件上的执行进行了自主优化。这些代理负责分析性能瓶颈、编写内核并运行基准测试。vLLM称，经过七项主要优化后，在TP8配置下，Batch-1解码的单步延迟从8.95毫秒降至3.30毫秒，即速度提升约2.71倍；预填充（prefill）速度提升1.87倍。

此外，vLLM集成了Beam自带的DFlash2推测解码草稿头，并引入了自适应验证机制。官方数据显示，在TP8配置下，单请求吞吐量可达708 tokens/s。在高并发场景下，结合Attention DP和MegaMoE技术，峰值输入吞吐量较传统张量并行方案提升1.71倍。

需要注意的是，上述性能数据均为vLLM及其合作伙伴Inferact的内部测试结果，尚未见独立第三方复现。该发布主要面向具备相应硬件资源的企业级用户和研究者。