开源推理框架SGLang发布v0.5.22：DeepSeek-V4.1吞吐量提升2.3倍，模型加载提速10倍
SGLang v0.5.22通过新加载器和PD分离优化大幅提升推理效率，并首次原生支持Apple Silicon Mac。
重要性局部证据E2 未复现写法快讯
开源大语言模型推理框架SGLang于2026年10月19日发布v0.5.22版本。该版本重点优化了主流开源模型的推理吞吐量与加载速度，并扩展了对AMD和苹果芯片的原生支持。
在性能方面，SGLang称DeepSeek-V4.1在NVIDIA H200 GPU上的单卡吞吐量最高提升了2.3倍。同时，新版本引入了名为InstantTensor的模型加载器，官方测试显示，在存储带宽为50 GB/s的条件下，DeepSeek-R1在8张H200上的加载时间从160秒大幅缩短至15.3秒，实现了约10倍的加载提速。此外，针对预填充与解码分离（PD disaggregation）架构的优化，使得在处理长提示词工作负载时，吞吐量最高增加27%，第95百分位的首字生成时间（TTFT）减半。
在硬件生态上，SGLang首次支持在搭载标准PyTorch后端的Apple Silicon Mac上运行，这标志着该框架的高性能推理能力正式延伸至消费级桌面设备。同时，DeepSeek-V4.1现已支持在AMD MI350X和MI355X显卡上运行，官方称其DSpark解码吞吐量可达普通解码的1.9倍。
需要注意的是，上述吞吐量与加载速度的提升均基于SGLang开发团队在特定硬件配置下的自测基准，尚未获得独立第三方的广泛复现验证。