SGLang推理框架
3 steps1 pieces3 Sources
开源大模型推理框架SGLang发布v0.5.22版本，通过引入InstantTensor加载器和优化Prefill-Decode（PD）分离架构，显著提升了DeepSeek-V4.1等模型的吞吐量并大幅缩短模型加载时间。该版本首次原生支持Apple Silicon Mac，标志着其在硬件兼容性上的重要突破。
【背景】SGLang由LMSYS托管，旨在为大规模生产环境提供低延迟、高吞吐的推理服务，目前全球部署超过40万GPU。此次更新不仅针对NVIDIA H200/B300等高端显卡进行深度优化，还扩展了对AMD MI350X/MI355X及Intel GPU的支持，反映了其应对多元化算力市场的策略。
【争议与共识】在推理效率上，SGLang通过RadixAttention和前缀缓存技术确立了优势，但不同硬件平台间的性能差异仍是开发者关注的重点。例如，DeepSeek-V4.1在H200上吞吐量提升2.3倍，而在AMD平台上则依赖DSpark实现1.9倍提升。这种跨平台的性能一致性验证，将是未来版本迭代的关键指标。
How it got here
SGLang发布v0.5.22版本，包含950个PR，来自245位贡献者。核心亮点包括DeepSeek-V4.1在H200上吞吐量提升2.3倍，模型加载速度提升10倍，以及首次原生支持Apple Silicon Mac。
github.com ↗SGLang发布v0.5.21版本，引入Rust核心的前缀缓存默认配置，并优化了PD实例的动态切换能力，无需重启即可在预填充和解码间转换。
sglang.io ↗SGLang发布v0.5.20版本，推出统一基数树（Unified radix tree）以优化滑动窗口注意力机制下的缓存复用，并发布了CPU-only模拟器用于预测TTFT。
sglang.io ↗
What is still unsettled
- SGLang在AMD MI350X/MI355X上的实际生产稳定性如何，是否达到与NVIDIA平台同等的运维标准？
- 随着对Apple Silicon支持的加入，本地化推理场景下的能耗比表现是否与云端部署形成互补或竞争关系？
- v0.5.22中提到的Hybrid linear模型状态恢复修复，是否已完全解决投机解码与结构化输出并发时的潜在错误？