SGLang发布v0.5.20:官方称RTX PRO 6000上DeepSeek-V4解码延迟大幅下降
开源推理框架SGLang于9月18日发布v0.5.20版本,包含来自237位贡献者的713个PR,新增GLM-5.3-Flash、K2 Horizon等多个模型支持。据发布说明,在4张RTX PRO 6000上,DeepSeek-V4-Flash的批大小1解码TPOT从36.1毫秒降至10.5毫秒;ROCm平台上GLM-5.2模型加载时间从505.7秒缩短至40.4秒。此外,/v1/responses接口的存储改为默认关闭,需通过--enable-response-store显式开启。上述性能数据均为项目方自测结果,尚无独立验证。原文:GitHub Release ↗
信息源:github.com