SGLang发布v0.5.20:官方称DeepSeek-V4-Flash解码延迟大幅下降,尚无独立验证
解码与加载提升均为官方自测,能否被独立复现是该盯的点。
原始事件 2026-09-18
资料核对时间:2026/09/19 06:50
开源推理框架SGLang于9月18日发布v0.5.20,包含来自237位贡献者的713个PR,新增GLM-5.3-Flash、K2 Horizon等多个模型支持。据发布说明,在4张RTX PRO 6000上DeepSeek-V4-Flash批大小1解码TPOT从36.1毫秒降至10.5毫秒,ROCm平台GLM-5.2模型加载时间从505.7秒缩短至40.4秒——均为项目方自测,尚无独立验证。/v1/responses接口的存储改为默认关闭,需通过--enable-response-store显式开启。原文:GitHub Release ↗