DeepSeek开源生产级推理框架DeepInfer，支持英伟达Blackwell与华为昇腾芯片
DeepSeek开源其生产级推理框架DeepInfer，提供推测解码等优化技术，支持英伟达Blackwell及华为昇腾950芯片，但部分核心调度代码暂未公开。
重要性实质性证据E2 未复现写法快讯
中国人工智能初创公司DeepSeek于2026年10月20日开源了DeepInfer，这是支撑其自身生产服务的大模型推理框架。该框架旨在解决以合理成本向海量用户提供大模型服务的问题。据DeepSeek称，其一个集群目前每天可处理155万亿个token，在低谷期定价下，每块GPU每小时收入约为38美元。
DeepInfer目前仅支持单一模型DeepSeek-V4.1-Flash，默认加载周末发布的1017版本。该框架兼容英伟达SM100 Blackwell GPU和华为昇腾950神经网络处理器，但不支持Hopper及其他较旧的英伟达架构。两项确保输出一致性的功能仅在英伟达硬件上运行，所有公布的性能基准测试均在英伟达芯片上进行，且数据为DeepSeek自测结果。
在技术实现上，DeepInfer采用了名为DSpark的推测解码系统，由草稿模型一次提出五个token，置信度头预测主模型将接受哪些token，从而减少约30%的草稿token检查量，DeepSeek估计在生产负载下吞吐量提升4%至7%。另一项技术声称可将总预填充计算量减半，仅将每个提示的最后128个token重新通过模型的解码层。
DeepSeek尚未发布其键值缓存管理和负载均衡代码，称这两部分与内部基础设施紧密耦合。此外，将预填充和解码拆分到不同机器的操作也留给用户自行配置。DeepInfer采用Apache 2.0许可证在GitHub上发布，随附的deepseek-recipe库用于将请求转换为token序列。