DeepSeek推理框架

中国AI公司DeepSeek于2026年10月20日正式开源其内部生产级推理框架DeepInfer及配套编解码组件deepseek-recipe，采用Apache 2.0许可证。该框架专为DeepSeek-V4.1-Flash模型优化，核心亮点在于同时支持英伟达SM100 GPU和华为昇腾950 NPU，旨在通过共享底层部署经验帮助开发者降低算力成本与能耗。

【背景】DeepInfer并非通用型框架，而是基于vLLM构建并融合SGLang和TensorRT-LLM灵感的定制引擎。它引入了DSpark推测解码、SWA有界重放及批处理不变性等技术以提升吞吐量和确定性输出。

【存疑】尽管官方称其为“生产级”服务栈，但README明确指出当前版本仅支持离线推理，缺失KV缓存管理、预填充/解码分离及负载均衡等构建完整在线服务所需的关键组件。这意味着开发者无法直接将其作为即插即用的API后端，仍需自行搭建周边基础设施。这一发布策略体现了DeepSeek开放核心差异化代码、保留系统整合复杂度的意图。