DeepSeek发布开源推理框架Deepinfer，称可降低自托管模型算力成本
DeepSeek推出开源工具Deepinfer，通过优化推理阶段计算分配来降低企业自托管AI模型的算力和能源成本，目前仅适配特定高端芯片。
中国AI公司DeepSeek于2026年10月21日在GitHub上发布了名为Deepinfer的开源推理框架。据德国科技媒体t3n报道，该工具旨在帮助自行部署和运行大语言模型的企业降低计算和能源成本，从而让AI的使用更加经济。
Deepinfer主要通过三项技术手段优化推理过程：将计算任务更均匀地分配到可用的处理器核心上；利用“推测解码”（Speculative Decoding）技术加快响应速度；以及在最终输出前更好地结构化模型生成的内容。目前，该框架仅支持DeepSeek自家的V4.1-Flash模型，未来计划扩展至更多自有模型。
值得注意的是，Deepinfer并非面向普通消费者或网页端用户，而是针对拥有高性能服务器集群的企业客户。它要求底层硬件必须配备基于SM100架构的Nvidia GPU，或者华为的Ascend 950 NPU。这类芯片通常以完整服务器形式提供给企业，价格高昂，例如华为Ascend 950单颗芯片的价格已超过37,000美元。因此，这一工具主要服务于具备大规模自托管能力的大型科技公司或云服务商。