DeepSeek 开源内部推理框架 DeepInfer，提供高吞吐低延迟部署方案
DeepSeek 将其用于 V4.1 Flash 的内部推理框架 DeepInfer 及配套编解码组件全面开源，支持英伟达与华为昇腾平台，旨在帮助开发者降低大规模模型部署的算力成本。
重要性实质性证据E3 可检验写法快讯
中国 AI 公司 DeepSeek 于 10 月 20 日宣布，将其内部使用的推理框架 DeepInfer 以及配套的 Token 编解码组件 deepseek-recipe 全面开源。这是继此前开源大模型权重、TileLang 编译工具及推理算子库后，DeepSeek 在基础设施层面的进一步开放动作。
推理框架是连接模型能力与实际服务的关键中间层，负责统筹调度庞大的算力集群，其效率直接决定了 AI 服务的算力成本与电力消耗。DeepSeek 官方表示，通过分享内部的部署经验，希望帮助开发者与企业优化大规模推理的吞吐与延迟，从而高效构建私有化及公有云部署，降低算力成本，让智能以更低的价格触达更广泛的人群。
根据公告，DeepInfer 集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay（滑动窗口注意力有界重放）及结构化输出等能力，并明确兼容英伟达与华为昇腾两大硬件平台。目前，DeepSeek 已基于该框架实现了 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务。同步开源的 deepseek-recipe 则是生产级 Token 编解码组件，与官方 API 处理逻辑完整对齐，确保社区获得一致的 API 体验。
此次开源的代码仓库地址分别为：https://github.com/deepseek-ai/DeepInfer ↗ 和 https://github.com/deepseek-ai/deepseek-recipe。 ↗