DeepSeek推理框架
4 단계5 건4 출처
中国AI公司DeepSeek于2026年10月20日正式开源其内部生产级推理框架DeepInfer及配套组件deepseek-recipe,旨在降低大规模模型部署的算力与能源成本。该框架支持英伟达Blackwell(SM100)和华为昇腾950芯片,目前仅适配DeepSeek-V4.1-Flash模型。DeepSeek披露单集群日吞吐155万亿Token,非高峰时段每GPU小时营收38美元,引发社区对高利润率与回本周期的讨论。然而,核心KV缓存管理与负载均衡代码因耦合内部基础设施暂未公开,且vLLM团队指出其在GB200上的解码吞吐量差距在6%以内,质疑其效率壁垒是否不可逾越。
현재까지의 과정
DeepSeek宣布开源内部推理框架DeepInfer及编解码组件deepseek-recipe,支持英伟达与华为平台。
ithome.com ↗SiliconANGLE报道DeepSeek开源DeepInfer,指出部分核心调度代码暂未公开,并提及美国国土安全部此前要求联邦机构移除DeepSeek产品。
siliconangle.com ↗Latent Space发布AINews深度解析,披露DeepSeek声称的单集群日吞吐155万亿Token及每GPU小时38美元营收数据,引发关于利润率与回本周期的争议。
latent.space ↗t3n.de报道DeepInfer通过优化推理阶段计算分配来降低企业自托管模型的算力和能源成本,但仅适配特定高端芯片。
t3n.de ↗
아직 해결되지 않은 문제
- DeepInfer未公开的KV缓存管理和负载均衡代码何时能完全解耦并开源?
- vLLM等现有开源引擎能否通过配置优化达到DeepInfer宣称的效率水平?
- DeepSeek披露的经济数据(如38美元/GPU小时营收)在不同工作负载和硬件成本下的实际利润率是多少?