很多公司的推理框架是论文的延伸:论文里跑通,服务里还要再调半年。DeepSeek 这次反着来——10 月 20 日以 Apache 2.0 协议开源 DeepInfer,即支撑其线上服务的高性能推理框架。仓库两天就显示 1.8 万星和 1900 个 fork,代码本身却只有 4 次提交。

开源了什么,没开源什么

README 写得很直白:这是「支撑 DeepSeek 大规模生产服务的高性能推理框架」,这次放出的是「离线推理,以及规模化服务所需的核心功能」。默认加载 DeepSeek-V4.1-Flash-1017,支持模型列表目前也只有这一个。

能力清单不短:注意力数据并行与均衡上下文并行、MoE 专家并行加 EPLB、DSpark 推测解码与置信度调度验证、SWA 有界重放、异步调度(零开销批调度器)、批不变推理、确定性采样、结构化输出。算子层直接调用自家仓库 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,外加自写的 TileLang kernel。

没放出来的同样标了出来:KV cache 缓存系统、Prefill/Decode 分离、两侧数据并行副本间的负载均衡,理由都是与内部基础设施耦合紧密。拿到的是引擎,不是服务。同步开源的 deepseek-recipe 负责把请求转成 token 序列,用的是官方 API 同样的逻辑。

硬件清单很短

只有英伟达 SM100 和华为昇腾 950 NPU。SiliconANGLE 特别点出,Hopper 及更早的英伟达架构不在其中——手上只有 A100 或 H100 的团队暂时用不上。批不变推理和确定性采样目前也仅限 NVIDIA。

两个设计上值得看的地方

SWA 有界重放。 V4.1 Flash 部分层采用滑动窗口注意力,这部分 KV Cache 只驻留内存。缓存未命中时,旧做法按「层数 × 窗口长度」重算;新做法只把每条 prompt 的最后 128 个 token 重跑一遍,注意力也只在这 128 个内计算,于是重算成本被固定,与上下文长度和层数解耦。按 SiliconANGLE 的说法,这让 prefill 总计算量接近减半。

DSpark 的置信度调度。 轻量草稿模块先连续猜 5 个 token,目标模型批量验证,猜错的由大模型纠正。关键在于置信度头会预估每个草稿被接受的概率,低可能性的不再验证,把算力让给其他请求。同样据 SiliconANGLE,这让每步需检查的草稿 token 少了约 30%,DeepSeek 估算在自家生产负载上吞吐提升 4% 到 7%。

数字要打折看

据随代码发布的部署 Q&A,一个集群现在每天服务 155 万亿 token,按谷段定价折算约每 GPU 每小时 38 美元。这是 DeepSeek 自己的数据,所有公开性能跑分也都在英伟达硬件上完成:prefill 4 张 SM100、decode 64 张。同一篇报道提到,DeepSeek 描述的最小高效部署是 prefill 64 卡加 decode 64 卡。昇腾支持则跟它 9 月 30 日把 TileLang 带到华为芯片那件事连着,仓库里备了 requirements-ascend.txt 并要求 CANN 9.2。

所以呢

对多数团队,这份代码眼下不是拿来就上线的:一个模型、两张卡型,服务化那一半还在 DeepSeek 内部。但价值在另一头——它把头部厂商在生产里反复调出来的工程决策公开了。滑动窗口重放、置信度调度、前缀缓存,过去只能在闭源集群里猜,现在能直接读源码。

还有一件事值得对照:这份代码放出前一天,美国国土安全部下令联邦文职机构移除 DeepSeek 产品,包括基于其技术的第三方服务。开源与地缘政治落在同一个 48 小时窗口,大概是理解这次发布的另一把钥匙。

素材来源