2026.10.20 | Primer | DeepInfer

DeepInfer 是 DeepSeek 把自己线上推理服务用的那套引擎开源出来，让别人能用同样的方式跑 DeepSeek V4.1 Flash。

全篇用一个比喻：把大模型推理想成一家餐厅。模型是菜谱 (DeepSeek 早就公开了)，芯片是灶台 (NVIDIA、华为)，推理引擎是后厨流水线：谁切菜、谁掌勺、几个人同时炒一锅、怎么把灶台火力用满。KV 缓存系统是冷库：客人之前点过的半成品存着，回头客来了直接加热。调度和路由是前厅派单：哪桌的单派给哪组厨师。这次开源的是后厨流水线，冷库和前厅没开。

底层怎么工作

• 大模型回答一个问题分两步。预填充 (prefill)：把用户输入的整段文字一次性读进去，算出一份"读后笔记" (KV 缓存)。解码 (decode)：一个字一个字往外写，每写一个字都要翻一遍这份笔记
• 预填充吃算力 (像切一大堆菜)，解码吃内存带宽 (像厨师不停回头翻菜谱)。所以大厂常把两步拆到不同机器上，叫预填充 / 解码分离
• 如果同一段输入之前处理过 (比如 agent 写代码，每一轮都会把整个对话和代码库重新发一遍)，读后笔记可以从缓存里直接取，不用重算。这就是"缓存命中"。命中的输入，DeepSeek 只收 $0.003 每百万 token，是没命中的 1/50

核心指标是什么意思

• 吞吐 (token / 天、token / 秒 / 卡)：后厨一天出多少盘菜。决定每个 token 的成本
• 首 token 延迟：客人点单到第一道菜上桌要等多久。主要取决于预填充，缓存命中时会快很多
• 每用户速度 (token / 秒)：上菜的节奏。DeepSeek 自报 V4.1 Flash 平均 230，写代码时最高 300
• 缓存命中率：有多少原料是冷库里现成的。命中率越高，同样的灶台能接待越多客人

和现成的开源引擎差在哪

市面上已经有 vLLM、SGLang (都是开源通用后厨，什么菜谱都能做) 和 NVIDIA 的 TensorRT-LLM (只能用 NVIDIA 灶台)。它们早就支持 DeepSeek 模型，而且 DeepSeek 2025 年已经把最关键的几个"刀具" (FlashMLA、DeepEP、DeepGEMM 等算子库) 开源过，这些引擎也在用。DeepInfer 的区别是：它是只为 DeepSeek 一道菜谱打磨的专用流水线，是 DeepSeek 自己每天在用的那条，新模型的推理代码以后也先在这里更新。

做成了什么

• DeepInfer：引擎本体，Apache 2.0。README 写明"最初主要基于 vLLM 构建"，参考了 SGLang 和 TensorRT-LLM
• deepseek-recipe：把用户请求转成模型输入、再把模型输出转回 API 格式的组件，MIT 协议，Rust 写的、有 Python 接口。作用是让第三方部署的"口味"和官方 API 一致 (思考模式、工具调用、结构化输出这些细节以前要靠社区反推)

拿来干什么 (一个例子)

一家国内云厂想卖 DeepSeek V4.1 Flash 的 API。今天：用 vLLM 或 SGLang，自己调参数、自己写适配，模型发布后要等社区几周把性能追上来 (SemiAnalysis 记录过 V4 发布后开源引擎 43 天里性能还在成倍提升)，输出格式和官方有细微差别。用 DeepInfer 之后：拿到和 DeepSeek 一样的引擎和同口径的输入输出处理，在昇腾 950 上也能跑；但缓存要存多久、怎么在几百台机器之间派单，仍要自己搭或用别家的方案。

现在到哪一步

• DeepSeek 自己在生产上用 (官方说法)。开源版只支持离线推理，没有 HTTP 服务、鉴权、限流这些上线必需的外壳
• 只支持一个模型 (V4.1 Flash) 和两种芯片 (NVIDIA SM100、昇腾 950)。H100 / H200 / H20、AMD 都不在列
• README 有性能图但没给数字：预填充用 4 张 SM100、解码用 64 张，都在一个机柜级互联域里测

把"一个 token 的成本"拆成串联的几段，最弱的一段说了算。每段标出这次开没开源、由谁定义。

第 4 段值得多说一句。原文确认 V4.1 Flash 是"编码器 + 解码器"结构 (CED)，前 20 层只看最近 128 个 token (滑动窗口注意力，SWA)。长对话的大部分"读后笔记" (Block KV) 只需要算一次、存进 3FS；窗口那一小段 (SWA KV) 只放在机器内存里，约 3 分钟过期，命中率 98% 以上，丢了就重算最后 128 个 token。V4 的做法是把窗口那段也存盘，结果占掉持久缓存近一半容量，V4.1 改掉了。第 4 段和第 5 段是一对：模型结构让缓存命中后几乎不用重算，冷库让命中率到 96%。两者叠在一起，才有 $0.003 的命中价。这次开了前者的代码，后者只公开了设计。

按"能不能单独复制"排：第 1–4 段现在任何人拿到 SM100 或昇腾 950 都能复制；第 5–6 段要自己有大规模存储和调度系统，而且需要足够大的流量才能让缓存命中率高起来 (冷库只有在回头客多的时候才划算)。

DeepSeek 在知乎技术文章"DeepSeek V4.1 Flash 大规模推理部署实践" (2026.10.20，官方机构号) 里给了一张线上实测表。逐个问：跟谁比、谁测的、测的是什么。

• 卡数：一半卡做预填充 (每卡每秒 150 万 token)、一半做解码 (1.4 万)，平均每卡每秒约 76 万 token。155 万亿 ÷ (76 万 × 86,400 秒) ≈ 2,400 张卡。原文没给卡数，这是我反推的
• $38：预填充卡每小时 54 亿输入 token，96% 按 $0.003、4% 按 $0.15 计价，约 $48；解码卡每小时 5,040 万输出 × $0.60 ≈ $30；平均 $39，和原文 $38 对得上
• 96%：6 万 ÷ 150 万 = 4% 未命中，和 96% 对得上

另外两个数不采用：快科技文中"OpenAI + Anthropic 合计约 100 万亿 token / 天"自称是 AI 生成的估计；README 性能图没有标数字，也没有和 vLLM / SGLang 的对比，第三方复现是第一条待办。

155 万亿里，命中缓存的输入几乎只占内存、不占算力。真正要 GPU 去算的是没命中的输入和输出。按原文实测表，预填充和解码卡数约 1:1、每卡吞吐 150 万比 1.4 万，所以输出约占全部 token 的 0.9%。滑块可以改这个比例，看结论在别的流量结构下怎么变。价格用官方谷价：命中 $0.003、未命中 $0.15、输出 $0.60 (每百万 token)。

问一句：这家公司的优势能不能用"每张卡每秒出多少 token"衡量？能，这次开源把它拉平了；要用"缓存命中率、首 token 延迟、集群规模"衡量，这次没碰到它。

为什么是这两个指标：每卡吞吐是引擎层 (第 1–4 段) 的产出，这次全部公开；缓存命中率和首 token 延迟是冷库和派单 (第 5–6 段) 的产出，没公开，而且要流量规模才能做高。第三方现在的状态正好印证：输出速度已经超过官方，首 token 延迟还差 4–5 倍。

拿几个例子过一遍：

• 一家靠"我们 DeepSeek 跑得比别人快 30%"拉客的推理服务商：用每卡吞吐衡量，被拉平
• NVIDIA Dynamo、Mooncake 这类分布式调度 / 缓存方案：用缓存命中率衡量，没被碰到，反而多了一个"给 DeepInfer 配冷库"的需求
• 做大容量 DRAM / SSD 的存储厂：用"能存多少 KV、存多久"衡量，受益
• DeepSeek 官方 API：靠缓存命中率和规模，优势保留

列出一个能对外卖的推理服务必需的能力，对照 DeepInfer 和现成的开源方案。"缺的性质"决定这个缺口会不会很快被补上。

• "没适配"的三项 (缓存、分离、API 层) 里，后两项是工程活，很快会被社区或 DeepSeek 补上；缓存系统最可能是 DeepSeek 主动留着的
• "天生"的一项 (只做 DeepSeek 模型) 决定了 DeepInfer 不会取代 vLLM / SGLang，最多是它们的"DeepSeek 专用分支"
• 结论会因下一个版本翻的地方：如果缓存系统也开源，第 4 节的规则仍成立，但"没被拉平"的那一半也被拉平，服务商被挤压的程度要上调

存储加项有多大：拿 DeepSeek 自己的集群算

原文给了 KV 缓存存储的规格：3FS 集群约 100 PiB SSD，峰值读 10 TiB/s、写 850 GiB/s，每次读一块约 112 KiB。配上第 3 节反推的约 2,400 张卡，可以算出每张推理卡背后要多少存储。

这组数说明两件事。第一，KV 缓存要的是容量，不是速度：每张推理卡背后几十 TB 的普通企业级 SSD。第二，这是 DeepSeek 一家、一个集群的配置；任何想把 DeepSeek 模型卖到接近官方价格的部署方，都要按差不多的比例配存储。卡数是我反推的，原文说机器留了冗余，实际卡数可能更多，每卡存储会相应少一些。

为什么这不是 2025 年 1 月那种"效率冲击"

• 2025 年 1 月市场的担心是"同样的能力只要十分之一的算力"。这次没有新的模型或新的效率台阶，DeepInfer 的核心算子 2025 年 2 月就开源了
• DeepSeek 这次自己披露的数据反而在讲另一件事：推理很赚钱。每卡每小时理论收入 $38，即使按 B200 级 $3–6 的租价 (我的估计) 算，收入也是成本的 6–13 倍。推理赚钱，云厂就愿意继续买卡
• 社区第一反应也是这个方向：Linux.do 上有人说"每卡 38 美元，怪不得计算卡涨上天了"

DeepSeek 为什么要开 (我的推断)

• 它不卖卡，只卖模型和 API。别人越容易跑它的模型，它的模型用的人越多
• 2025 年 4 月说过要做"多硬件首发支持"，引擎同时支持昇腾 950 是兑现这一点，也符合国产化方向
• 冷库没开，官方 API 的价格优势保留。开源引擎不伤自己的生意

• 分歧在 DeepSeek 自己：2025 年说"不开整个引擎"，2026 年开了。前提变了的是：引擎现在要同时支持 NVIDIA 和昇腾，继续只往 vLLM / SGLang 贡献，可能没法保证昇腾上的首发质量 (推断)
• "普惠"的口径和"冷库没开"之间有张力：开出来的部分让别人能跑，没开的部分让官方保持最便宜

把 DeepSeek "存 3 天"的做法套到海外大模型上，结果几乎完全取决于每个 token 的 KV 有多大。 不压缩 KV 的话，算出来要 500–1,500 EB，接近或超过 2027 年全球 NAND 的全部产量 (约 1,400 EB)，这不会发生，只能缩短保存时间。只有海外模型也像 DeepSeek 一样把 KV 压到几 KB，3 天才存得起；那时需求约 80 EB，是全年 NAND 的 5–6%。

算式

2027E KV 缓存 SSD (EB) = 加速器出货 × 用于推理的比例 × 每卡每秒新写入 token × 86,400 × 每 token KV 字节 × 保存天数 × 1.2 (纠删码) ÷ 0.8 (不写满)

• 出货 (默认 2,000 万颗 GPU + ASIC)：AI Economy model 里的 2027E 数字我在项目文件和麻薯站里都没找到，这里先用占位数 (我的估计)，拖滑块换成 model 里的数
• 推理比例 (默认 50%)：只有推理卡要存 KV
• 每卡每秒新写入 token (默认 4,000)：没命中缓存的输入 + 输出。DeepSeek V4.1 Flash 实测是 3.7 万，但它每次只激活 80–160 亿参数；海外旗舰模型大得多，每卡吞吐按约 1/10 取 (我的估计，最软的锚)
• 每 token KV：海外闭源模型不披露，用开源模型的结构推。Llama 3 70B 约 160 KB (FP8)，Llama 3.1 405B 约 260 KB (FP8)，Qwen3-235B 约 100 KB (FP8)，DeepSeek V3 一类的 MLA 约 35–70 KB，DeepSeek V4 Flash 约 3.5 KB，V4.1 Flash 890 字节 (技术报告)。按结构推算，未逐一核实
• 2027 年全球 NAND 位元供给 (约 1,400 EB)：SanDisk 说 2026 年闪存出货 1.2 ZB；行业位元增速 15–20% (SanDisk "mid- to high-teens"，TrendForce 说 2027 年明显快于 2026)，推得 1,380–1,440 EB。机构没直接给 2027 年绝对数。对照：SanDisk 投资者日估 2030 年持久化 KV 存储装机量超过 1 ZB

• "3 天规则"是一个约束，不是预测。它真正说明的是：KV 每 token 压到几 KB 之后，存几天才变得划算。DeepSeek 先做到了，所以它敢把缓存命中价定到 $0.003
• 对 SSD 最有用的观察项是海外模型的 KV 压缩程度和缓存保存时长。现在 Anthropic、OpenAI、Google 的商用缓存大多是 5 分钟到 1 小时，个别提供更长的选项 (训练知识，未在本次核实)。哪家把缓存时长拉到天级，就是这条线成立的信号
• 保存时长和 KV 大小对需求的影响是线性相乘的：KV 压小 10 倍、保存时间拉长 10 倍，SSD 需求不变。所以 KV 压缩本身不是减项，它会把保存时间推长

买存储划不划算：平均回报很高，边际回报接近盈亏平衡

• 平均 (有没有缓存)：100 PiB 按 $0.5/GB 约 $0.56 亿。不存缓存的话，96% 命中的输入都要重算，预填充卡要从约 1,200 张变成约 3 万张，多花约 $14 亿 (每卡 $5 万，我的估计)。存储的回报约 25 倍，是上限：只在内存里存一小时也能接住一部分命中
• 边际 (聊天从存 3 天加到 7 天)：原文说只存 3 天左右，聊天命中率会掉 0.5–1%。多存 4 天要多约 34 TB/每对卡，约 $1.7 万；腾出的预填充算力按 $38/卡时去卖，扣掉命中后少收的钱，一年净增 $0.7–1.4 万，回本 1.25–2.5 年。NAND $1/GB 时要 2.5–5 年
• 含义：DeepSeek 的 3 天 / 7 天大致停在"再多存就不划算"的位置，是它在当前价格下的最优点，不是行业标准。NAND 涨价砍掉的是最后几天的尾巴，不是主体

长程 agent 为什么利好 NAND：看停顿多久

• KV 放哪取决于下次被用到前要等多久：等几秒留显存 (HBM)，等几分钟放内存 (DRAM)，等几小时到几天只能放 SSD (NAND)
• loop 任务、跨天任务"跑一段、等一段"，上下文更长、回头读更多、停顿更长，三项都是 NAND 的加项。反向力量是上下文压缩 (定期总结历史) 和 KV 压缩
• 要盯的是 agent 任务的平均停顿时长和厂商缓存的保存时长，比任务总长度更关键

• DeepSeek：DeepSeek V4.1 Flash 大规模推理部署实践 (知乎原文) · V4.1 Flash 技术报告
• deepseek-ai/DeepInfer (GitHub)
• IT之家 · 界面新闻 · 21 经济网 · 凤凰网
• 快科技：每张卡每小时 38 美元 · 大佬说 (转述知乎原文) · Linux.do
• Crypto Briefing · AlphaSignal
• DeepInfra：V4.1 Flash 各家速度和价格 · V4.1 Flash 官方价格
• SemiAnalysis：V4 第 0 到 43 天性能 · NVIDIA 开发者博客
• 2025.02 DeepSeek 推理系统披露 (545%) · 2025.04 不开源整个引擎

v1.4 (2026.10.21)：2027 年 NAND 位元供给从 1,200 EB (其实是 2026 年口径) 改为约 1,400 EB (SanDisk 2026 年 1.2 ZB × 增速 15–20%)；第 10 节占比相应下调，压到 5 KB 情形从 6.5% 改为 5.6%。

v1.3 (2026.10.20)：新增第 10 节，按 3 天规则估 2027E 全球 KV 缓存 SSD 需求，带滑块。出货用占位数 (AI Economy model 未找到)，每 token KV 按开源模型结构给区间。结论：KV 不压缩时 3 天规则算出的需求超过全球 NAND 产量，不会发生；压到约 5 KB 时约 80 EB、占 NAND 6–7%。

v1.2 (2026.10.20)：第 7 节存储表加上自下而上的算法 (每卡每天新写 2.85 TB × 3–7 天 × 冗余)，每卡 SSD 从"约 43 TiB"改为"实际约 13–30 TB，47 TB 是配置上限"，并和 Vera Rubin 每卡 16TB 对比；结论从"每卡 40TB 以上"降为"同量级到 2 倍"，方向不变。

v1.1 (2026.10.20)：读到知乎原文。数字从"媒体转述"改为一手；第 3 节换成原文实测表，输出占比从假设的 2% 改为实测推出的 0.9%，"真正要算的 token 涨幅"从约 20 倍改为约 17 倍，卡数从按收入估算改为按吞吐反推 (约 2,400 张，和 $38 对得上)；第 7 节新增"存储加项有多大" (100 PiB、每卡约 43 TiB)；没开源的部分补上官方理由；模型结构从"我的推断"改为原文确认。核心判断不变。

v1 (2026.10.20)：首版。待办第一条：在 SM100 或昇腾 950 上用 README 脚本复现性能，和 SGLang 同条件对比。