2026.09.28 | Primer | HBF

• 跑一遍：拿北大公开的 HBF 仿真代码，放只读权重而不是在线 KV，扫一遍 f × S。第 5 节的门槛 (f × S < 44) 是按规格算的，没有独立实测。goodput 在 f × S = 10 时 ≥ 纯 HBM 的 1.5 倍 → 判断成立；在 f × S = 10 时都不赢 → 门槛只是纸面数字，base 砍一半唯一能自己动手的验证，排第一；对应第 5 节
• 样品实际能持续跑多快 (热降额)。SK hynix 自己说 HBF 功耗最高是 HBM 的 4 倍，北大的热模型显示 stack 在峰值带宽之前就到热限。门槛 = 1.6TB/s × 持续比例 ÷ 36GB：样品持续 ≥ 80% → 门槛约 35，结论不变；只有 50% → 门槛降到约 22，批量推理之外的场景基本出局对应第 5 节的"热降额"滑块
• 样品用 SLC 还是 TLC。OCP spec 的 512GB 按 TLC 算，H3 论文的约 10 万次擦写是 SLC 级数字。SLC → 单 stack 约 170GB，只剩 HBM4 的 4.7 倍，多模型常驻这类纯容量场景的优势缩小 3 倍；TLC 且给出只读场景寿命 → 不动对应第 2、5 节
• 第一个把 HBF 设计进去的加速器是谁、何时 tape-out。起量的闸门是芯片设计周期，不是 NAND 产能；联盟里有 Google、Tenstorrent，NVIDIA / AMD 未表态。2027 年中前有具名 XPU tape-out → base 2029 起量成立；GTC 2027 NVIDIA roadmap 出现 HBF → a 从 3% 提到 10%；2027 年底仍无 design-in → 曲线整体后移一年对应第 10 节
• HBF stack 的目标价。P 是从晶圆价倒推的，没有厂商口径。单 stack 定价接近 HBM stack (约 $600) → P 取 $700；只有 HBM 的一半以下 → P 降到 $300，base 降到约 $0.9B对应第 10 节的 P

一句话：HBF 是把 NAND 闪存像 HBM 一样叠起来、贴在 GPU 旁边的内存，让一颗 GPU 身边多出十几倍的容量，用来放"量大、只读、不需要最快速度"的数据，比如模型权重。

先说 HBM 是什么

• GPU 算得很快，但数据要从内存里搬进来。HBM 是把 8–16 层 DRAM 芯片叠成一摞 (stack)，直接贴在 GPU 旁边，用几千根线连着，所以搬得快：Micron 给 Rubin 的 HBM4 每个 stack 带宽超过 2.8TB/s
• 代价是贵、容量小：一个 stack 36GB，Rubin 一颗 GPU 贴 8 个，一共 288GB
• GPU 边上能贴内存的位置是有限的 (8–12 个)，这些位置叫 shoreline，是芯片设计时就定死的

带宽、容量、位子

• 打个比方：GPU 是灶台，旁边只能摆 8 个架子。每个架子有两个指标：能放多少菜 (容量)，每秒能递出多少菜 (带宽)
• HBM 是小而快的架子，HBF 是大 14 倍、递菜速度约 6 成的架子
• 所以比较两者要按"每个架子"比，不能按"每放 1GB"比：架子数量固定，一个大架子如果能顶替两三个小架子，就省下位子给别的

HBF 和 HBM、SSD 差在哪

• 和 HBM 比：材料从 DRAM 换成 NAND 闪存。闪存密度高、便宜，所以同样大小的一摞能放 14 倍的数据；但闪存读一次要微秒级 (DRAM 是纳秒级)、写入有寿命、功耗和发热更大
• 和 SSD 比：用的是同一种闪存，但 SSD 放在机箱前面，走 PCIe 这根细管子，一块盘约 28GB/s；HBF 贴在 GPU 旁边，走封装内的宽接口，一个 stack 1.6TB/s，快 57 倍
• 和 CPU 内存比：NVIDIA 的 Vera CPU 带 1.5TB LPDDR，通过 C2C 连到 GPU，约 1.8TB/s，但两颗 GPU 共用。这是 NVIDIA 自家对"容量不够"的答案，也是 HBF 在 NVIDIA 平台上不急的原因

做成了什么产品

• 标准：SK hynix 和 SanDisk 通过 OCP 发布开放标准 (2026-08)，单 stack 最高 512GB，带宽分三档约 0.4 / 1.6 / 3.0TB/s，接口走 UCIe
• SanDisk 路线图：Gen1 512GB / 1.6TB/s，Gen2 1TB / 2TB/s 以上，Gen3 1.5TB / 3.2TB/s 以上
• SK hynix：把 HBF 列为 AI NAND 三条线之一，叫 AIN B

拿来干什么：多模型常驻的例子

• 一个推理平台要让几十个模型 (或几十个 LoRA 版本) 随时可用，合计 2TB 权重，但同一时刻只有一小部分在被调用
• 今天：HBM 装不下，只能放在 CPU 内存或 SSD 里，谁被调用再搬进来，切换一次要几百毫秒到几秒；或者多买 GPU，只为了多几个 HBM 位子
• 用 HBF：4 个 HBF stack 就能把 2TB 全部放在 GPU 旁边，被调用的那部分直接读，HBM 留给在线 KV。按第 5 节的计算，这类场景需要的 GPU 能从 8 颗降到 1 颗

现在到哪一步

• 标准刚发布，SanDisk 首颗 die 已 tape-out，推理产品样品 2027 年，量产 2028 年
• 没有任何加速器公开宣布采用。要用 HBF，GPU 或 ASIC 要在设计时就加上 HBF 接口，芯片设计周期 2–3 年
• NVIDIA 没有表态；联盟里有 Google、Tenstorrent

一句话：HBF 的带宽来自"很多小块闪存同时读"，卡住它的是闪存怕写、发热，以及它要抢 HBM 的位子。

带宽从哪来

• 普通闪存一次只能开几个口读，所以 SSD 慢。HBF 把每层芯片切成很多个小阵列，每个小阵列有自己的读出通道，上千个一起读，再通过底下的逻辑芯片 (base die) 和几千根 TSV 竖线送到 GPU
• 这是把闪存"按带宽重新设计"，不是简单把 SSD 挪近。SanDisk 的原话是按带宽而不是按面积和成本优化 NAND

卡在哪：四段，每段谁说了算

• 原厂只定义前两段，最关键的第三段在加速器设计方手里。所以 HBF 的命运取决于 Google 这类 ASIC 设计方和 NVIDIA 愿不愿意在芯片上留接口，不取决于闪存厂能做多快

每个位子能给什么

• 每秒 20 步时，一个 HBF 位子每步能读 80GB，一个 HBM4 位子只能读 36GB，因为 HBM 先被容量卡住。按位子算，HBF 反而多读一倍多，外加 430GB 放着不读的冷容量
• 步数越快，HBF 越吃亏：每秒超过 44 步 (1.6TB/s ÷ 36GB)，HBF 每步能读的量就少于一个 HBM4 位子
• "每秒能把自己读几遍"只有 3 次，说明大部分容量是冷的，但冷容量本身不是缺点，是白送的

判断一份数据该不该放 HBF，只问一句：它每秒要被整份读几遍 (f × S)，以及它写不写。

• f：每生成一步，这份数据被读到的比例；S：每秒生成几步。dense 模型的权重每步全读，f = 1；几十个模型里每次只用一个，f 可能只有 5%
• 门槛 = HBF 带宽 ÷ HBM 单栈容量 = 1.6TB/s ÷ 36GB ≈ 44。f × S 低于它，放 HBF 用的位子更少；高于它，HBM 更好
• 要频繁写的 (在线 KV、激活、训练中的参数)，不管读得多慢都只能放 HBM
• 门槛会动：HBF 发热降频到 80% → 约 35；换 16 层 64GB HBM4 → 约 25；HBF Gen2 (2TB/s) → 约 56

市场最常问的是"HBF 能不能让 GPU 少买几颗"。把一个部署拆成两类数据：只读的 (权重等，量 D) 和要写的 (在线 KV，量 K)，分别算要几个位子，再按每颗 GPU 8 个位子折成 GPU 数。

第一项是"按容量要几个"，第二项是"按带宽要几个"，取大的。在线 KV 每步全读、要写，只能放 HBM。

• 批量推理 (S = 10)：纯 HBM 被容量卡住要 3 颗 GPU，HBM + HBF 只要 1 颗
• 交互式大 MoE (S = 50)：纯 HBM 3 颗，HBM + HBF 反而要 4 颗，因为 HBF 的带宽不够，要多堆位子
• 多模型常驻：2TB 权重只有 5% 在用，纯 HBM 要 8 颗，HBM + HBF 1 颗
• Llama 405B (S = 20)：两种都是 2 颗，打平。SanDisk"4 颗 = 8 颗"的仿真需要更低的步数或更多冷数据才成立
• 拖"持续比例"滑块：发热降频越狠，HBF 赢的区域越窄。这是 Follow-up 第二条要盯的

• 天生的几条是同一件事：闪存读要微秒、怕写、用容量换带宽。所以它进不了"每步都读写"的热路径，下一代不会翻
• "能补但吃掉优势"的写入和发热，是最大的风险：补了就只剩 HBM 的 3–5 倍容量
• 会翻的是接口、软件和 NVIDIA 的态度，Follow-up 盯这几条
• 设计三角是"便宜的容量 / 离算力近 / 能随便写"，只能选两个，HBF 选前两个

• PMF 是"数据多、读得不快、只读"的推理：多模型常驻、批量推理、共享只读 KV。对应的买家是做 serverless 推理的云、跑大量后台 agent 的公司、以及自研 ASIC 的 hyperscaler
• 最可能先用的是 ASIC：NVIDIA 有 Vera 的 1.5TB LPDDR 走 C2C，容量问题有自家答案；TPU、Tenstorrent 没有，这就是联盟里是 Google 和 Tenstorrent 的原因
• 其他对手：更大的 scale-up 域 (把容量摊到更多颗 HBM 上)、CXL 内存池、HBM 减配 (4 层、8 层 HBM4)。HBF 要和它们比"每个位子、每美元能给多少"

还是灶台的比方：灶台边只能摆 8 个架子。HBF 是一个大 14 倍、递菜速度约 6 成的架子。菜多、每秒要递的菜不多时，一个 HBF 架子能顶好几个 HBM 架子；每秒要递的菜很多时，它反而递不过来。

• N：2030 年 AI 加速器出货 (GPU + ASIC，颗)。25M 是占位，应换成 AI Economy Model 的 2030 XPU 出货
• a：带 HBF 的出货占比。上限是"没有大容量 CPU 内存可借、且主要跑批量或多模型推理"的 ASIC SKU
• s：每颗几个 HBF stack。SanDisk 示例是 2 HBM + 6 HBF，H3 仿真用 8 + 8
• P：每 stack 售价。TLC 晶圆价约 $0.125/GB (CFM 1Tb TLC $16)，加上 TSV 堆叠、base die、良率和测试 4–8 倍，成本 $0.5–1.0/GB，512GB stack 约 $400–800 (我估)
• C：每 stack 容量，Gen1 512GB，Gen2 1TB

Base → Bull：a 3% → 10% (NVIDIA 或 AMD 采用)，s 4 → 6，P $500 → $700，C 升到 Gen2 的 1TB。上限：a 25%、s 8。

为什么不能更多：

• 前沿模型的高速交互解码 (最大的推理负载之一) 在门槛之上，HBF 反而更差
• NVIDIA 有 C2C LPDDR，自家 GPU 不急，a 被 ASIC 推理 SKU 封顶
• 每个 HBF 顶掉一个 HBM 的位子，s 越大，留给在线 KV 的 HBM 越少
• spec 2026-08 定稿，加 24–30 个月芯片设计，最早 2028 年底有量产硅，2030 年前最多 1–2 代芯片带 HBF

为什么两家还做：SK hynix 能把 HBM 的堆叠能力复用到 NAND 上；SanDisk 需要摆脱"大宗商品"的定位；标准开放，先做的人定规则。对厂商是便宜的期权，不能当成需求证据。

• 晚而陡：闸门是加速器设计周期。2027 送样，2028 首个 ASIC 小批，2029–30 跟着新一代推理芯片起量
• 节点：2027 样品 (看 cell 模式、持续带宽) → GTC 2027 看 NVIDIA roadmap → 2028 量产与首个 ASIC → Gen2 (1TB)

• NAND 位元：base 1.5 EB，按 2030 年 NAND 位元供给约 2,000 EB (假设) 不到 0.1%；若用 SLC 约 0.2%；bull 约 15 EB，0.8%
• HBM：只在 ASIC 上替代一部分位子。base 对 HBM 需求影响 <1%；bull 情形下 ASIC 每颗少 2–4 个 HBM stack，才值得进 HBM 模型
• 算力：在批量推理和多模型场景，同样负载所需 GPU 少 3–8 倍 (第 5 节)，对算力是减项；但这些场景今天多半靠 CPU 内存和 SSD 换入，实际减少的 GPU 采购量难估
• 谁拿钱：SanDisk、SK hynix (Samsung 可能跟进)；TSV 堆叠和测试沿用 HBM 供应链；UCIe PHY IP；CoWoS 产能

怎么把锚做硬：

• N：换成 AI Economy Model 的 2030 XPU 出货
• a：数 2027–28 tape-out 的推理 ASIC 里带 HBF 接口的型号，乘各自出货
• P：专家访谈问 SanDisk / SK hynix 的 HBF stack 目标价相对 HBM stack 的比例
• 第 5 节的 f 和 S：问 serverless 推理平台，一张卡常驻几个模型、每个模型的调用占比、平均每秒出多少 token

• SK hynix Newsroom：HBF 首版标准 (2026-08-04)；H3 论文，IEEE CAL (2026-02)；AI NAND 战略 (Tom's Hardware，2025-10-28)
• Li et al., HBF Sucks? A Full-Stack Characterization of High-Bandwidth Flash for KV-Centric LLM Serving, arXiv 2608.11668 (2026-08-12)
• SanDisk blog：Scaling the Memory Wall (2025-08-06)、Memory-Centric AI (2025-08-11)；StorageReview (2026-08-20)；Blocks & Files (2025-02-25)
• TrendForce：SanDisk Investor Day HBF tape-out (2026-08-14)；金正浩预测 (2026-01-16)
• Micron：HBM4 36GB 12 层、>2.8TB/s，量产供 Vera Rubin (GTC 2026)
• CFM 闪存市场：1Tb TLC wafer 报价 $16 (报价日期未注明)
• 未在本次核实、来自训练知识：Vera LPDDR5X 1.5TB 与 C2C 1.8TB/s；HBM4 stack 价格量级
• 假设：2030 AI 加速器出货 25M 颗；2030 NAND 位元供给约 2,000 EB；每颗 GPU 8 个内存位子；HBF stack $500、HBM4 stack $600

v1 · 2026-09-26 · 首版 (与 XL-FLASH 合写)
v2 · 2026-09-26 · 拆分，只讲 HBF
v3 · 2026-09-28 · 按更新后的 new-thing-primer 重写：标题改为"日期 | 类型 | 主题"并加 tag，去掉标识栏，加左侧目录；第 1 节改成白话 (HBM 是什么、位子的概念、灶台比方)；第 2 节拆成四段瓶颈并标谁定义；新增第 5 节位子计算器、第 8 节管理层口径；改正 v2 的框架错误：v2 用"每 GB 每秒读几遍 (约 3 遍)"判断，把 dense 权重判为不适合；改为按位子比，规则变成"只读、f × S 低于约 44"，批量推理的 dense 权重改判为适合，前沿模型高速交互解码仍不适合；TAM 数字不变