2026.10.22 | Primer | Long Prompt Cache
这句话来自 OpenAI Codex 负责人 Tibo Sottiaux (Tibo) 10 月 20 日在 X 上的 "Day 16" 帖子。它说了两件事：API 的提示缓存可以存 12 小时 (官方文档已上线，写入收 2.5 倍输入价)；登录用户在 Codex 和 ChatGPT Work 里"缓存永久保留、回到旧对话保证命中" (只在 X 上说了，文档里没有)。缓存存的是模型读完上下文后的"读后笔记" (KV)，按小时、按天存，只能放在 SSD 上。所以这件事对 NAND 是加项，对 DRAM 和 HBM 基本没有直接影响。
OpenAI 把"读后笔记"的保存时间从分钟级拉到小时、天级。这么长的时间，笔记放不进 HBM 和 DRAM，只能放 SSD，最旧的那部分甚至可能放硬盘或者干脆重算。
量级上，OpenAI 一家按"存四周"算约 2–3 EB，占 2027 年全球 NAND 不到 0.2%；真存一年是 30 EB 以上，但那要 $200 亿以上的盘，而且模型一换代旧笔记就作废，不会真这么做。
对 DRAM 的直接加项不到全球产量的 0.1%，对"DRAM 紧到 2028"的判断没有影响。真正的信号是：海外大厂开始按天存 KV，昨天 DeepSeek 那篇里 "KV 往 SSD 上扩散" 的第一条观察项亮了。
Follow-up (复查 2026.11.22)
"永久"写进文档没有、有没有给出真实保存天数。 这是第 10 节库存算式里最大的变量 (存四周 2.5 EB，存一年 33 EB，差 13 倍)。现在的基线：API 文档写的是"缓存不会无限期保存"、"12 小时是最短保存时间"，Codex / Work 的"永久"只在 X 帖里。如果 OpenAI 在文档或帮助中心写出 Codex 缓存保存天数，按天数直接代入；如果用户实测几天后回到旧对话首 token 变慢、额度照扣，说明"永久"主要是计费口径，实际存的天数更短。
Anthropic、Google 跟不跟。 这决定这是 OpenAI 一家的事还是全行业的事 (第 10 节"跟进倍数")。Claude Code 是 Codex 的直接对手，Anthropic 目前的缓存选项是 5 分钟和 1 小时 (训练知识，本次没有重新核对)。一个月内有一家推出按天保存，倍数按 2 算；两家都跟，按 3 算，存到模型换代时全行业约 20 EB、占 NAND 1–2%。
OpenAI 的 KV 有多大。 差 5–20 倍的变量。OpenAI 自己的开源模型 gpt-oss 每 token 约 36 KB (bf16)，闭源旗舰不公开。如果出现技术报告、论文或泄露显示 GPT-6 系列用了类似 DeepSeek 的 KV 压缩 (几 KB)，同样的库存会少 5 倍以上；但存得起更多天，总量不一定少。
美光、SanDisk、Kioxia 下一季的数据中心 SSD 口径。 美光 FY4Q26 数据中心 SSD 已近 $100 亿 (一年涨 10 倍)，管理层说 AI 推理的存储需求开始在 NAND 收入里体现。如果下一季有厂商点名"长时 KV 缓存"或"推理上下文存储"作为订单来源，说明这条线从 DeepSeek 一家扩散到了海外大厂；如果还只讲训练数据和向量库，说明量还小。
1. 是什么
一句话：OpenAI 把模型读过的上下文笔记存得更久了。API 用户付 2.5 倍的价格可以存 12 小时；Codex 和 ChatGPT Work 的登录用户隔几个小时、几天回到旧对话，不用重新读，也不多扣额度。
出处
- 原帖：Tibo (Thibault Sottiaux，OpenAI Codex 负责人) 在 X 上的 "Day 16" 帖子，2026.10.20 (美国时间)。这是他连续多天发布 Codex 更新的系列之一，Theo (t3.gg) 转发说这是"这 28 天里最大的一次更新"
- API 部分有一手文档：OpenAI API changelog 2026.10.20 条目 "12-hour prompt caching"，写明"12 小时缓存写入按 2.5 倍输入价收费"；prompt caching 指南写明参数和计价
- Codex / Work "永久保留、保证命中"：只在 X 帖里，文档没有。ChatGPT Work 是 OpenAI 7 月 9 日和 GPT-5.6 一起发布的办公 agent 产品
底层怎么工作
- 大模型回答之前，要先把你发过去的全部上下文 (对话历史、代码文件、工具结果) 读一遍，读的过程中生成一份"读后笔记"，技术上叫 KV 缓存。之后每写一个字都要翻这份笔记
- agent 每走一步，都要把整段上下文重新发一遍。如果开头那一大段没变，就可以直接拿上一步的笔记，不用重读。这叫"缓存命中"。命中的部分 OpenAI 只收 1/10 的价钱 (GPT-6.1 Sol 是 1/20)
- 笔记很大。一个 token (约 0.75 个英文单词) 的笔记有几 KB 到上百 KB，比原文本身大几千倍。一个读了 10 万 token 的 Codex 对话，笔记约 3.5 GB
核心指标是什么意思
- 保存时间 (TTL)：最后一次用到之后，笔记留多久。原来默认 30 分钟，现在 API 可选 12 小时，Codex / Work 说是"永久"
- 命中率：有多少输入是直接拿笔记、不用重读的。命中率越高，同样的 GPU 能接越多活
- 每 token KV 大小：一个 token 的笔记占多少字节。它决定存同样多的对话要多少内存或盘，不同模型差 10–100 倍
用一个比喻贯穿全篇：笔记放在哪
把 GPU 想成一个正在看材料写报告的人。HBM 是他的书桌：最快、最小、最贵，只放正在用的那几份。DRAM 是手边的抽屉：伸手就拿到，能放几十份。SSD 是楼下的仓库：要走一趟，但能放几千份，便宜得多。机械硬盘 (HDD) 是城外的档案室：很慢，但几乎不要钱。笔记丢了也不是不能办，就是让他从头再读一遍 (重算)，花的是 GPU 时间。
原来 30 分钟的缓存，笔记基本在书桌和抽屉里。12 小时、几天、"永久"，抽屉放不下也放不起，只能往仓库和档案室搬。
拿来干什么 (一个例子)
你下午用 Codex 改一个代码库，对话已经读了 15 万 token，晚上下班。今天：第二天早上回来接着问，30 分钟早过了，笔记没了，模型要把 15 万 token 从头再读一遍，首 token 要等十几秒，订阅额度也照扣。按 Tibo 的说法，之后：回来直接命中，等待和额度都和刚才没离开一样。对 OpenAI 来说，代价是这份笔记要在某个地方存一整夜。
现在到哪一步
- API 的 12 小时选项已上线：Responses API，GPT-5.6 及之后的模型，参数
prompt_cache_options.ttl = "12h"，可以在一个请求里给不同段落设不同保存时间 - Codex / Work 的"永久"：已对登录用户生效 (X 帖口径)。社区已有"永久缓存呢"的质疑帖，没有第三方实测数据
参考：API 计价 (每百万 token，相对普通输入价)
| 项目 | 30 分钟 (默认) | 12 小时 (新) | 说明 |
|---|---|---|---|
| 写入缓存 | 1.25× | 2.5× | "这是写入的总价，不是在普通输入价上再加" |
| 命中读取 | 0.1× | 0.1× | GPT-6.1 Sol 是 0.05×，两种保存时间一样 |
| 读取会不会续期 | 续 30 分钟 | 不重启 12 小时时钟 | 12 小时是最短保存时间，不是删除期限 |
| 适用 | GPT-5.6 及之后，Responses API | 旧模型仍用 prompt_cache_retention (in_memory / 24h) | |
Source: OpenAI API changelog (2026.10.20)、Prompt caching 指南；dev.to / explainx.ai 对文档的整理
一句话：API 的 12 小时有文档有价格，是真的；Codex / Work 的"永久、保证命中"只在一条 X 帖里，要打折看。
2. 机制：笔记放哪、卡在哪
一份笔记从生成到被删，会经过几层地方。每层能放多久，由"放一天要多少钱"和"取回来要多快"共同决定。
| 层 | 比喻 | 适合等多久 | 每 GB 大概多少钱 | 一份 3.5 GB 笔记取回要多久 | 谁定义 |
|---|---|---|---|---|---|
| HBM | 书桌 | 几秒到几分钟 (agent 连续几步之间) | $15–20 | 不用取 | NVIDIA / AMD 卡的规格 |
| DRAM (CPU 内存) | 抽屉 | 几分钟到一小时 | $5–8 | 约 0.1 秒 | 服务器设计、推理框架 (Dynamo、LMCache) |
| 本地 / 机柜 SSD | 仓库 | 几小时到几周 | $0.5–1 | 约 0.3–1 秒 | NVIDIA 参考设计 (ICMS，BlueField-4)、云厂自研 (DeepSeek 3FS) |
| HDD / 对象存储 | 档案室 | 几周以上 | ~$0.02 | 几秒到十几秒 (多盘并行) | 云厂存储团队 |
| 重算 | 从头再读 | 随时 | — | 10 万 token 约几秒到十几秒 | GPU 算力 |
Source: 价格为我的估计 (HBM 按显存占用的 GPU 机会成本折算，DRAM 按当前偏紧的服务器内存价，SSD 按颗粒 $0.5/GB × 整机 1.7 倍)；SSD 取回时间按单盘约 14 GB/s 读带宽；ICMS 来自 NVIDIA CES 2026
两个容易漏的约束：
- 笔记绑在一台机器上。 OpenAI 文档写明"缓存状态存在单台机器上"、"每分钟超过约 15 个请求会溢出到别的机器"。要做到"回到旧对话保证命中"，要么把请求送回存笔记的那台机器，要么把笔记放进多台机器共享的存储池 (NVIDIA 的 ICMS、DeepSeek 的 3FS 就是干这个的)。保证命中，实际上是在逼 OpenAI 建共享的 KV 存储层
- 笔记绑在一个模型版本上。 换了模型权重，旧笔记一律作废。Codex 的默认模型一两个月换一代，所以"永久"在物理上被模型寿命封顶，除非旧模型一直在线
一句话：按小时、按天存的笔记只能在 SSD 上；要保证命中，还得把 SSD 做成多机共享的池子；模型一换代，存再久的笔记也作废。
3. 数字打折
| 说法 | 出处 | 级别 | 打折后 |
|---|---|---|---|
| "永久保留缓存" | Tibo X 帖 | 口头承诺 | 同一家公司的 API 文档写"缓存不会无限期保存"。最可能的意思是"用户感觉不到过期"：存够长 + 没存住时不让用户付钱。物理上被模型版本封顶 |
| "保证命中" | Tibo X 帖 | 口头承诺 | API 文档写"不保证每个请求都复用缓存"、"保持会话也不保证命中"。对订阅用户，"保证"可以靠计费实现：没命中也按命中扣额度，重算的 GPU 钱 OpenAI 自己吃 |
| 12 小时写入 2.5× | API changelog、指南 | 已上线的产品规格 | 可信。但这个价不是按存储成本定的：一份 10 万 token 的笔记，多存 11.5 小时多收 $0.25，放 SSD 的成本约 $0.001，放 DRAM 约 $0.006。溢价是按"帮你省了多少重算"收的 |
| Codex 800 万周活 | OpenAI / Altman，2026.07 | 自报 | 没有第三方审计，期间多次重置额度拉回老用户。本文按 Codex + Work 合计 1,500 万周活估，是我的假设 |
| 每 token KV 约 35 KB | gpt-oss-120b 公开结构推算 | 我的推算 | gpt-oss：36 层、一半是只看最近 128 token 的窗口层，另一半 8 个 KV 头 × 64 维，bf16 下每 token 约 36 KB；FP8 约 18 KB。闭源旗舰更大还是压缩得更狠，不知道 |
Source: OpenAI API 文档；Tibo X 帖 (2026.10.20)；fourweekmba 整理的 Codex 用户数；gpt-oss 模型配置 (训练知识，未在本次重新打开核对)
一句话：API 的 12 小时是真规格；"永久、保证命中"更像计费承诺而不是存储承诺，算内存需求时要按实际能存多久算。
4. 一句话规则
一份笔记值不值得留在某一层，看：在这一层放一天的钱，是不是少于"它每天被叫回来的概率 × 重算一次的钱"。
拿一个 10 万 token 的 Codex 对话算 (笔记 3.5 GB，重算一次按 OpenAI 内部成本约 $0.06，是标价 $2/百万的三成，我的估计)：
| 放在哪 | 放一天要多少钱 | 每天被叫回来的概率要高于 | 换成白话 |
|---|---|---|---|
| HBM | ~$1.26 | 远超 100% | 只值得放几分钟，一天也放不起 |
| DRAM | ~$0.012 | ~19% | 一周内大概率还会回来，才值得放抽屉；实际一般只放一小时以内 |
| SSD | ~$0.0025 | ~4% | 三四周内会回来一次，就值得放仓库 |
| HDD | ~$0.00006 | ~0.1% | 几年内会回来一次就值得，接近"永久" |
Source: 我的估计。SSD 和 HDD 含纠删码与不写满的 1.5 倍余量；硬件按 5 年折旧
用这条规则直接回答几个问题：
- "永久缓存要多少 DRAM？" 几乎不要。放了一小时以上的笔记，SSD 取回只慢零点几秒，放一天却便宜约 5 倍，没有理由留在抽屉里
- "永久缓存要多少 SSD？" 存几天到几周的那一段在 SSD 上，这是真加项
- "那几个月前的旧对话呢？" 要么去 HDD，要么不存、回来时重算但不收用户钱。两种都能兑现"永久、无惩罚"的说法
一句话：存一天的钱 < 被叫回来的概率 × 重算一次的钱，就留；按这个算，几小时到几周的笔记归 SSD，更旧的归 HDD 或重算，DRAM 只管一小时以内。
5. KV 放哪：每种等待时长下最便宜的是谁
把一份笔记"等多久才会被再用到"分成五档。每档先写用户能接受多慢的取回 (时间预算)，取回比预算慢的层直接写"不够快"；剩下的算总花费，再和重算比。滑块可以改笔记大小和价格，看分界线怎么移。
为什么几小时、几天这两档非要闪存：HDD 取回一份 3.5 GB 笔记要几秒到十几秒，和让 GPU 重读 10 万 token 差不多慢。用 HDD 只省 GPU 的钱，省不了用户等待的时间，而"回来跟没离开一样"恰恰是这次承诺的卖点。
Source: 我的估计，算法见第 2、4 节。"不够快"指取回时间超出这档的时间预算
一句话：等几秒留在 HBM 或 DRAM，等几分钟到几周放 SSD (要比重算快就只能是闪存)，等几个月放 HDD 或干脆重算；"永久缓存"新增的需求落在 SSD 和最后一档。
6. 反过来想：真要"永久 + 保证命中"还缺什么
| 必需的能力 | OpenAI 现在 | 缺的性质 | 说明 |
|---|---|---|---|
| 便宜的大容量层 (SSD / HDD) | 文档写"可能把加密的 KV 存在 GPU 本地存储" | 没适配 | 本地盘已有，按天存要多买；数量见第 10 节 |
| 多机共享的 KV 池 | 文档写缓存在单台机器上，会溢出 | 没适配 | 要"保证命中"必须建；NVIDIA ICMS、DeepSeek 3FS 是现成路线 |
| 模型换代后笔记还能用 | 不能 | 天生 | 笔记是某一版权重读出来的，换权重就作废。物理保存期被模型寿命封顶 (Codex 一般一两个月一换) |
| 每份笔记足够小 | 不知道，gpt-oss 约 36 KB | 能补但吃掉优势 | 压缩 KV (低精度、少存几层) 会略损质量或要改模型结构 |
| 企业零数据留存 (ZDR) 下也能存 | ZDR 组织默认只在内存里存 | 天生 | 合规要求不落盘，这部分企业用户的笔记不会进 SSD |
| 上下文压缩后还命中 | Codex 会自动压缩长对话 | 天生 | 压缩一次，前缀就变了，旧笔记失效。压缩越频繁，长存越没意义 |
- "没适配"的两项 (多买盘、建共享池) 是钱和工程的事，正是存储需求的来源
- "天生"的三项 (换模型、ZDR、上下文压缩) 本质是同一件事：笔记只对一模一样的前缀和权重有效，所以"永久"不可能真的永久
- 会因下一个版本翻的：如果 OpenAI 做出跨模型版本复用笔记 (目前没有公开的做法)，保存期才不再被模型寿命封顶，第 10 节的"存一年"情形才有可能
一句话：缺的是盘和共享池，这是加项；封顶的是模型寿命和上下文压缩，这决定加项不会无限大。
7. 对每种内存的影响
| 介质 | 方向 | 量级 | 为什么 |
|---|---|---|---|
| 数据中心 SSD (NAND) | 加项 | OpenAI 一家约 2.5 EB (存四周) 到约 7.5 EB (存 12 周)；占 2027E NAND 0.2–0.5% | 小时到几周的笔记只能放这里；要保证命中还得建共享池 |
| HDD | 可能的小加项 | 容量上可以很大，金额小 | 几个月以上的旧笔记放 HDD 最便宜 (我的推断，没有厂商这么说过) |
| DRAM | 几乎中性 | <0.1% 全球产量 | 抽屉只放一小时以内的笔记，这部分原来就有。SSD 自带的 DRAM 缓存约每 TB 1 GB，2.5 EB SSD 只带来约 2.5 PB DRAM |
| HBM | 中性，略偏减 | 看不出来 | HBM 只放正在算的那批。省掉的重算让每个任务少用一点 GPU，但用户回来得更勤、额度更耐用，用量会补回来 |
Source: 我的估计；全球 DRAM 产量按约 35–40 EB/年 (训练知识，量级)，NAND 2027E 约 1,400 EB 沿用 DeepSeek KV Storage ROI 一篇
一句话：这是 NAND 的事，不是 DRAM 和 HBM 的事；"DRAM 紧到 2028"不因此改变。
8. 管理层怎么说
| 谁 | 说了什么 | 场合 | 和我们的判断 |
|---|---|---|---|
| OpenAI Tibo | Codex / Work 登录用户缓存永久保留、回旧对话无惩罚、保证命中 | X 帖，2026.10.20 | 方向一致；"永久"要打折 |
| OpenAI API 文档 | "可能把加密的 KV 张量存在 GPU 本地存储"；"缓存不会无限期保存"；"不保证命中" | Prompt caching 指南 | 一致：本地存储 = SSD；与 X 帖有分歧 |
| DeepSeek | 缓存放在"分布式磁盘阵列"上 (2024.08)；V4.1 agent 存 3 天、聊天存 7 天，约 100 PiB SSD | API 公告；2026.10.20 知乎技术文章 | 一致：按天存 = SSD。OpenAI 是第一家跟进按天级保存的海外大厂 |
| NVIDIA | 在 GPU 内存和共享存储之间加一层以太网连接的闪存专门放 KV ("G3.5"，ICMS，BlueField-4) | CES 2026 | 一致：共享 KV 池正是"保证命中"需要的东西 |
| 美光 | 数据中心 SSD 一年涨 10 倍到近 $100 亿；AI 推理的存储需求开始在 NAND 收入里显现 | FY4Q26 电话会，2026.09.30 | 一致，但没点名 KV 缓存 |
- 分歧只在 OpenAI 内部：产品负责人说"永久、保证"，文档说"不无限期、不保证"。背后的前提不同：一个讲用户体验 (计费上不惩罚)，一个讲系统行为 (物理上会过期)
- 存储产业链 (NVIDIA、DeepSeek、美光) 的口径完全同向：长时 KV 在闪存上
一句话：所有人都同意长时 KV 放闪存；唯一的分歧是 OpenAI 的"永久"到底存多久。
9. 最容易被误读的几点
| 大家以为 | 实际 |
|---|---|
| "永久缓存" = 永久占着内存 | 放了一小时以上的笔记，留在 DRAM 比放 SSD 贵约 5 倍，取回只快零点几秒，更不会留在 HBM。永久的那部分在 SSD、HDD，或者干脆是"没存住也不收你钱" |
| 缓存存得越久，HBM / DRAM 需求越大 | HBM 和 DRAM 只放正在用的笔记，正在用的笔记数量由同时在线的用户数决定，和保存多久无关 |
| 缓存省了重算，是算力的减项 | 省的是"隔一段时间回来"那一次重读，只占全部输入的一小部分；30 分钟内的命中原来就有。额度更耐用，用量会补回来 |
| API 12 小时是大头 | API 按请求付费，选 12 小时要多付一倍写入费，只有固定说明书、工具定义这种稳定前缀才划算。按 API 每天几十万亿 token 粗算，12 小时库存只有十几 PB。大头是 Codex / Work 的对话 |
| "保证命中" = 物理上一定有笔记 | 对订阅用户，可以靠计费兑现：没命中时 OpenAI 自己掏重算的钱 |
一句话：保存时间变长，增加的是"仓库"的需求，不是"书桌"和"抽屉"的需求。
10. 量级：OpenAI 一家要多少盘
"永久"对存储的意义是：需求从"流量"变成"库存"。原来只要存 30 分钟内的笔记，库存很快周转；现在每个对话都会在仓库里待上几周，库存随保存时间线性增长。
- 周活用户：Codex 7 月自报 800 万，加上 ChatGPT Work，取 1,500 万 (我的假设)
- 每人每周新开的对话：每个对话只算最后一份笔记 (前面的是它的一部分)。重度开发者一天好几个，轻度一周一两个，取 8
- 实际保存几周：最大的变量。第 4 节的规则给出 SSD 上值得存三四周；模型换代把上限压在两三个月
- 每个对话读到多少 token：最后一次活动时的上下文长度，Codex 会自动压缩，取 10 万
- 跟进倍数：只有 OpenAI = 1；Anthropic、Google 都跟 = 3
Source: 我的估计；2027E 全球 NAND 约 1,400 EB 沿用 DeepSeek KV Storage ROI 一篇；SSD 颗粒 $0.5/GB × 整机 1.7 倍
为什么 OpenAI 还要做
- 和 Claude Code 抢长任务。 隔夜回到旧对话不扣额度，对订阅用户是实打实的"额度变大"，社区第一反应就是"可能让 Claude Code 的压缩功能没必要了"
- 重算的 GPU 比盘贵。 第 4 节：一份笔记放 SSD 一天约 $0.0025，重算一次约 $0.06。只要三四周内会回来一次，存就比算便宜，GPU 紧的时候更是如此
- API 的 2.5 倍是按价值定价。 写入溢价远高于存储成本，长时缓存在 API 上本身是赚钱的
一句话：OpenAI 一家按存四周算约 2.5 EB、占 2027E NAND 约 0.2%；全行业跟进并存到模型换代，才到 10–30 EB、1–2% 的量级。方向确定，量要看实际存几周。
证据分级
| 数字 / 说法 | 级别 | 说明 |
|---|---|---|
| 12 小时选项、2.5× / 1.25× / 0.1× 计价、"本地存储"、"不无限期"、"不保证命中" | 一手，已读原文 | OpenAI API changelog 与 prompt caching 指南 |
| Codex / Work 永久缓存、保证命中 | 一手但只是口头 | Tibo X 帖原文被第三方转引，X 页面本身没能直接打开；文档没有对应条目 |
| Codex 800 万周活 | 公司自报 | 2026.07，没有第三方审计 |
| 每 token 约 35 KB | 我的推算 | 由 gpt-oss-120b 公开结构推算；闭源模型未知 |
| 各层每 GB 价格、重算 $0.6/百万 | 我的估计 | 未核实 |
| 每人每周 8 个对话、平均 10 万 token、1,500 万周活 | 我的假设 | 可用滑块改 |
| 旧笔记放 HDD | 我猜的 | 没有任何厂商这么说过，按成本推出来的 |
数据来源与 changelog
- 原帖：Tibo on X, Day 16 · Theo 转发
- OpenAI：API changelog · Prompt caching 指南
- 文档整理：explainx.ai (哪些已核实、哪些只是宣称) · dev.to (参数与计价算例)
- 社区反应：LINUX DO 讨论帖
- DeepSeek：2024.08 硬盘缓存公告 · 站内 DeepSeek KV Storage ROI · DeepInfer Primer
- NVIDIA ICMS：Solidigm 对 CES 2026 发布的整理
- 用户数：fourweekmba 整理的 Codex 周活 · ChatGPT Work 发布：MacRumors 2026.07.09
- 美光 FY4Q26：Notion "Claude - Earnings Track" 2026.10.01
v1 (2026.10.22)：首版。查清出处、两部分的证据级别、笔记放哪的成本规则和矩阵、对 HBM / DRAM / NAND / HDD 的分项判断、OpenAI 一家库存计算器。