2026.10.09 | 9K | Cloud | Nebius Expert: Inference-as-a-Service & GPU Pricing

摘要

开源模型和推理即服务正在加速新云业务收入增长，而 HBM 短缺保持了 GPU 供应紧张并支撑更高的租赁定价 Nebius 计划结合 Vera、d-Matrix 与 Groq 的语言处理单元，专用推理市场可能从当前约 5%–10%扩展到随时间推移约 40% 尽管 ASIC 产能仍是关键约束 Nebius 可能在今年年底收到约 5,000–10,000 台 LPX 机架

要点

1. 开源模型和推理即服务是最强劲的需求趋势，随着昂贵的闭源模型失去企业工作负载 Nebius 的模型即服务年度经常性收入可从去年的约 2500 万美元上升至今年的 6 亿–8 亿美元，而 Together AI 可能在大约一年内接近 15

亿美元

1. GPU 供应紧张并推动十月租赁价格再上涨约 20%；不断上升的资本开支也在推动 Nebius 更倾向于签订价格更高的 1–3 年合约而非 5 年的裸金属合同
2. Nebius 计划将 Rubin、d-Matrix 与 Groq 的语言处理单元结合以通过 SRAM 绕过 HBM 瓶颈并改善延迟、能效和 token 产出；Rubin 约产生 45,000 token 每秒每节点(8

GPU)，d-Matrix 可将此提升至至少 54,000，语言处理单元协助可将整套系统提高到接近 70,000

1. 专用高速推理目前约占推理市场的 5%–10%，明年可能达到 10%–15%，并可能随着对延迟敏感工作负载的扩展逐步规模化至约 40%；当前领先的用例是高频交易，其次为预测算法、智能体人工智能、实时编码、设备到语音交互和电话业务
2. Groq LPU产能被描述为 400 万–500 万 单位或大约 20,000 个整机机架；Nebius 可能在今年底收到约 5,000–10,000 台 LPX 机架，而对明年的保守估计为 20,000–25,000

台，因为三星的芯片产能落后于预期

1. 预计 Groq 的 LPX 服务将在年底前推出并采用基于 token 的定价，Groq 的基线大约为每百万输入 token 0.05–0.09 美元，Nebius 的定价大约比 Groq 自身的基线高出 20%；Groq 与

NVIDIA 的合作使其能够与 Rubin 直接集成，而 Cerebras 面临生态扩展与部署瓶颈，目前并非 Nebius 可能采用的目标

Q:从您的角度看，目前需求端总体趋势是怎样的？需求是向更高速度、更高吞吐量，还是更大的LLM转移？

A:目前最强烈的趋势是开源模型和“推理即服务”（Inference as a Service）的增长。这不仅限于Nebius；更广泛的云计算市场也越来越聚焦于推理即服务。像Together AI和Fireworks AI这样的公司是早期参与者，收入增长迅速。去年，Fireworks AI和Together AI的年经常性收入（ARR）大约在1亿到2亿美元之间，而Together AI在大约一年内有可能接近15亿美元。像CoreWeave这样的“新云”最初提供传统的裸金属和GPU即服务，直到近期才大规模提供推理即服务。以Nebius为例，去年其来自模型即服务的ARR约为2500万美元，今年可能收官于6亿到8亿美元之间。CoreWeave的数字类似，目前约为6亿美元，并可能向8亿美元迈进。

整个行业正在大量投入模型即服务。OpenAI最近预测的ARR大约为700亿美元，而不是800亿美元，尽管实际数字更接近500亿美元。闭源模型目前成本如此之高，以至于对许多企业而言成本不可承受。因此，本来会流向OpenAI、Anthropic或Google的需求和收入正直接转向开源模型，从而有利于新云。然而，从更长期看，前沿大模型实验室的作用可能会减弱，云端需求也会受到影响。来自超大规模云服务商（hyperscalers）的合约可能会放缓，这已经在与Microsoft和各类前沿实验室的合作中开始显现。OpenAI的大部分合约化需求被Microsoft吸收，而不是导致独立部署。Anthropic正与合作伙伴推进激进的云计算部署，但行业胃口在下降，为这些部署融资也变得愈发困难。

不过裸金属需求仍然强劲。即便核心的云计算需求减弱，总体需求仍在，因为由于HBM短缺，GPU供应仍然有限。举一个现实例子，NVIDIA最新旗舰Vera GPU理论上今年的产能大约为40万到60万块，但由于HBM4的问题，实际产能可能更接近10万到20万块。这限制了最新GPU的部署。旧型号仍可部署，但效率较低，而在规模上可行的NVIDIA替代方案尚未出现。因此GPU供应仍然紧张，10月租赁价格又上涨了约20%。这对新云有利，因为他们可以将额外成本直接转嫁给客户，而不是自担。

主要问题是资本支出（CapEx），大幅上升使得新云运营成本更高。因此像Nebius这样的公司在调整战略。它们不再追求多个超大规模的裸金属合约，以避免像CoreWeave那样产生过度的债务杠杆，同时提升盈利能力和利润率。它们优先考虑周期为1到3年、价格更高的大型合同，而不是5年的裸金属合约。

Q:为什么Nebius会部署NVIDIA和Groq的LPX基础设施？对快速推理的潜在市场规模是多少？

A:Nebius计划部署Groq的LPU主要是为了实现解耦的推理。目前NVIDIA GPU在token效率、能效和token输出延迟方面还不够高效。LPU正被纳入NVIDIA更广泛的策略中，这一策略还包括在GPU层面的d-Matrix部署。对于10月起部署的GPU，尤其是Vera，其生产尚未达到d-Matrix的目标，因为相关芯片只有大约40,000块。LPU与NVIDIA的组合构成了一个完整的系统。d-Matrix使用SRAM以避免过载HBM，通过在数据批处理上减少HBM瓶颈，使得Vera在输出上大幅优于以往型号。

该配置至少能提供20%更多的token输出。LPU通过绕开HBM、主要依赖SRAM来解决相同的瓶颈，从而实现token容量的指数级增长。当前最具竞争力的推理芯片Etched每个插槽或ASIC对单一模型大约能产生60,000 token/s。Vera当前大约为45,000 token/s。随着d-Matrix的实现和上述20%的提升，它至少能达到54,000。如果LPU也协助Vera，Vera + d-Matrix + LPU的组合几乎可以达到70,000 token/s。该配置比Etched更昂贵，但NVIDIA可以依靠更大规模的部署。因此LPU策略并非孤立举措；它旨在解决响应延迟、token输出效率以及HBM内存瓶颈等问题。

对快速推理的需求非常大，特别是在边缘计算、本地化推理、物理AI、自动驾驶车辆和具代理性的AI（agentic AI）方面。这些应用需要实时响应，无法容忍延迟。

Q:您刚才提到Etched。它真的能达到约60,000 token/s吗？为什么这个数字远高于Cerebras和Groq等厂商？

A:是的。Etched从一开始就是专为推理而设计，而不是传统的GPU。其系统可以在较小规模上部署，并针对具代理性AI和推理进行了专门优化。在软件和架构层面，它没有同样的编程层或软件编译器。它使用HBM3E而非HBM4，容量为144GB，并有自己的生态、液冷系统和软件管理。它绕过了内存带宽问题，同时其软件更简单，仅针对推理进行优化。NVIDIA GPU被设计为通用计算，而Cerebras的ASIC也更通用。Google的TPU、AWS Trainium、Cerebras和Maia在推理上可以高效，但它们并非专为推理而设计。

Etched移除了通常为通用计算所需的架构组件，并简化了处理器本身。这可以将芯片上的Transformer利用率提高到约90%，并改善FLOPS利用率和token输出。Etched最近完成了一轮100亿美元的融资，并有另外100亿美元即将到位。其主要投资者包括Jane Street等华尔街金融机构。它已经在JPMorgan部署并直接交付给Jane Street。该系统被设计为提供高效的推理集群，而无需微型数据中心。然而，Etched仍属于小众而非大众市场产品，因为制造产能有限，目前部署主要集中在金融服务领域。

Q:哪些类型的LLM在Etched硬件上运行？

A:目前Etched主要并不是运行传统的LLM；它运行的是高频交易算法。它最初并非为LLM而设计，而是为大规模推理而设计。通过去除不必要的组件并专注于特定用例，而不是广泛的具代理性AI部署或通用开源模型，它面向最苛刻的计算需求：在最短时间内完成尽可能多的计算。多数在Jane Street运行的模型是机密的，因此可以讨论用例，但不能讨论具体模型。

这些工作负载通常涉及内存密集、低时延的transformer推理，且硬件必须放置在楼宇内部，而非外部数据中心。主要用例是高频交易。那些未公开的专用模型针对的是亚毫秒级延迟，不仅适用于高频交易，还用于自生成交易信号、即时独立代理动作以及高频预测型代理。它们可以预测证券的下一步走势，并以零批量大小退化（zero batch-size degradation）实时处理数据。利用可用的上下文，它们可以预测接下来10秒或1分钟内可能发生的情况，与标准的NVIDIA GPU或其他硬件相比，在直接时延套利上形成显著优势。

Q:既然您描述为低时延的transformer推理，那么在Etched上运行的模型仍然是transformer吗？

A:我不知道它是否使用了不同的架构。

Q:应如何定义快速推理？Cerebras的速度可超过4,000 tokens/秒，而Groq可超过3,000 tokens/秒。在当今市场上，推理需要多快才能被称为快速推理？

A:首先必须对工作负载进行分类并予以理解。Groq目前用于实时agentic AI，在此场景下代理必须立即响应。Cerebras也部署于agentic AI，但更多聚焦于推理输出。Etched比Cerebras和Groq更快且输出更高，尽管目前仅对金融服务客户可用，因此应作为单独类别来考虑。在更广泛的市场中，Cerebras在某些方面领先于Groq，尤其是在Time to First Token上，低于80毫秒。

对于快速推理，基本原则是越快越好，因为系统必须实时地处理输入和输出。机器人和agentic AI要求的响应速度快于普通的实时交互。物理AI与机器人必须计算正在发生的情况、决定采取何种动作，并预测该动作的未来后果。这要求高度的响应性和低的Time to First Token。当前的基准大约为80毫秒，尽管预计还会进一步下降。在最高层面上，快速推理不仅仅是实时反应；它还要预测未来一两分钟内可能发生的事情。对于机器人或算法，它可以以接近99%的准确率预测事件并在事件发生前立即触发反应。

Q:能否详细说明当前用例？机器人和物理AI可能还较远，而agentic AI和AI编码已经存在。今天哪些用例最需要更快的推理，它能带来多少价值？

A:目前最强的应用是算法类。高频交易是当前最重要的应用，其次是算法计算和预测分析。agentic-AI工作流是另一类现有用例。当用户与OpenAI或Anthropic交互时，通常会感受到5到10秒的延迟，因此响应不是实时的。快速推理的目标是提供即时的实时响应。因此其应用不仅限于将输入转化为输出的通用模型；还包括实时的agentic-AI编码、设备到语音的交互以及实时电话业务。

代理应能够在实时中以预测性方式执行分配的任务，并实现无可察觉的延迟交互。消费者当前会感知到延迟，因为NVIDIA GPU可能需要10到20秒来生成tokens，而之后软件处理又会增加额外延迟。目标是使整体体验变为瞬时。因此，几乎所有当前的推理应用都可以通过快速推理得到显著改进，实时应用很可能首先被采用。实时代码生成是另一个重要用例。今天，AI在输入-输出存在延迟后才建议代码；未来的目标是AI能够预测代码。当不使用Cerebras时，编码延迟大约为200到300毫秒，而解码后目标大约为10到40毫秒。

其他应用还包括UI生成和推测解码（speculative decoding）。推测解码使用预测模型和消耗tokens的仿真来预测接下来会发生什么。目前的开源和闭源模型也通过将数据与问题进行三角验证来评估并预测对用户最有用的答案。这一能力今后应会显著提升。

Q:到2030年为例，快速推理未来可能占整个推理市场的百分之多少？

A:快速或专用推理目前占比较小，因为产能受限且技术虽已成熟但尚未达到大规模部署的成熟度。目前不到10%。更具体地说，专用推理大约占当前市场的5%到10%，随着时间推移可能扩展至大约40%。其份额可能从今天的5%到10%上升到明年的约10%到15%，随后随着工作负载变得更加对时延敏感并依赖快速推理，将继续大幅增长。

主要瓶颈是专用ASIC的生产。云计算合作关系也带来约束：某个NVIDIA合作伙伴不太可能部署Cerebras，更可能部署LPU。在讨论的那个阶段，LPU的产量估计为40,000台，Nebius预计部署约10,000台。Nebius会将其用于agentic AI和开源模型，同时在更传统的开源工作负载上保留传统推理。这些产量数字后来被修正。

Q:与聊天式生成型AI相比，agentic AI是否会推动对快速推理的更大需求？

A:是的，特别是因为agentic AI需要实时互动。生成型AI也会对快速推理产生大量需求，尤其是在解码方面，但agentic AI有同样大的需求。市场正朝着对延迟敏感度较低的工作负载使用通用推理、对延迟敏感的工作负载使用专用快速推理的方向发展。后者包括生成型AI解码、算法交易、机器人和预测算法。

Q:如果Nebius预计在总产能40,000中部署10,000台LPU，那么其余约30,000台将由谁购买？

A:它们很可能会卖给Groq自己的客户，当时这些客户的身份尚未公开。之后在核对基础数据后，这些产量数字被修正。

Q:40,000是月产量还是年产量？指的是2026年还是2027年？

A:指的是2026年，而不是2027年。不过40,000这个数字后来被更正，因为它代表的是早期预期，而非更新后的生产估算。

Q:目前哪些大型语言模型可以部署在Groq LPU或LPX机架上？我们唯一看到披露的示例是一个31亿参数的Gemma模型。还有哪些模型可以部署？

A:理论上，所有LLM都可以部署在LPU上。实际上，制造能力非常有限，因此部署仍然困难。Cerebras与OpenAI有合同，允许OpenAI在Cerebras上部署。Anthropic可能通过Amazon使用Groq，因为Amazon正在将Groq与AWS Trainium并行部署。开源模型也可以部署在Cerebras和Groq上。没有架构上的障碍阻止开源或闭源模型在这些ASIC上运行。

关键区别在于部署方式。较小的开源工作负载不会造成同样的产能问题，而非常大的模型会。LPU 当前并没有足够的整体产能来广泛部署非常大的模型，这不是架构限制而是制造能力的约束。据我所知，Cerebras 正在部署 Meta 的 Llama 和Mosaic 模型。它也在与 Gcore、阿联酋的 Core42 以及阿联酋的一所大学合作部署一个尚未公开的主权 AI 模型。我没有看到架构上的障碍会阻止 Anthropic、其他模型或三线、四线的前沿实验室使用 LPU 或 Groq。

LPU 的潜力最大，因为它们在 NVIDIA 生态系统内运行。将 Vera 与 LPU 一起部署的提供商，或者使用 NVIDIA 软件栈的提供商，可以直接部署 LPU。这使得 LPU 的采用可能比 Cerebras更广泛，后者目前更多局限于自身生态系统和大型合约，而非生态层面的广泛部署。

Q:如果一个一万亿参数的模型部署在 LPU 上，它的速度会显著更低吗？据称 Gemma 31B 在 Groq 上超过 3,000 token/s，那么一万亿参数模型可能达到什么速度？

A:模型越大，单个 LPU 的输出越低。这类似于把 Kimi 部署在比 GB200 更小的硬件上：Kimi 在 B200 上存在明显的输出问题，模型小型化也有其极限。LPU 也未广泛对外测试，因为部署要到年底左右才开始。早期测试包括约300 亿参数的 Llama 模型。

以 Kimi 作为实际参考，较小的版本之一 Kimi 1.5 在 LPU 上大约可以达到 1,000 token/s。Kimi K2 大约可以达到 400 到 450 token/s。Kimi 3 无法在单个 LPU 上直接运行，需要多块LPU 并使用两块的内存。其在 LPU 上的估计输出大约为 250 token/s。

Q:您预计通过 Groq LPX 提供的快速推理服务价格会是多少？该服务会通过 Nebius 的 token factory 按 token 收费吗？

A:该服务尚未上线，但预计会在年底前推出并采用按 token 定价。Nebius 的 token factory 可能不会透露底层模型；客户可能只能看到最终价格。定价将取决于模型，因为像 Kimi这样的模型虽然输出较低但可能定价更高。Groq 的基线定价看起来大约在每百万输入 token 0.05 到 0.09 美元之间，具体取决于模型。

参数在 8 亿到 20 亿之间的模型，输出 token 的定价可能在每百万输出 token 大约 0.05 到 0.08 美元。OpenAI 测试的 GPT-OSS 20 亿参数模型约为每百万输入 token 0.07 美元、每百万输出token 0.30 美元。中等规模模型（27 亿到 70 亿参数）有一个基线预测，约为每百万输入 token 0.59 美元和每百万输出 token 0.79 美元。阿里巴巴的模型输出 token 定价范围大约为每百万 0.60 到3.00 美元，体现出按模型的巨大差异。对于 1200 亿参数及以上的大型专家混合模型，120B 的案例大约为每百万输入 token 0.15 美元和每百万输出 token 0.60 美元。

Groq 对缓存的 prompts 提供 50% 折扣，对异步批处理 API 和预留批次也提供 50% 折扣。客户若在指定期限内预留 token 输出和用量可以获得更高折扣。通过 Nebius 部署的 Groq，其基线似乎约为每百万0.06 美元，约比 Groq 自身基线高出 20%。对于 120B 的案例，Nebius 方面的估算大约是每百万输入 token 0.35 美元和每百万输出 token 0.75 美元。

Q:Nebius 将来是否可能采用 Cerebras？

A:不，目前不太可能采用。Nebius 曾考虑采用 Etched 而非 Cerebras，但 Etched 目前的产量太有限，无法满足需求。

Q:鉴于此前对 2026 年 40,000 的估算，您能估算一下 2027 年的 LPU 产量吗？

A:在核实数据后，LPU 的生产能力被描述为大约 400 万到 500 万 台，相当于大约 20,000 个技术上可用的整机架。40,000 机架的数字是早期的预期。更保守的估计是 Nebius 到今年年底可能收到大约 5,000 到10,000 个 LPX 机架。其他单元会分配给包括 Saudi Aramco 在内的既有 Groq 客户，这意味着大多数合约会直接落到 Groq 的客户手中。

对明年的保守估计大约为 20,000 到 25,000 个 LPX 机架。此前的 40,000 数字应当弃用，因为那代表原先的预期，而生产并未按计划提升。Groq 依赖三星的 4 纳米和 9 纳米芯片，产量低于预期，因此 2027年的目标被下调，这解释了更正后的估计。

Q:Groq LPU 的每 token 价格相比纯 GPU 或传统 GPU 集群（如 Vera 或 GB300）高多少或低多少？

A:以 Vera 和 GB300 作为传统 GPU 的比较，数值取决于模型和配置。一个包含八块 GPU 的 GB300 节点在所参考的最小模型情况下大约能生成 28,000 个 token。LPU的产出必须在机架级别进行比较，而不仅仅是单个芯片级别，因此讨论中没有给出一个单一的直接价格百分比。

Q:软件优化能否使相同模型在相同硬件上在 Nebius 上比在其他新云（如 CoreWeave 或 Lambda）产生更多的 token/s？如果可以，Nebius 能达到多少百分比的优势？

A:可以。差异来自推理软件。每个提供商使用不同的软件并达到不同的优化水准，从而表现出不同的速度。没有稳定的单一百分比，因为性能随模型、提供商的改进、竞争对手的进展和测量时段而变化。Nebius 可能比某些新云高出 20% 甚至 40%的效率，但目前它的效率低于 Together AI。

在当前的 Kimi K2.5 比较中，Together AI 大约产出 450 token/s，而 Nebius 大约产出 338 token/s。Together AI 的延迟约为 1 秒 37 毫秒，而 Nebius 约为 1 秒 86毫秒。Nebius 效率较低的部分原因是其 token factory 聚合了不同代的 NVIDIA GPU，包括 H100、H200 和 B200。Fireworks AI 也可能更高效，因为它使用更多专用的 ASIC 硬件。参考到的一个Fireworks AI 结果是 Kimi K2.5 大约 354 token/s，延迟约 0.62 毫秒，被描述为大约是 Together AI 的一半、Nebius 的约三分之一。

Baseten 在 Nebius 硬件和其他基础设施上运行时被引用为大约 334 到 340 token/s，延迟约 40 毫秒。因此其输出速度与 Nebius相近，但延迟约低四倍半。任何基准都必须指明模型、模型变体、硬件、提供商和测量时段。不存在通用基准，因为模型不断变得更高效，较老的 Kimi 版本可能明显比新版更大。

Q:OpenAI 最近披露，一个超快版本的 GPT‑6.1 可以达到大约 300 token/s，大约是标准版本的八倍。OpenAI 用哪些方法实现了这种提升？

A:首先必须确认 OpenAI 使用的推理栈。其次要了解所用硬件。如果测试使用了专有的推理硬件，那么这样的结果是可能的。较新的模型在推理利用率和输出方面也越来越高效。所用硬件看起来是 Vera。OpenAI通过三类总体方法实现了改进，首先是更高效的推理软件以及模型、GPU、token 输出和内存之间更好的接口。

OpenAI 实施了 AI 辅助的 token 输出优化，比传统方法更高效。它优化了工作负载重路由、输出和利用率。该模型在 GPU 上运行更高效，据描述比一个较旧的对比模型大约便宜 80%。OpenAI 还重构了推理 API和后端以处理并行批次并最小化生成过程中的 Time to First Token，然后增加了一个 AI 协调层以进一步提高效率。

OpenAI 还集成了一个 agentic-AI API 框架，包括旨在防止代理像以前那样大量使用代码的自动化和控制。模型本身也被修改以提高推理效率，软件层为硬件和推理输出进行了优化，并在模型、GPU 与输出之间插入了 agentic组件以重路由工作负载。这种组合解释了与旧版本相比显著更高的效率。

Q:Cerebras 和 Groq 的竞争优势是什么？

A:Groq 最重要的战略优势是与 NVIDIA 的合作关系。它也是当前可用的最高效的 ASIC 之一，并且可以接触到 NVIDIA 的客户群。其主要竞争对手是 Etched 和 Cerebras，尽管在这种配置下 Cerebras更像是一个接近的同级者而非直接替代品。更直接的竞争者是 Etched。Groq 可以通过将 LPU 与 Vera 结合直接集成到部署中，因此在该生态系统内目前缺乏一个可以直接比较的竞争对手。

Q:你如何评估 Cerebras 的增长潜力？它是否很高，通常而言，是否是一个有吸引力的投资？

A:市场对该股的态度并不十分有利，因为直接竞争的替代方案正对 Cerebras 发起挑战。Cerebras 面临扩展问题和部署瓶颈。它有重要客户，但尚未能将其生态系统扩展到大众客户群。市场采用度仍然强劲，但仍受这些限制制约。

更广泛而言，基础设施投资不能仅基于哪个系统看起来更高效。服务提供商必须满足特定的技术要求并让客户满意，而一次部署的年经常性收入（ARR）可能带来严重的财务后果。Nebius 具备进行这些评估并实现结果的工程能力。其他提供商，例如CoreWeave，也能评估替代方案，但许多前比特币矿工主要需要现金和资本，可能会为求生存而部署任何可用的设备。

以上仅供交流探讨，不构成投资建议