2026.09.23 | 9K | AVGO | Broadcom Expert: Inference Shift

摘要

随着模型生成最终趋于饱和，AI 硬件增速预计将转向推理端，偏好可编程的 NVIDIA 系统和能在通用计算上实现 2 到 10 倍性能的专用 ASIC；NVIDIA 的机架集成提高了其收入捕获，但在 Rubin 接近 3,000 瓦时也提高了冷却成本；Broadcom 的已保证产能支撑大约 18 个月的可见性，约一半的 XPU 增长可能由 ASP 驱动，但低利润的 HBM、客户偿付能力、监管以及 2028 年可能出现的 CSP 资本支出峰值构成实质性风险

要点

1. 随着模型生成最终趋于饱和而使用和应用倍增，训练增长预计会远低于推理增长，未来两到三年内硬件组合将向推理倾斜

1. NVIDIA 的机架级集成将其与芯片供应商区分开来：Hopper 约消耗 700 瓦，Rubin 可能接近 3,000 瓦，液冷约占机架成本的 20% 到 30%，NVIDIA 每吉瓦估计捕获约 300 亿美元的收入，而

Broadcom 或 AMD 约为每吉瓦 100 亿美元

1. NVIDIA 的价值在于可编程性和 CUDA 的锚定作用，背后有估计 2,000 到 10,000 名内部软件工程师以及客户和生态合作伙伴的支持，而 Google 在与 Broadcom

的关系中承担了相当的软件、工作负载和指令集优化角色

1. 在可预测的工作负载上，ASIC 即使在硬件仅为领先制程约 30% 先进的情况下也能在通用计算上实现 2 到 10 倍的性能，从而支持未来架构组合在 OpenAI、Anthropic 和 Google 中大致由约 30% 到 50% 的 NVIDIA GPU 和约 30% 的 ASIC 组成

1. Broadcom 的 AI 半导体增长被认为在大约 18 个月内是可预测的，因为 TSMC 的配额、机架建造和预订已可见；Anthropic 可能会预订 5 吉瓦的算力，按约每吉瓦 $10 billion 计相当于约 $50

billion

1. Broadcom XPU 的增长大约有 50% 可能来自 ASP 提升，其余来自出货量，但内存占 XPU ASP 近半且几乎没有或没有整合边际，同时客户财务健康状况、监管以及 2028 年左右可能出现的 CSP 资本支出峰值仍构成重大风险

Q:您能分享一下关于 GPU 和 ASIC 技术趋势的看法吗？趋势包括 prefill-decode 分离，而 ASIC 厂商有不同的路线图、技术和特性。从高层来看，未来两到三年内 GPU 和 ASIC 技术将如何演进？

A:总体趋势是 AGI 和 AI 将拥有大量应用并彻底改变劳动力、银行业、日常生活、智能建模、医学等领域。对 AI 及其应用的需求是不可满足的。近期研究显示，用于训练模型的计算越多，模型表现越好。这对硬件提出了要求，并催生了对 AI 硬件建设的巨大需求。

例如，NVIDIA 预计其硬件销售和营收将翻倍。Broadcom 也沿着同一路径，半导体业务实现了年复一年翻倍。今年的业务比去年翻了一番，Broadcom 预计还会再翻一番。直到也许几个月前，路线图都表明这种增长速度会持续。对 AI 硬件的需求非常强劲。然而，过去几周出现了一些反弹、限制、不确定性以及可能的政府监管，这些都可能放缓 AI 的部署。AI 也具有军事应用。直到一两周前，普遍趋势仍是对 AI 应用与硬件的旺盛需求。

GPU 架构通过并行化操作并提供显著更高的矩阵乘法吞吐量，彻底改变了 AI。市场可以分为训练和推理。直到最近，活动可能更多集中在训练端，这导致了更强大的 GPU 和更高的功耗。然而展望未来，我认为结构将朝向推理硬件而非训练硬件转变。主要参与者包括 NVIDIA、AMD、Google 和 Broadcom，Broadcom 生产大量硅片，包括 TPU 和 XPU。

Q:您提到直到最近活动更多集中在训练端，而行业或市场共识是结构正朝向推理转移。我们应如何理解这一点，为什么您会说最近有更多训练计算？

A:我的意思是训练端的增长将远慢于推理端的增长。近期关注点是构建越来越有能力的模型。但在某个时点，将不会有太多可为不同应用构建的独特新模型。现有模型会随着新数据不断被微调，但模型生成最终会饱和。之后使用量、推理和应用会成倍增长，远快于训练。

Q:您能分享一下对若干主要厂商的优劣势看法吗，包括 NVIDIA、AMD、Google、Broadcom 和 Cerebras？Google 可能是 Broadcom 的大客户之一。

A:先从 NVIDIA 说起，它是既有者，近 30 年来一直在构建 GPU。它为游戏主机开发产品并尝试进入移动市场。大约在 2015 年，其架构在加密货币和加密挖矿中找到了应用。NVIDIA 利用高度并行的指令实现了远超其他可用方案的计算吞吐量。下一个重要里程碑出现在大约 2019 年，当时它在生成训练模型方面取得了显著成功。

NVIDIA 的路线图包括 Hopper、Rubin 和 Feynman。主要区别在于 NVIDIA 在构建机架级解决方案。据我所知，它是目前唯一将 GPU、CPU、网络交换机和其他互连芯片整合到机架中的公司。散热很关键，因为 Rubin 预计功耗大约在 2,000 到 3,000 瓦，这无法通过空气冷却应对，需要液冷。

Hopper 目前功耗在约 700 瓦。NVIDIA 与其他方案的一个主要区别是，NVIDIA 销售的是整机架而不是仅销售芯片。Broadcom 和 AMD 销售的是芯片，尽管这些芯片包含 HBM 和许多其他组件。NVIDIA 现在销售的是整机架。从 Hopper 的约 700 瓦到接近 3,000 瓦的 Rubin，需要一个集成的冷却系统。

冷却系统并非小事。当前估算显示，热交换器、冷却板和液冷管道大约占机架成本的 20% 到 30%。过去一个风扇可能只需 10、15 或 20 美元，而冷却板大约 200 到 1,000 美元，甚至可能和硅片一样昂贵。由于功耗、集成和高速互连的要求，NVIDIA 销售整机架。这是 NVIDIA 与 AMD、Broadcom 或 Google 最大的区别。

另一个视角是生成一吉瓦计算的成本。一个估计是，生成一吉瓦计算大约需要 600 亿美元，包括土地、半导体和系统。估算中 NVIDIA 每吉瓦可获得约 300 亿美元收入，而 Broadcom 或 AMD 每吉瓦约产生 100 亿美元。差别在于 NVIDIA 销售整机架解决方案。当客户从 Broadcom 或 AMD 购买芯片时，额外的系统成本会在别处发生。

Q:您能继续说明，然后重点讨论 GPU 和 ASIC 如何配合不同类型的 LLM 和模型工作吗？

A:NVIDIA 硬件的效用在很大程度上取决于其编程模型。指令各不相同，并非所有指令都可并行化。必须将算法智能地分解成一种可以利用硬件的指令集架构。避免停顿是晶体管利用率的一个主要因素。例如，内存未命中可能导致超过一百万个周期的计算空闲。

软件架构，包括 CUDA 及其众多衍生版本，是由相当庞大的 NVIDIA 软件团队开发的。该团队不断开发新的框架以利用硬件。这创造了一个生态系统，也构成了大量价值。在 Google–Broadcom 的关系中，Google 也意识到需要类似的软件和工作负载优化能力。

Q:我们应如何理解 Google 在 Broadcom 身上所看到的价值？在 Google 与 Broadcom 的关系中，CUDA 式的角色是什么？

A:在 Google–Broadcom 的关系中，Google 扮演了 CUDA 式的角色。作为最终用户，Google 处理软件架构、工作负载、软件优化和指令集优化。

Q:您能估算一下 NVIDIA 的 CUDA 软件团队规模以及 Google 相应团队的规模吗？大约有多少员工或工程师参与？

A:我估计 NVIDIA 在这方面至少有 2,000 到 10,000 人。其内部工程师从事低级指令集优化、编译器优化和固件工作。他们可以配置硬件、提高电压并基于热感知等优化标准执行动态电压调节。在这种低级计算控制之上还有更高层的工作，例如指令级并行性，以及基于应用的优化。

在系统层面，软件工程师优化不同芯片之间的相互作用，例如 GPU 与 CPU，以及控制和 prefill 操作。仅这一项工作就可能涉及至少 2,000 人。更高层的 API 还会增加更多人员，使估算在 2,000 到大约 10,000 人之间。除了 NVIDIA 的内部团队外，一个生态系统中的公司比公众拥有更大程度的低级硬件架构访问权限，这些公司优化寄存器、流水线和工作负载。

像 OpenAI 和 Anthropic 这样的最终客户也有工程师优化硬件并与 NVIDIA 工程师合作，使其适配软件工作负载。因此我对 NVIDIA 内部团队的估算是 2,000 到 10,000 人，外部生态会补充更多。我认为未来软件工程师数量不会增长得那么快，因为 NVIDIA 正试图用 AI 优化许多这些软件功能。

Q:与NVIDIA的CUDA团队可比的谷歌软件工程团队规模有多大？

A:谷歌内部有一项开发自有TPU的工作，因此它正在扩大其硬件团队，尽管该团队的规模仍只是其软件团队的一小部分。软件组织包括许多应用工程师。他们与银行（例如美国银行）以及其他传统公司合作，了解这些企业的工作负载，并将这些需求转化为在Google Cloud上优化TPU以实现更高每瓦运算量、更高吞吐量或其他总拥有成本指标的方法。我猜谷歌可比较的团队规模可能与NVIDIA的差不多。

Q:不同的GPU和ASIC最适合哪类工作负载？例如，Groq的语言处理单元和Cerebras的晶圆级引擎是否最适合快速推理，而NVIDIA和AMD的GPU更适合prefill？不同GPU或ASIC架构与不同工作负载之间有什么关系？

A:Cerebras构建了一种新型的晶圆级计算机。曾经在某个阶段，良率非常低，存在大量热机械问题，有些组件无法工作。我很惊讶Cerebras能走到IPO这一步。我的理解是OpenAI支持了Cerebras的生产，但其总体产能仍低于一千兆瓦时（one gigawatt），使其成为一个非常小规模的部署。

晶圆级计算面临严重的良率挑战。如果典型的缺陷密度约为0.1并遵循台积电的常见缺陷密度，晶圆的许多部分将无法正常工作。在晶圆启动和表征过程中，Cerebras必须识别有缺陷的单元并将工作负载绕开它们。每片晶圆都会有缺陷，因此每片晶圆和每台计算 机可能具有不同的性能特征。

这使得优化比CUDA更具挑战性。矩阵乘法软件必须将指令映射到可用硬件上，同时绕过缺陷。仅仅利用这些计算资源可能就需要至少多出30%的工作量，甚至可能多出两倍的计算机架构优化工作量。从这个意义上说，Cerebras能够存活下来确实令人瞩目，这 也是我对其获得那么多关注感到惊讶的原因。

Q:我们的研究显示Cerebras既有优势也有劣势：片上SRAM非常大、片内带宽非常高、片间I/O带宽可能较低，以及每用户每秒披露的tokens数很高。更广泛地看，GPU和ASIC的未来趋势是什么？Cerebras似乎更专注于decode，而NVIDIA GPU与Groq的语言处理单元的组合可能会把prefill或attention与decode或FFN分离。OpenAI的Jalapeño似乎没有采用prefill‑decode的分离。是否会出现更多细分的ASIC，为prefill、decode、attention或FFN分别设计独立的ASIC？

A:软件模型可能每六个月就会变化。训练和推理仍将存在广义类别，但硬件开发如果运气好也需要九个月。因此NVIDIA出售的是一种可编程系统，几乎像带加速器的CPU。它通过NVLink集群化GPU，并配有自己的CPU。这种可编程性允许硬件适应软件 模型的变化。

Jalapeño的功耗低于一千瓦，约为700瓦，因此它的算力甚至不及当今的某些NVIDIA GPU。然而，它针对特定工作负载进行了定制。因此，其性能可能远优于运行较不优化软件的一般处理器。ASIC通常比通用计算快2到10倍，这并不一定是因为其硬件本质上优越，而是因为软件、工作负载、指令集，有时甚至数据通路都为特定工作负载进行了优化。

当工作负载事先已知时，用可能只比最先进技术落后约30%的硬件也能实现显著的性能提升。未来，OpenAI、Anthropic和谷歌等公司可能会混合使用多种架构。目前的预测可能大致为30%到50%的NVIDIA GPU和大约30%的ASIC。这些ASIC可能包括定制TPU、Jalapeño，或来自Broadcom、Marvell、内部开发团队或联发科的产品。它们将是针对特定、可预测的利基工作负载的定制硅片，而通用CPU则处理其他工作负载。

Q:从Broadcom的角度来看，您的意思是Anthropic会像OpenAI那样拥有自己的ASIC吗？

A:我希望这是公开信息。我认为霍克·谭（Hock Tan）会很自豪地说Anthropic预计会从Broadcom订购五千兆瓦（five gigawatts）的计算能力。这是一个非常重要的订单。按每千兆瓦约100亿美元计算，这代表单一客户大约500亿美元的规模。

Q:霍克·谭在高盛会议上也披露过类似信息，可能是在九月初。那五千兆瓦是用于Anthropic自己的ASIC，还是用于谷歌的TPU？

A:据我所知，谷歌实际上并不自己制造大部分硬件。它可以为硬件贴牌，但Broadcom可能至少供应了90%，甚至99%或100%的谷歌TPU硬件。有报道说谷歌使用Marvell或联发科，或试图内部制造一些TPU。TPU产品线也可能分为不同类型 并在每代中有多个SKU。尽管如此，如果Anthropic购买的是谷歌TPU计算能力，那么TPU硬件实际上来自Broadcom。

Q:市场上有几家定制硅片厂商，包括高通、Marvell、联发科和Broadcom。这些玩家之间最重要的竞争优势是什么：IP、专有技术、客户关系还是其他因素？

A:高通在调制解调器领域传统上处于主导地位，并拥有覆盖3G、4G和5G的大量无线IP组合。它正在尝试进入服务器市场，但它并不制造功耗超过一千瓦的芯片。Marvell在定制硅片领域可能位居Broadcom之后的远第二名。它经历了许多变革，退出了汽车以太网等业务，并收购了包括Celestial AI和Inphi在内的公司。它通常与中等性能的计算解决方案，尤其是网络领域相关联。

Broadcom在网络领域有超过20年的经验，是以太网生态系统的主导者。它大量参与新型规模化基础设施的标准制定，拥有以太网、PCIe和其他连接性技术。此前，大约50%的半导体营收可能来自无线产品，其中包括与苹果的大量业务。Broadcom现 在正通过XPU来跟随AI浪潮。

大约十年前，Broadcom与谷歌开始了最初像侧项目一样的合作，打造了几代最初几乎没有产生多少收入的TPU。后来谷歌意识到TPU在内部计算利用率、云服务和大客户方面的价值，业务因此迅速扩张。Broadcom的优势包括诸如HBM控制器和Ser Des等IP，以及其快速执行的能力。这些芯片在机械、电气以及集成和工作流层面都极其难以开发。谷歌正在发现开发复杂GPU级芯片的难度。

Q:霍克·谭表示Broadcom有六个主要的XPU客户，并点名了四个：谷歌、Anthropic、OpenAI和Meta。Broadcom XPU业务的另外两个主要客户是谁？如果你不能指出名字，能否缩小可能的客户范围？

A:我不知道另外两个客户是谁。即便我知道，我也不能披露该信息，无论该信息在透明性上如何被定义。

Q:霍克·谭预计Broadcom的AI半导体收入今年将翻倍，然后明年再次翻倍。你认为这是一个激进还是保守的目标？

A:我认为这是一个准确的目标。Broadcom 已经有了它在 TSMC 的配额，并且可以预见晶圆产能和产出构建。因此，收入可以相当准确地预测到大约 18 个月。一个硅项目的开始是与 TSMC 接洽并声明最终客户或客户群。因此，TSMC 对其硅片去向有一个强有力的模型和展望。

出口管制限制也支配着产品可以或不可以发往何处。因此，对下一年的预测应当高度可预测。Hock Tan 已经很透明，整个生态系统，包括 TSMC，可能也有可视性。我认为 Broadcom 的收入在未来 18 个月内相当可预测。

Q:Broadcom 的财年从 11 月到次年 10 月，指引是 2028 财年定制硅或 AI 半导体收入大约为 2300 亿美元。鉴于那几乎是 24 个月后的事，这也会高度可预测吗？

A:我认为至少 12 个月是可预测的，我认为 18 个月也是可预测的。再外推六个月并不会把预测期拉得太远，所以认为这一轨迹应该会持续是合理的。

Q:未来 GPU 和 ASIC 的竞争格局会是什么样？我们特别感兴趣的是用于快速推理的 ASIC，包括 Cerebras、Groq，以及 AMD 收购或小型玩家的技术。您如何看待 GPU 与 ASIC 细分市场的未来竞争格局？

A:在回到那个问题之前，我想对 Broadcom 的季度业绩和股价做个评论。Broadcom 的收入翻了一番，并表示明年还会再翻一番，所以人们本可能预期其股价也翻番，但它反而下跌了。我的看法是本季度没有新信息。上一季度已经传达了强劲的收入和明年再翻一番的信息，本季度只是重复了同样的讯息。

对 NVIDIA 同样适用。它表示收入同比翻倍并将再次翻倍，但其市值并没有翻倍。一个可能的原因是 NVIDIA 的市值已经如此之高，经济中可能没有那么多资金可供其再翻倍。第二个可能的原因是利润率压力。NVIDIA 正进入更像 PC 的 GPU 市场，那里利润率为零或接近为负，良率也可能没有预期的那么高。这些都是解释为何尽管预计收入翻倍，NVIDIA 和 Broadcom 的股价仍下跌或停滞的可能原因。

Q:Broadcom 的 AI 半导体收入预计明年翻倍，并在 2028 财年再次翻倍，而 TSMC 的 CoWoS 产能在这两个期间都不会翻倍。Broadcom 的增长是靠争取更多的 TSMC 容量并提高产品 ASP 吗？其收入增长为何如此之高？

A:有几个因素。ASP 在上涨是因为内存。一款 XPU 不仅包含计算裸片，还包含内存，内存几乎占到产品 ASP 的一半。还有 HBM 短缺。像 SK hynix 和 Micron 这样的供应商正在努力提高产量，内存定价在 ASP 中起着重要作用。然而，这也会降低 XPU 的利润率。

Q:Broadcom 在 TSMC 争取到的产能如何影响前景？

A:有保障的产能就是收入如此可预测的原因。我对指引会非常接近抱有更多确定性而非不确定性，至少在半导体上是这样，可能在软件上也一样。Hock Tan 的指引是“科学的”和可预测的，类似于 NVIDIA 对未来 12 个月的指引，因为有分配的产能、机柜建置以及预订。

一个风险是客户的财务健康状况。Anthropic 可能订购五吉瓦的算力，但它不是上市公司并且不赚钱。OpenAI 也是一个不赚钱的重要客户。存在客户放弃订阅或公司最终失败的风险。或许有 50% 的算力客户是靠在某种意义上不是真实的钱在融资——而不是靠产生真实利润的服务来融资。最大风险是一个预计会拿走五吉瓦算力的客户消失。

如果一切按当前轨迹发展，且政府关注或其他外部力量不干扰 AI 的部署，那么在可预见的近期，或大致接下来的 18 个月内，预测的轨迹就是预期的结果。

Q:您能大致分解一下 Broadcom 预期增长的构成吗？在预计的收入翻番中，有多少来自单元量增长，有多少来自 ASP 提升？

A:仅就 XPU 而言，我估计大约 50% 的增长来自 ASP 提升，其余来自销量。Broadcom 的相当一部分收入还来自网络业务，那是分开的。其最新网络产品的 ASP 也将提升，部分原因是晶圆成本上升。

Broadcom 传统上以 80% 的产品毛利为目标，但 XPU 的毛利较低，因为包含了 HBM。核心 XPU 计算部分可能具有 80% 的毛利，但 Broadcom 在整合内存时几乎没有利润，无论是八叠还是十二叠 HBM。如果内存价格上涨 50%，Broadcom 的收入会上升，但其利润不一定按比例上升，因为内存组件几乎是一个接近过账成本的部分，利润很小。

以上仅供交流探讨，不构成投资建议