2026.09.24 | AC | Networking | AI Interconnect: OCS, ICI, UALink

摘要

本文核心要点包括： 1，英伟达OCS方案进展 2，谷歌ICI技术局限性 3，UALink与NVLink对比 4，Marvell与Astera Labs竞争变化

以下为专家观点：

1，行业中关于OCS的应用出现了看似矛盾的信号：一方面，英伟达在其Scale up和Scale across方案中计划使用OCS交换机，并已向Lite及国内厂商发出千台级别的意向订单；另一方面，有传闻称AWS要求谷歌放弃OCS，回归传统电交换方案，如何看待这两种截然相反的动向？

这两个信息中，关于英伟达的部分基本属实，而关于谷歌和AWS的传闻则不准确。首先，英伟达的策略是为关键技术准备多种备选方案，外界观察到的某一种方案并不代表其最终选择。在硅光互联领域，英伟达的首选方案仍是CPO，但台积电CoWoS平台的进展不甚 理想，可能面临良率或交付时间问题。若CPO方案受阻，英伟达的备选方案是NPO，该方案无产能依赖和技术障碍，但功耗较高，会影响未来机柜的功率预算。

OCS在英伟达的技术路线图中，是作为其纯光互联方案的一个选项而存在，主要服务于其Rubin系统的光互联版本，但其进度同样受制于台积电CPO平台的进展。具体而言，当英 伟达通过光互联实现1,152卡集群（由两个576卡集群组成）后，若要进一步向上扩展，采用OCS进行光路切换可以有效降低延迟和互联代价。这种基于硅光互联和光路切换的技术，是英伟达提出的Scale across概念的一种实现路径，该路径基于原生的NVLink技术。

除此以外，英伟达还有另一套备选方案，即NVLink over Ethernet，通过高速以太网传输NVLink协议，其物理层用光纤实现。在这种方案下，交换机仍是传统的电交换，OCS则不是必需品。

目前，这几套方案在英伟达内部是并存的，尚未最终确定。由于CPO方案遇到障碍，英伟达正在严肃评估NPO方案，同时与英特尔合作的方案进展相对顺利。英伟达向产业链公司下发的千台级别订单属于实验性采购，用于方案验证和测试，尚未进入小规模商用阶段。考虑到Rubin Ultra CPO版本必须在2027年Q3左右推出，以确保后续Feynman架构的演进不受影响，英伟达目前时间非常紧张，因此必须多方案并行尝试。

总而言之，OCS确实是英伟达考虑采用的技术之一，但其应用场景和最终落地与否，取决于CPO、NPO等一系列前置技术的进展和选择。即便最终采用，OCS在英伟达体系内也将是一个应用于特定高性能计算场景、相对小众和封闭的方案，而不会迅速普及到其全部 产品线。

2，OCS与NPO在英伟达的技术路线中是何种关系？如果采用OCS，其在集群扩展中具体扮演什么角色和规模？

OCS与NPO是并行的技术选项，两者并非互斥关系。无论底层采用CPO还是NPO，上层都可以选择使用OCS进行光路切换。OCS本身并非一种交换结构，而是一种光路切换结构，其核心价值在于提供低延迟、高容量的连接。

在英伟达的设想中，当前硅光系统能够实现的低延迟光路切换容量可能在16x16路的水平。这个容量对于英伟达的集群扩展已经足够。例如，在一个576卡或1,152卡的集群基础上，通过一个16路的OCS进行扩展，可以构建出接近或超过万卡的集群规模。这对于避免大规模集群扩展（Scale Out）带来的高昂通信代价具有重要意义，尤其是在AI预训练场景下。

会为这类高端方案买单的客户预计将高度集中，主要是微软、Meta等少数几家头部云厂商。因此，OCS方案的战略重要性很高，但其实际的规模化应用前景相对有限。

3，谷歌TPU的互联拓扑结构存在哪些长期问题，尤其是在AI训练场景下？

谷歌TPU的互联拓扑结构长期以来存在一个核心问题，其所谓的Scale-up接口ICI本质上是一种Scale-out技术，其拓扑结构与传统通用计算时代的大规模以太网CPU集群相似。这种设计源于谷歌在互联网及移动互联网领域的技术积累。

ICI将互联网协议栈进行了简化，但本质上与博通的解决方案没有根本区别。尽管谷歌较早地引入了如立方体等紧密全相连的环状结构，以在小范围内保证高带宽的点对点通信，但这种结构目前已显落后。其真正的全相连超级节点域可容纳的卡数非常少，通常不超过16 张。相比之下，国内许多GPU或AI芯片公司已能接近实现至少32卡的集群内全相连。

谷歌的技术路径依赖于通过局部的小规模全相连构成高速节点，再通过更大一层的网络将无数个这样的小型结构串联起来以扩大规模。这种方式会在上层网络中引入大量的网络跳数。例如，在3D Torus结构中，访问另一节点在极端情况下可能需要经历12跳；在接近万卡级别的更大规模网络中，跳数可能接近二十几次。

网络跳数对AI训练的性能损害极大。训练场景下，理想的通信状态是所有计算卡之间的通信延迟完全对等。一旦出现延迟差异，每1%的延迟差大致会带来近5%的性能损失。谷歌TPU集群的平均跳数通常在七八跳至十跳左右，这导致超过一半的集群性能被损耗。这也 是谷歌使用TPU训练Gemini模型时进展缓慢、效能较差的一个原因。为了减少延迟和跳数，谷歌不得不采用OCS技术，在局部网络内通过光路切换来改变拓扑逻辑，从而形成跳数较少的连接。若完全依赖电交换，其网络跳数将过多，导致网络无法有效搭建。

4，在AI推理和后训练场景下，谷歌的ICI互联结构面临哪些挑战？Anthropic公司对此提出了怎样的改进建议？

在纯推理场景下，ICI结构的问题相对可控。因为推理任务的batch可以被精确切分，通过调整模型部署策略（如专家并行、张量并行、流水线并行等），可以将卡间通信密集型任务划分在具有全相连高带宽的域内，从而适应其“局部高性能、跨域低性能”的组网特 点。

然而，当前主流的大模型应用是训推一体化的，即在推理的同时也需要进行后训练或微调。后训练需要进行集合通信，其场景与预训练相似。在这种情况下，ICI网络中存在的跨域跳数会成为后训练性能的严重障碍。

因此，Anthropic公司建议谷歌放弃部分光路交换方案，回退到电交换方式。其逻辑是，既然当前无法解决单超级节点内卡数过少的问题，那么采用电交换的包交换方式，理论上可以在单个超级节点内实现比当前更高的卡数。这将有助于提升预训练和后训练的效果 。不过，这目前仅是一种建议或探索方向，谷歌自身也在寻求其他解决方案。

5，面对ICI互联结构的局限性，谷歌在未来的技术演进路径上，特别是在与UA Link的合作中，正在探索怎样的解决方案？

谷歌不太可能完全回退到类似亚马逊那样的PCIe交换方案。谷歌内部对PCIe类交换技术并不偏好，且缺乏像亚马逊那样的私有协议积累。亚马逊并非使用标准PCIe交换，而是在PCIe传输层上修改协议，谷歌在这方面没有技术储备。

目前，谷歌正与业界合作探索UALink的解决方案。其思路是在UALink内部构建一个大规模的超级节点域，例如一个由256卡甚至512卡组成的、通过UALink电交换实现的大型超节点。然后，在这些大型超节点之间，依然通过ICI和OCS光交换技 术进行互联。

这种架构类似于将现有Dragonfly或Butterfly拓扑结构中局部的中心节点，替换为一个由UALink构成的大型电交换超节点。这与英伟达的思路趋同，即在解决如何扩大超级节点域内卡数的同时，在跨超级节点域的通信上尽可能利用光通信来降低成 本和延迟。

6，在英伟达的机柜系统中，为何不采用NPO方案，而是倾向于使用CPO？NPO方案面临哪些具体挑战？

在英伟达当前的机柜系统中，采用NPO方案面临两大挑战。首要问题是功耗，NPO的功耗远高于CPO。英伟达的机柜设计，无论是早期的MGX还是现在的Grace Hopper，其电源预算（power budget）都已达到极限，是在供电能力上限的基础上反向推导内部组件配置的。若转向NPO，其高功耗将导致总体供电量不足，进而可能需要缩减算力或存力，这是当前无法接受的。除非在供电技术上取得突破，否则NPO的引入将导致机柜结构需要推翻重做。其次，NVLink技术的物理层特性决定了其电互联距离存在短板。这两个因素共同促使英伟达在柜内必须采用CPO来实现光互联。

7，在柜间互联场景中，NPO方案相较于可插拔光模块方案有何优势？

在柜间互联场景中，NPO方案相较于可插拔光模块方案的主要优势在于功耗和成本。柜间互联的通信密度极高，通常是16基数以上的全交换结构，并包含复杂的冗余链路，其通信总量不亚于柜内。可插拔光模块方案的功耗更高，因为它必须使用功耗和成本都很高的OD SP。而NPO方案，尤其是英伟达倾向的技术路线，致力于通过在微系统封装层面进行创新和取舍来简化设计，尽可能移除ODSP，从而显著降低功耗和成本。因此，目前柜间互联基本都采用NPO方案。

8，英伟达为何坚持在超节点内部也采用CPO光互联方案，其背后的核心技术原因是什么？

英伟达在超节点内部坚持采用CPO光互联，主要源于其专有的NVLink技术。与其他厂商使用的高速SerDes不同，NVLink采用一种被称为“对立参考差分”的类单端信号技术。这项技术的优势在于，在同等芯片边长上，其物理接口能容纳的通道数比标准 方案多出近一倍，这也是NVLink速率领先的原因。然而，这种“伪差分”结构对传输距离极为敏感，这是其主要代价。随着技术发展，这一距离限制问题日益凸显。为了克服这一短板，同时继续利用NVLink高通道密度的红利，英伟达需要通过CPO技术来迈过 物理距离的障碍。

如果CPO方案无法突破成本瓶颈，最坏的结果是英伟达的Scale-up域将无法继续扩张，即单个超节点的规模和内部速率将停滞不前。届时，只能通过上层光交换网络来连接更多节点以扩大集群总规模，正如其最新的576 GPU集群就是通过连接8个72 GPU基本单元（72\*8）实现的，这凸显了其底层互联的局限性。

备选方案之一是在机架内互联中放弃现有的NVLink信号体系，转向基于标准以太网SerDes的“NVLink over Ethernet”方案。然而，这会带来新的难题。Rubin架构已将IO功能分离到独立的IO Die上，更换为SerDes方案意味着IO Die的芯片面积需要翻倍甚至更多，因为标准SerDes的面积远大于原有的NVLink PHY。这会导致整个封装尺寸增大，进而超出台积电当前5.5倍光罩CoWoS技术的极限。台积电在嵌入式硅桥等更先进的封装技术上落后于英特尔。因此，该备选方案将压力转移给了台积电的封装技术，而后者目前也无法解决。当前，无论是CPO成本问题，还是备选方案的封装瓶颈，都未出现明确的出路。

9，Broadcom在UALink生态中的角色演变是怎样的，其自研的SOE标准与UALink存在怎样的竞争关系？

Broadcom最初是UALink联盟的成员，并参与了标准的制定。当发现UALink标准的底层实现高度依赖其交换机芯片时，Broadcom认为核心价值在于其硬件而非上层协议，因为传输层协议（如UALink和NVLink）在功能上具有相似性。基于此判断，Broadcom退出联盟，转而开发自己的SOE（Scale-out Ethernet）标准，意图以其交换机为核心构建生态。然而，Broadcom也意识到现有交换机性能不足，因此正在引进下一代交换机芯片。这款新芯片在设计上有所优化，好比将“大巴车”升级为“中巴车”，通过可折叠座椅等设计提升了数据传输效率，但其本质仍是以太网交换机，无法做到非标的纯血版UALink那样高效。这款新交换机理论上可以同时支持SOE、Ethernet底座或UALink。在协议层，SOE与UALink完全对标，最高均支持1,024卡的超级节点。但在物理层实现上，基于当前以太网交换机的SOE能力被限制在64或72卡的水平。相比之下，由A-Lab和亚马逊研发的“纯血版”UALink（Trillium 4）一经推出便能实现256卡的超级节点，超越了NVIDIA当前72卡的规模。目前，Broadcom仍在持续演进其交换机技术，甚至可能最终会趋同于UALink的实现方式，但尚不确定。

10，面对对Broadcom交换机的依赖以及其涨价压力，AMD在供应链和自研方面采取了哪些应对策略？

AMD目前面临双重挑战：一方面依赖Broadcom及其下一代交换机，另一方面承受着Broadcom不断涨价的压力。为应对这一局面，AMD采取了多路径策略。首先，它寻求供应链多元化，与Marvell合作，委托其开发基于以太网交换机改良的UAL ink交换机，但预计其性能同样无法达到最优水平。其次，AMD仍将希望寄托于A-Lab，等待其“纯血版”UALink交换机芯片的问世。最后，AMD内部旨在独立开发一套完整的“纯血版”UALink交换机芯片。然而，交换技术是芯片领域难度极高的技 术之一，计算芯片的设计能力并不等同于交换芯片的设计能力，NVIDIA的成功也得益于对Mellanox的收购。因此，如果A-Lab的交换机研发成功，AMD极有可能在其下一代产品中采用该技术。

11，NVLink的技术壁垒体现在何处，为何其他公司难以复制？

NVLink的技术本质是将高速、低延迟但规模受限的总线进行网络化扩展，这与博通和Marvell等公司采用的网络总线化（即将大规模网络优化以降低延迟、提升效率）是两种截然不同的技术路径。将总线扩展成网络的技术难度极高，目前全球范围内仅有英伟达通过NVLink实现了总线网络化。尽管ALink（应为Astera Labs）正在尝试通过以太网SerDes复刻类似机制，但一旦成功，其产品性质将更接近于网络交换机。目前北美市场中，具备总线型交换技术能力的公司已非常稀少。

12，Marvell在PCIe交换技术方面的发展潜力如何，其与Astera Labs的技术路径有何异同？

Marvell的PCIe交换技术与NVLink交换技术属于改造升级关系，具备一脉相承的技术基础。理论上，如果能将PCIe交换做到高性能水平，就有可能开发出NVLink交换产品，但这需要深厚的技术积累，包括交换算法和know-how。Marvell正朝着这个方向发展，并与我们探讨在总线型交换技术（包括NVLink）方面的合作方案，有望成为该领域的第二个突破者。Marvell具备技术实力、市场意愿，并已锁定Meta、微软等大客户，其核心竞争力在于解决纵向拓展的互联技术。Astera Labs之所以能开发出PCIe交换机，早期得益于Synopsys的技术授权，后来才逐步发展起来。Marvell收购的Inphi主要从事半功能的PCIe和CXL交换，而非全功能的PCIe交换机，因此其能力较Astera Labs稍弱。

13，Marvell与Astera Labs未来的竞争格局将如何演变？Astera Labs目前的核心竞争优势是什么？

Marvell与Astera Labs未来将面临非常激烈的直接竞争，其激烈程度甚至可能超过与博通的竞争。英伟达已将NVLink Fusion技术授权给Marvell，但在Twin4的NVLink Fusion版本中，Astera Labs也参与了部分工作，尤其是在NVLink C2C（GPU与CPU的接口）方面。该接口的底层物理层协议是NVLink，而协议层和传输层则采用了PCIe协议，这正是Astera Labs的优势领域。因此，Astera Labs具备介入NVLink Fusion的能力，尽管目前其自我定位仍是服务大客户而非与Marvell、博通全面竞争，但未来这种竞争将不可避免。Astera Labs当前的优势在于其在PCIe交换领域起步早，并且在行业普遍放弃该技术时仍长期坚持，从而抓住了为AWS提供PCIe Gen5产品以及后续NVLink带来的宝贵机遇窗口。

14，在超级节点内部，采用以太网协议进行互联的方案与PCIe方案相比有何差异？其应用现状和局限性是什么？

以太网的传输速度比PCIe快，但其交换延迟远高于PCIe。PCIe的交换延迟在几十纳秒级别，而以太网的交换延迟高出近十倍甚至几十倍。因此，尽管采用以太网交换机实现scale-up是一种相对简便的方法，尤其在中国市场因缺少其他可选技术而较为普 遍，但其高延迟的特性限制了超级节点可容纳的芯片数量。一旦节点规模超过32卡，系统性能会迅速下降，这也是国内众多AI集群节点多为32卡配置的原因。国内厂商如阿里、腾讯、字节等，通过采购可编程的以太网交换机，并开发私有的内存语义协议来实现sca le-up，但这种方案存在固有的性能瓶颈。

15，CPO技术在scale-out和scale-up场景中的应用路径和时间规划是怎样的？它与OCS技术之间存在何种关联？

CPO技术将首先应用于scale-out场景，随后才会进入scale-up领域，这是一个大致确定的技术路径。在scale-up场景中，预计要到超过224G，进入448G速率的下一代技术时，才会考虑应用CPO。在当前以224G为主流并预计将持 续两三年的阶段，柜内长距离传输问题仍可通过AEC（有源电缆）等电缆方案解决，因此柜内CPO的应用不会很快到来。相比之下，柜间互联场景中CPO的应用将会非常迅速。CPO的出现将与OCS技术强绑定，因为CPO仅解决了链路实现的问题，而柜间拓扑的 点对点通信切换与交换问题需要通过OCS来解决。如果不采用OCS，CPO在功耗和交换成本上带来的优势将被高昂的代价所抵消。

16，在柜间互联中，OCS方案与传统以太网电交换方案相比有何本质区别？为什么业界倾向于追求OCS方案？

OCS方案通过光路直接连接，减少了一层光电转换环节，从而降低了柜间互联的延迟。这种方式本质上是Scale-up架构的一种延伸，而非真正的Scale-out。如果采用以太网电交换，数据需要先转换成电信号进入交换机进行包交换，再转换成光信号传输出去，这与直接使用以太网电缆的路径类似。业界之所以追求OCS方案，核心目标是希望在不牺牲性能的前提下，进一步扩大超节点（Super POD）的纵向扩展（Scale-up）规模。

NVIDIA明确选择硅光波导作为其OCS技术的发展方向。选择该路线的原因在于，NVIDIA在性能上不妥协，而硅光波导方案在容量和交换延迟方面具有最显著的优势。尽管实现难度高，但一旦成功，收益巨大。预计该技术在2027年将取得突破，相关展示可能会在2027年初的光通信行业会议上出现。目前，NVIDIA内部对OCS方案本身持较乐观态度，认为在样机层面已得到部分验证，挑战似乎并不在此。反而，他们对CPO（Co-Packaged Optics）的进展乐观度不高。

17，从224G SerDes向448G SerDes的演进，对于NPO技术的应用有何关键影响？

224G SerDes在短距离内使用电信号传输是可行的，成本也相对较低，因此没有应用NPO的迫切必要。然而，当速率提升至448G时，电信号的有效传输距离被极大地缩短至厘米级，大约在十几到二十厘米。若要在米级的距离（如柜内或板间）上传输448G信号，电信号方案几乎不可能实现，必须依赖光传输。这意味着信号从计算芯片出来后，在很短的距离内就需转换为光信号，这正是NPO技术的应用场景。因此，448G SerDes的出现使得NPO成为解决其传输距离限制的关键技术，只有到了448G速率，NPO的优势才能被充分发挥。

448G SerDes结合NPO的技术路线目前尚未形成定论，在编码方式、集成结构等方面存在多种尝试方向，竞争格局远未明朗。包括A-Lab在内的多家公司都在积极推进相关技术。A-Lab正在推动一种448G的全光解决方案，这得益于其早前收购的光互联公司AI XQ。该团队专注于研发CPO或NPO解决方案，以光结构替代传统的电结构通信。这种通过收购来布局全栈光通信能力的做法，与Marvell等公司的策略相似。目前，Marvell、博通、A-Lab、联发科等厂商都在储备各自的技术，目标是在未来448G时代能够提供一套完整的全栈解决方案，这可能导致未来的方案以一体化、封闭式技术栈的形式出现。