2026.09.30 | AC | China AI | China Supernode Interconnect Comparison
原标题:Top 4超节点互联和推理核心指标对比,正交无背板方案、自研交换芯片、NPO路线成熟度。散热方案差异,RTX PRO 5500放开的判断等,硅基流动前景等。博通_盛科_中兴_腾讯_字节_天数_壁仞_昆仑芯_摩尔_寒武纪_昇腾_真武
摘要
/ 一线国产卡超节点和自研交换芯片进展对比。/ 柜内和柜外通讯方案对比,RTX Pro 5500国内需求等。
【以下为专家观点汇总,具体细节仅供参考。】
国内最头部的四家超节点在scale up能力方面如何对比,包括P2P通信延迟、带宽利用率和通讯开销等指标?磐久128、CloudMatrix 384、曦景S600、天池256这几家分别表现如何?
磐久的通信延迟在这几家中最低。主要原因是磐久在开发过程中采用了自研交换芯片和自研网络协议,针对P2P通信进行了优化,因此表现最好。CloudMatrix 384的表现稍差,因为它采用了光通讯连接,光通讯在P2P通信延迟上明显不如传统电信号数据。曦景S600和天池256在这方面基本接近,但曦景S600略优于天池256,主要是因为曦景S600采用了成熟的通讯协议,并精简了PCIe switch协议上的开销,因此通讯延迟略低。天池256没有自研交换芯片,采用了自研P2P交换规格,但协议负载较重,所以比曦景S600略差。总体来看,P2P延迟方面,磐久最好,其次是曦景,再其次是天池,CloudMatrix 384。
带宽利用率方面,这几家基本接近。天池的带宽利用率稍差一些。各家都采用全交换通讯方式,没有采用all to all的卖卖式解决方案,因此每颗芯片的带宽资源都能集中调度和分配,整体表现不错。带宽利用率基本处于同一水平,天池256略低,但差距不大。
通讯开销方面,CloudMatrix 384最高,因为采用光通讯,需要更多CPU进行路由计算,协议层较复杂,包异常和复杂路由处理的开销最大,因此表现较差。磐久128的通讯开销较低,针对大规模通讯做了特殊的包处理定制化工作,能很好地解决包异常和并发冲突问题。曦景S600开发了自有通讯协议,目前还处于早期阶段,未来能否解决多数包冲突还需观察,但由于规模较小,通常用于单机柜内的scale up,冲突较少,通讯开销也较小,和磐久处于同一等级。天池在通讯协议方面属于中庸,自研协议未经过传统交换处理,未来通讯开销可能会略高于其他几家。通讯开销最小的是磐久和曦景,其次是天池,CloudMatrix 384。
这几家超节点在适用场景下的表现也不同。CloudMatrix 384在多专家并行的MOE架构场景下表现较好,可以将多个expert分散到不同节点进行计算,且网络带宽能力较强,光通讯在带宽上有明显优势,因此在out of场景下表现最佳。目前有厂家考虑CloudMatrix 384在MOE模型下承担少量训练任务,这也是其最优表现。磐久、曦景和天池在MOE训练架构下,天池表现略好,磐久其次。主要原因是MOE场景下expert之间通讯较多,单个scale up域越大,通讯处理能力越强,支持的EP并发数也越高,性能表现也越好。
对于稠密模型,这几家表现基本相近,因为都依赖spill out网络,延迟被整体拉低,表现差异不大。对于小型模型的推理能力,尤其是单个模型参数能装在一台超节点的情况下,曦景表现最好,开销和协议方面优于其他几家。在单一小模型、不跨域的推理场景下,曦景表现最佳,其次是磐久和天池,CloudMatrix 384表现不太好。这是对这几家在相关指标上的大致评估。
CloudMatrix 384在P2P上的延迟和通讯开销较大需要多久的迭代才能显著提升?
这主要依赖于光通讯未来的演进和发展。光通讯最大的特点在于带宽优势明显,同时传输距离也没有太大障碍。因此,对于单节点在跨机柜或卡与卡之间距离较远的情况下,表现较为稳定,整体带宽支持也较好。如果采用光通讯交换,在scale-up域内考虑的话,表现可能是最差的,但由于光通讯通道带宽高,在资源池化方面表现相对更好。尤其对于KV cache等要求较高的池化模型推理效果,光通讯能够发挥一定作用。未来在推理并发性方面也有较好的解决能力。因此,这种架构在不同场景下有优势也有劣势,并不能做到在所有场景下都适用。
通讯协议上的差距,单看协议层面,这种差距更多是由通讯团队的能力决定的?
这主要取决于通讯团队在协议开发上的能力。首先,硬件能实现多少协议的offloading,即协议卸载,有多少协议可以在硬件中执行,这直接影响整体延迟表现。协议越多能通过硬件高效执行,通讯效果就越好。其次,协议设计过程中是否解决了传输过程中的丢包、冲突等异常现象,协议中是否有完善的处理机制,如重传机制等。如果机制完善,节点规模越大,系统表现的稳定性就越好。这些能力都掌握在公司的通讯团队手中,包括软件协议层(如CCL)和硬件通讯协议设计团队。硬件设计团队能做到多少硬件协议的offl oading,软件团队能否完善协议支持,两者兼顾,对通讯团队的要求较高。
对这几家超节点通信团队能力的排序?
在通信团队能力方面,华为最强。华为以通讯产品起家,拥有自研的通讯交换芯片和协议,单个设备性能(带宽、延迟等)表现优异。但由于选择光通讯,存在自身的一些问题,整体通讯效率有所下降,但设计能力仍是最强。其次是磐久,阿里多年经营大规模云业务,开发了智能网卡,在协议层优化和完善度上做得最好,但硬件设计能力略逊于华为。阿里协议层优化优秀,硬件设计稍差。再差一点的是曦景和百度,两家都是独立的加速卡公司,背后没有完整的软件团队。即便百度有百度云,网络团队也没有研发独立网络协议的能力。两家都依赖市场成熟协议,在第三方硬件基础上开发自己的协议,协议较新且未经过实际验证,硬件也依赖第三方基础硬件做协议层定制化,与阿里和华为不同。阿里和华为是从硬件到软件全套自研,曦景和百度是在别人的硬件基础上开发自己的软件,且软件未经过长期系统化验证。
四家超节点在同等规格模型下实际推理表现如何?首token延时、TPS、MFU和并发能力如何对比?
如果只比较推理能力,曦景表现最好。曦景采用小规模多卡并行化,整体延迟和TPFP表现均衡,首个token生成时每个卡表现均衡,数据分发也较均衡,性能表现最均衡。并行化的数据开销主要在单个机柜内,延迟表现最低。其次是阿里磐久128,整体延迟与曦景差不多,token生成效率主要依赖各家加速卡,几家加速卡水平基本一致,TPS生成也基本一致。MFU方面,CloudMatrix 384开销较大,磐久和曦景表现较好,天池其次,CloudMatrix 384在MFU上表现最差,资源通讯消耗较高。如果以MO未来做训练,情况会翻转。但在推理中,磐久和曦景表现较好,天池其次,CloudMatrix 384最差。
对于高并发推理场景,CloudMatrix 384的性价比相对较好,因为其单一规模较大,在高并发情况下无需多个节点满足需求,省去了多节点skill out通讯开销,表现较好。主要要看模型是否跨域以及并发数量,这两点影响不同超节点的性价比。并发数较高时,CloudMatrix 384在整体TCO上表现较好,支持更高并发,在GTP上表现也较好,跨节点通讯一致性更强。其他几家需要走SLOT,性能会被拉下来。
关于曦景S600 OEX正交无背板方案的成熟度、良率以及供应商情况如何?
其供应商是中兴通讯。中兴通讯是行业内提供OEX正交无背板硬件的核心厂商。
其他厂商如浪潮、华勤等,提供的都是常规的解决方案。正交无背板目前只有中兴一家在做,并且中兴支持了多家芯片解决方案,包括壁仞、燧原、沐曦、昆仑芯、天数等,这些芯片厂商都采用了中兴的正交无背板方案。
目前这些解决方案大多数还未形成大规模工业化部署,基本都处于早期交付阶段。这些机器现在主要用于原型机验证,仅在小场景或客户特殊环境下进行验证和优化,还未进行大规模部署。
从良品率来看,很大程度上依赖于中兴通讯提供的正交连接器。由于目前正交连接器只在小批量试产阶段,尚无法判断其长期使用下的整体稳定性。例如,经过多次插拔后,连接器的接触性是否依然良好,或在大规模长时间运行中是否会出现发热、变形或焊接不良等问题。此外,在高频信号处理过程中,正交连接器是否能持续稳定传输高频信号,避免信号串扰,目前也无法验证,因为体量太小。
目前良品率处于可接受阶段,小规模样品验证中基本达到行业认证的基线。但长期和大规模使用下是否会下滑,尚不确定,仍在观察中。这就是目前的整体情况。
需要多久才能更多地验证并进一步提升其可靠性?
第一个条件是要实现放量。这几款产品都采用了中兴的解决方案。整体验证预计要到2027年下半年,尤其是第三季度到第四季度,才能基本得出这个方案是否成熟,以及是否具备较高的工业前景。只有到2027年下半年晚些时候,才能对这个设计做出较为明确的结论。
正交无背板和全光互联路线在Scale-up的前景怎么对比?
从未来大规模部署来看,正交无背板在部署上有优势,接插更方便。如果正交连接器在设计和品质上能保持稳定,未来大规模建设和维护都会表现较好,而且单机柜的成本比全光互联更低。全光互联目前采用NPO方式,在很大程度上解决了成本问题。早期全光互联用光模块和线缆,存在接插问题、光源衰减和单一故障影响整个系统。现在采用NPO可以大幅降低这些问题,但NPO制造成本较高,且属于较新的技术,未来能否实现大规模产品化还不确定。
正交无背板属于传统机械方式,通过接插件实现互联,技术上较成熟,主要挑战在制造工艺和产品品控。其连接方式在部署上比全光互联略有优势。虽然全光互联有NPO概念,但相比机械方式扩展仍有一定难度和技术挑战。全光互联主要受制于NPO,如果NPO未来表现更好,整体前景会更佳。
全光互联在大规模推理场景下表现更一致,扩展性更强,适合大规模并发通讯,尤其是跨机柜的场景。正交无背板连接更适合单机柜内的模型。两者的选择取决于未来模型的发展和核心组件的产品品质,这是它们之间最大的差异。
磐久、天池、CloudMatrix、曦景在NPO方案上的进展如何对比?
NPO方案方面,华为是最早的,950是第一款支持NPO的加速卡,旁边配有NPO全光连接的接插件,进展最快。阿里在磐久产品中采用了小规模NPO,没有像华为那样实现大规模互联,最多支持128或144卡,主要强调双机柜内NPO互联,未实现跨机柜互联。阿里的方案主要是为了降低成本、提升可靠率和降低制造难度。
百度天池目前采用电交换,机柜间用传统光交换(插卡、光模块),机柜内用电连接,没有采用光连接方式。中兴通讯的方案是机柜内各家自研的“script”连接,机柜间用传统光通讯(OCS),大家采用的都是类似方案,没有做NPO相关尝试。
目前NPO只有华为进展最快,阿里其次,其他厂商尚未尝试。我们了解到这些厂商也在关注NPO方案,预计2027年产品或多或少会尝试NPO,但是否能实现上量还不确定。
Scale-out 除华为外的几家的方案在互联带宽和利用率等性能方面基本差距不大?
在scale-out方面,华为略高一些。华为采用的是完整的自有光互联解决方案,因此在scale-out能力上比其他几家略好。磐久、沐曦和百度采用的都是传统的scale-out解决方案,即插卡、插光模块,再通过外置光交换机实现scale-ou t,这方面大家基本一致,只是单一scale-out节点数有所不同。
怎么对比这四家超节点能组成的最大有效集群规模?
有效集群规模的意义并不大。例如,华为单一scale-up域可以做到1024卡,阿里能做到128卡。每家都宣称可以组成万卡集群,但实际上万卡集群更多取决于scale-up方面的集群管理和调度能力。从整体带宽来看,华为略胜一筹。但即使采用全光互联,华为在万卡集群中的利用率也不会非常高。华为的全光互联连接带宽在大规模集群连接过程中比其他两家更成熟,因为已经有人用华为的万卡集群做过实际工作。其他几家的万卡集群目前没有做过训练,理论上支持万卡,但实际搭建后在通讯开销和系统利用率方面尚不明确,无法评判。因此,理论上可行,但实际效果还需看最终搭建结果。
怎么对比这四家超节点的散热方案,以及最终单位算力的TCO?
这几家基本都采用液冷方案,液冷已成为行业标准配置。设计规格有所不同,比如CloudMatrix 384最早采用冷板式液冷,并针对自有芯片做了特殊加固化定制。百度采用标准冷板,并将CDU集成在机柜内,这在其他几家中没有,其他厂商都将CDU外置。百度的方案在机房部署上有一定优势,但机柜成本略高。阿里的磐久采用高密度液冷设计,类似于阿里早期的CPU液冷方案,且采用单向液冷,而其他几家采用双向液冷。沐曦采用标准双向液冷方案,并支持基于正交无背板的模块化设计,在CPU、GPU、PCIe switch等都配备独立冷板系统,采用多路冷却设计,是中兴通讯提供的标准液冷方案。从单机柜角度看,沐曦的液冷方案成本最低且效果较好,阿里和百度基本属于同一档次,华为在这方面稍差,成本偏高。但在大规模部署和使用时,尤其规模扩大后,华为表现较好。
怎么对比这四家今年(2026年)超节点占总体卡出货的比重?
CloudMatrix 384今年(2026年)主要以910C为主,910系列出货占比略低于1/3。预计到今年年底,华为超节点出货中互联网厂商以字节出货量最大,运营商超节点加起来只有几十套,银行等垂直行业企业也有几十套。今年整体超节点出货量最大的。百度天池产品出现较晚,目前只在百度内部自用,今年百度自用加速卡采购量较少,天池256为主要出货方式,内部部署约300多套。大部分芯片卖给第三方,第三方以传统8卡机为主,超节点仅自用。阿里磐久刚开始内部使用,主要用于阿里云业务,外部客户基本没有采购,因部署要求高且采购量少导致成本不可控,磐久仅内部使用不对外销售。
自节自研卡、寒武纪、昆仑芯、壁仞、摩尔、天数在自研交换芯片上的进展?
自节自研了一款交换芯片,并开发了专有的定制化协议,主要面向字节的大规模集群管理。这款交换芯片不是用于机柜内,而是用于云业务,主要针对字节当前越来越多的大规模云部署需求,因此没有针对超节点做新品研究,仅专注于云和Scale-out场景的以太网交换芯片。芯片底座由博通提供,在博通芯片基础上进行了定制化设计。寒武纪没有自研交换芯片。壁仞目前自研了一颗交换芯片,但设计由第三方盛科完成,目前芯片已可交付并采用专有定制化协议。壁仞也开始做大规模集群、超节点和集群化部署方案。摩尔没有自研交换芯片或大规模互联,采用第三方标准化方案,因此没有相关设计。天数也没有自研交换芯片或互联方案,依赖第三方,整体方案由中兴通讯提供。
腾讯自身的AI业务现在主要还是用英伟达的卡?国产卡的应用进展?
腾讯推理业务主要分为几部分:传统小型推理业务如视频会议采用某四小龙早期产品,搜广推业务采用昆仑芯产品,核心大模型业务如微信、游戏、会员仍采用英伟达产品,包括H20和未来计划采购的英伟达5500Pro等,同时还有L20和A100库存。约60%的腾讯业务仍运行在英伟达产品上,对于延迟敏感或算力要求高的场景,则采用昆仑芯芯片。
RTX Pro 5500最近国内是否会放开?字节提出了100万颗的需求?其他客户的需求情况您怎么看?
工信部近期向相关企业进行了调研。目前字节提出了100万颗的需求,但这只是一个数字,并非工信部能够直接满足。根据NV方面的说法,产能也无法满足如此大的需求。5500相比6000,价格更可控,产能也相对宽松,因为在整体内存上做了一些调整,未来的可选择能力更强。但目前其他厂家并未报出如此大的量,阿里提出5500的需求约为30万片,腾讯和百度尚未提出需求,其他厂家基本也没有提出相关要求,仍处于观望状态。未来如果OEM厂家拿到产品,会进行测试,并根据性价比决定是否大规模采购。目前只有字节和阿里向政府提出了需求申请,其他厂家暂未提出。主要原因是大家对5500还有顾虑,第一是还未拿到样片,对芯片在软件和性价比上的表现尚不清楚。英伟达对这颗芯片做了较大调整,性能表现如何还需观察。大家都在等待实际样品出来后再做决定。其次,英伟达对外的供应能力未来表现如何也在观察中,目前尚未对5500的最终供货提供明确指导,只表示未来会停掉6000和5000这两款产品,因为它们属于不合规,不能销售给中国。5500主要是算力和内存做了调整,但英伟达也担心美国政府是否会出台新的监管措施,所以双方都在试水。工信部目前只是调研,还未同意采购。在没有正式文件之前,交付PRO 5500属于非合规,企业一般不愿承担风险,必须得到政府明确认可才能采购和部署,所以现在还在等待。
近期有关部门在调查国有数据中心对博通交换机芯片的使用情况?中兴、华为、盛科的受益程度?
目前有关部门只是做调研,并未对国央国企下达明确指令禁止使用博通产品。博通芯片主要提供基础交换能力,很多国内交换机厂商的OS都是自研的,并未完全采用博通提供的API,而是采用自研底层协议栈,因此在网络安全和数据可控性上具备一定能力。有关部门只是了解博通整体使用情况,未来可能会推荐采用国产产品作为网络产品候选,支持国产方案。如果国家不介入,只有一些特殊定制化国产芯片能被采用,而大规模国家级数据中心仍会使用博通。目前政策层面希望给国产交换芯片更多选择余地,这是一种政策指导,并非因数据安全等敏感因素做硬性切分,也不是强制要求。受益最大的可能是华为,华为在AI领域具备优势,可以在客户的数据中心,尤其是AIDC数据中心进行大规模部署。华为交换机与整体解决方案融合度高,能提供端到端方案,这是其优势。盛科主要采用自研交换机,服务央国企和军队等场景,也与第三方交换机厂商做白牌合作,如锐捷、华三等,因此也有一定优势。中兴则较为局限,主要基于运营商关系做特殊项目交付,并未形成独立产品对外交付,其自用和自有交付占比较低,影响了交换芯片市场份额。总体来看,华为受益最大,盛科通过白牌合作也能占据较大市场份额,中兴则主要用于自用场景,收益最小。此次政策并非因特殊敏感因素一刀切,而是希望通过指导给国产交换芯片更大选择空间,这是核心目的。
怎么看最近要IPO的硅基流动?是否看好它在国内和海外的市场需求前景?
硅基流动在国内市场前景不确定性较高,其优势主要在MaaS服务层,强调可接底层各种异构软件,实现模型统一调度管理,并优化模型token生成效率。这是其优势,但多数模型厂家并不关注这一点。很多模型厂家已与国内硬件厂家做了适配,完全支持国产硬件,无需更多调度,能在单一硬件平台上完成调度,对跨硬件调度需求不高。国内其他厂家也提供类似MaaS服务能力,如火山、MiniMax、阶跃等,与硅基形成竞争关系。硅基自身没有模型,底层异构对模型厂家并不构成障碍,模型厂家可直接与加速卡厂家对接适配。其调度能力更多面向to C或to小B用户,无法获得大体量用户,而to小B、to C用户更关注成本,硅基不得不通过算力券、降价或折扣吸引客户,这对业绩影响较大。未来在海外部署可能更好,因为海外to C用户付费意愿和能力较强,混合部署多种模型能为海外用户提供更多选择,使用习惯和场景也较好。但在国内,其优势不被看重,要占据市场份额需较大财务投入,因此国内不是其最佳市场,更适合海外。海外市场还需看政策影响,以及海外大模型厂家的发展布局,未来国内头部云厂商是否会在海外大举拓展也会带来压力。目前海外客户付费意愿较强,对硅基来说相对友好,比国内更有优势。