← 返回

2026.10.09 | 9K | AI Compute | AMD Expert: Cerebras SRAM & Long Context

原标题:AMD离职专家|Cerebras单芯片约44GB SRAM在短上下文和模型可完整容纳时具备decoding速度优势,但几十K至上百K context会放大KV Cache容量缺口,跨芯片扩展又受RDMA互联bottleneck制约;P/D分离及attention与FFN局部解耦成为现实路径,光互联与可成倍扩展的HBM池更适合长上下文,而hyperscaler自研ASIC将凭借系统集成能力取得长期优势

#semis #asic

Meritco 久谦 · 2026-10-09

摘要

SRAM仅在模型和KV Cache可由单芯片容纳时具备显著decode优势,约44GB容量难以覆盖长上下文,跨芯片后又受RDMA限制。P/D分离及attention与FFN局部加速更现实,光互联与HBM池扩展更适合长期规模化,hyperscaler自研ASIC优势更突出。

要点

  1. SRAM并非decode环节无条件确定的主流路线:Cerebras单芯片最多约有44GB SRAM,面对几十K甚至上百K context时难以完整容纳KV

Cache,一旦回到CPU加DDR存储系统或跨芯片扩展,I/O与RDMA互联会迅速削弱片内SRAM的数量级速度优势

  1. P/D分离是当前主流方向,decode还可进一步拆分attention与FFN,让Groq LPU或Cerebras仅承担局部加速;但KV

Cache、模型权重和计算系统已形成多个子系统,继续细分会增加跨机器传输、总线转换、软硬件适配与调度复杂度

3. Cerebras只有在模型可完整部署于单片wafer时,才可能凭借SRAM的I/O优势获得多张GPU难以达到的decoding速度;对于大型模型,跨芯片或跨机架扩展会重新落入Ethernet、RDMA带宽bottleneck,因此更适合中小模型、短上下文和低延迟场景

  1. 光互联比单纯扩充SRAM更有潜力解决规模扩展和长上下文问题,可推动远端HBM池成倍增加;3D堆叠DRAM虽可能改善容量与成本,但仍受封装、散热和功耗约束,光互联持续演进将削弱SRAM路线的相对优势
  2. 具备足够用量、资本、芯片研发及系统集成能力的hyperscaler更可能采用自研ASIC,并凭借对大模型工作流和GPU瓶颈的理解形成定制优势;非大厂大概率仍将采购NVIDIA或AMD通用方案,早期ASIC厂商进入数据中心的机会有限
  3. AMD收购相关快速推理厂商可快速补齐decode低延迟能力,但目前尚无产品效率提升结果,接入AMD

Instinct仍需重构互联、接口和软件栈;纯软件优化过去可能提升百分之三十几,如今自动化工具和大模型降低门槛,独立优化公司的价值空间正在收窄

Q:在AI推理芯片异构解耦的趋势下,SRAM是否是decode环节最具确定性的技术路线?如何看待存内计算、存内处理、CIM、DIM等其他路线?

A:PAM概念已经出现好几年,国内外都有创业公司或已在该领域投入多年的公司。但从结果倒推,我认为无论是TMF还是CMF,最大的限制都是规模做不大,无法把算力以及配套RAM的容量做大。目前AI的大量工作负载仍在云端,这类芯片如果无法进入云端,就只能落地于边缘、小算力场景,可能在计算或功耗方面具有一定优势,但主要市场并不在那里。

Cerebras这类芯片是在现有工艺条件下挑战物理极限,在单个wafer内尽可能堆高算力。即便如此,其算力和SRAM总容量相对于当前的大模型仍然太小。它也有一些系统级创新,可以通过自身的连接方式实现scale-out并形成集群,相当于将一个GPU扩展至多个大型wafer。不过,扩展后仍然会受到互联总线带宽的限制。片内SRAM的响应速度确实很快,可能比HBM高数个数量级,但在scale-out后,整个系统的bottleneck取决于带宽最弱的一环,而互联带宽仍处于现有RDMA连接的性能水平。

从系统层面看,虽然实现了scale-out,但互联仍会拖累整体性能。此外,这类服务器本身只是计算加存储的单一芯片,真正的计算系统还包括CPU调度和多级存储,例如KV Cache和模型权重存储。这些内容无法全部放入SRAM,仍需依赖系统内专用的KV Cache存储和模型权重存储。这两个子系统基本仍是以传统x86 CPU为核心的存储系统,与GPU配套的大容量缓存池系统没有本质区别,从I/O角度看同样属于速度较慢的bottleneck。因此,在现有大模型、大系统条件下,这种围绕SRAM进行近存计算的芯片并不会比大型GPU机架系统具有绝对优势,因为两者面对的bottleneck类似。

Q:如果暂时不具体讨论Cerebras,只看AI推理芯片的异构解耦和decode环节,采用SRAM是否是最具确定性的技术路线?

A:P/D分离确实是目前的主流方式,可以更好地将计算属性不同的P节点和D节点分开,并在两类节点上采用差异化的芯片或配置。具体到Cerebras,其单芯片最多约有44GB SRAM,但目前很多agent类应用的context很长,导致KV Cache容量很大,无法全部放入SRAM。SRAM要在decoding中发挥优势,前提是KV Cache能够尽可能缓存在SRAM中,但目前context可能达到几十K甚至上百K,应该无法全部容纳。

如果单芯片无法容纳,即使扩展到所谓的2,048个芯片,容量可以按照每片44GB增加,但数据一旦离开芯片,相应带宽就会受限于芯片间网络的RDMA速度,SRAM的速度优势会被迅速拖累。更现实的做法仍是回到传统的DDR加CPU的KV Cache配套系统,每次计算时再将数据从该系统复制到SRAM,由此又产生出芯片、进芯片的I/O问题。因此,在长上下文场景下,Cerebras通过SRAM实现加速存在限制,其通用性并不好。它可能在相对较短的上下文中充分发挥SRAM缓存或近存计算的优势;一旦数据无法容纳,仍需回到CPU加DDR的KV Cache系统,优势就没有那么明显。

Q:Groq的情况如何?

A:Groq的容量会更小。不过,目前存在一种方案,NVIDIA也在尝试:不把MoE或decoder全部放到Groq系统,而是进一步拆出decoding中的一部分,例如attention。相当于在P/D分离的基础上再进行一次局部分离。加速部分变小后,可能更有利于发挥Groq LPU和现有SRAM的优势。与单一GPU系统相比,这种方案在延迟方面仍会具有一定优势。

Q:NVIDIA在GTC上提到decode内部可以进一步拆分,具体是将attention和FFN分离吗?

A:是的,即将attention和FFN分别拆分出来。

Q:如果采取类似方法,例如只让Cerebras负责FFN,是否也可以这样设计?

A:可以这样设计,但这一方案无法由Cerebras独立完成。根据前面的分析,Cerebras可能只在整个模型的某些部分具有较好的加速优势,这类系统应由模型部署方进行决策。例如,OpenAI即使采购Cerebras芯片,我认为也不可能让一个模型或系统完全采用Cerebras,而是会使用Cerebras与AMD或NVIDIA芯片组成异构系统。在该系统中,如何合理利用不同芯片、由哪种芯片加速模型的哪一部分,应由部署方决定,Cerebras负责配合。

Q:异构解耦后还会进一步细分吗?例如,decode可以进一步拆分为attention和FFN,KV Cache、attention及其他部分也可能分散到不同硬件上。未来是否还能拆分到更多、更细的环节?

A:我认为系统不会无限细分。实际上,目前已经细分为多个部分:KV Cache是一个系统,模型权重是另一个外挂DDR加Flash的系统,这两个系统都以x86为主;此外还有Cerebras自己的CS-3系统。CS-3本身主要负责计算,调度仍需配合x86机头,因此由x86加wafer组成一个CS-3子系统。这样已经形成三个子系统。

这些子系统之间还涉及I/O转换和传输,需要配合FPGA接口板;wafer与x86之间的互联也是PCIe总线的延伸。系统由此变成跨机器连接,中间还需要IP完成PCIe转接。按照这种方式拆分后,系统已经相当复杂,不仅涉及计算,还包括不同总线之间的转换和存储。我认为这已经是目前较为完整的一种结构。计算内部理论上还可以继续解耦,但会进一步增加复杂度。是否值得这样做,我持保留态度,系统不能无限拆分。

Q:AMD为什么收购这家公司?这项收购要解决什么问题?收购后能够提升AMD的哪些产品,后续发展目标是什么?

A:以下完全是个人观点,可以从几个维度分析。首先是市场或资本层面的非技术因素。市场上已有Groq,Cerebras也在进行局部加速。如果AMD希望解决decoding或D节点的延迟问题,就需要找到相应的解决方案。至少目前来看,单一GPU架构可能无法完善地完成decode部分的加速。对AMD而言,这一问题更加突出,因为NVIDIA除收购LPU相关公司外,也提到过自主开发CPX,并且拥有可用于decoding的消费级GPU,可以与顶级数据中心产品组成异构方案。

AMD虽然也有消费级Radeon GPU,但与NVIDIA的高端消费级GPU相比,我认为其算力和带宽仍有很大差距,无法仅依靠Radeon解决这一问题。AMD在这方面更加缺少方案,因此急需补齐相关能力,至少向投资者或市场有所交代。这是非技术层面的因素。

在这项收购之前,我原本认为AMD可以利用此前收购Xilinx获得的FPGA技术。FPGA在MoE或decoding阶段可能存在应用空间,一些小模型可以按照计算流方式,利用FPGA实现硬件加速。FPGA也具有类似片上RAM的资源,计算单元与R AM距离很近,而且可以高度定制,理论上也能实现类似的局部加速。不过,AMD最终还是收购了这家公司。该公司与AMD可能也有一定渊源,或许由AMD原员工创立,其方案成熟度相对更高;如果基于Xilinx路径重新开发,工作量和实验周期可能更长。

从技术层面看,我没有看到这家公司在大型系统中使用较大模型完成系统级验证。它主要证明了小模型以单芯片方式运行时可以取得很好的加速效果,但要形成大型系统,专门为decoding或FFN加速,至少目前在系统层面还没有实现。理论上,这项技术可能可行,但系统级落地仍需时间。整体可以归纳为三个方面:第一,非技术层面需要在这个时间点向资本市场有所交代,通过收购快速补齐相对短板;第二,技术上具有一定的可延展性;第三,真正的系统集成效果和参数表现仍需后续观察。

Q:目前是否仍然看不出收购完成后,AMD的哪些产品获得了怎样的效率提升?

A:是的,目前肯定还没有实际结果,因为集成仍有很长的路要走。假设该方案进入AMD体系,首先会形成一个独立子系统。该子系统如何接入包含AMD Instinct系列在内的大型系统,需要制定相应的技术方案。如果将其作为decode阶段或decode中FFN部分的加速器,系统之间的互联方式也需要重新设计。此前,它只证明了在单芯片能够完整容纳一个小模型时可以实现良好加速;如果单芯片无法容纳模型,就需要与其他系统交互,相关接口和硬件设计都必须补充。

硬件完成后还需要处理软件栈问题。现有软件或操作系统栈可能已经具备P/D分离方案,但尚未适配这颗芯片。如何集成该芯片的软件栈,以及如何将P/D分离或FFN加速接入软件框架,都需要投入工作量。因此,表面上看是快速补齐了一项芯片技术,但距离完成系统集成仍有差距,软硬件两方面都有大量工作需要完成。

这家公司的设计方式和设计思想可能会相对较快地影响AMD,AMD或许能够迅速吸收这些内容。也不排除另一条路径,即将底层设计技术直接整合到未来的AMD Instinct系列中,使其成为AMD Instinct自身的设计特征。这完全是个人猜测。

Q:对于Cerebras、Groq以及被收购的相关快速推理厂商,您是否了解或能否推测它们的目标与路线图?例如,从现在到明年、后年乃至2030年,计划实现多少tokens per second、支持多少或多大的模型,以及达到多大吞吐量?

A:我不了解具体路线图。如果进行推测,我认为其发展仍会受到制程限制。制程背后对应算力和带宽,下一代技术能够达到什么水平,会受到这些物理条件约束。因此,出现爆炸性、飞跃性提升的可能性不大,整体仍会受制于这些限制。

Q:AMD和Cerebras均披露过合作。公开信息显示,由Cerebras采购AMD Helios机柜,并由Cerebras主导。为什么不是由AMD主导,类似NVIDIA主导与Groq配套的合作?

A:我没有看到过关于哪一方主导的说法。但无论由谁主导,核心都是双方配合完成系统建设,目标是实现优于纯GPU方案的性能。这个目标不会改变,也必然需要两家公司合作。

如果Cerebras主导的说法成立,我推测可能存在一个原因:AMD的GPU方案相对开源、开放,可定制能力较强,甚至可能不需要AMD投入太多,其他公司也可以完成集成。反过来看,目前没有看到Cerebras的软件栈完全开源。如果由AMD主导,就需要Cerebras向AMD开放相关内容,可能会涉及知识产权问题;由Cerebras使用AMD已经开放的内容,可能容易得多。

此外,Cerebras原有方案包含多个子系统,其中两个是以x86为主的子系统,因此它已经积累了较多系统实践经验。由Cerebras在技术上主导也能够说得通。从系统集成和知识产权保护角度看,反过来由AMD主导,某些问题可能更难处理。不过,这仅是推测。

Q:在异构推理中,无论是NVIDIA与Groq,还是未来AMD与Cerebras,GPU与负责decode的ASIC之间如何互联?互联是否会成为瓶颈,其速率和带宽大致处于什么水平?

A:具体参数我记不清,但目前较为通用的是基于RDMA的互联。相应网卡能够达到多大带宽,整个系统的带宽和瓶颈就可能处于相应水平。主流方案包括博通等厂商的产品,Marvell可能也有相关方案,AMD在Helios中也会采用自己的方案。无论如何,整个系统的最低带宽可能就在这一环节。大量系统间的I/O交换采用的都是相对通用的接口、接口标准或总线标准。

Q:Groq推出的LPU进行了很多测试,但测试大多基于百亿级模型。这是否意味着LPU很难支持千亿级或万亿级模型?

A:目前还没有看到其支持千亿级模型的公开信息。核心问题仍是SRAM容量太小。运行大模型需要由多个芯片组成阵列,一旦形成阵列,就需要进行跨芯片或跨机架互联。这类互联技术与GPU系统所使用的互联技术类似,带宽bottleneck会削弱SRAM的优势,使其难以体现更大的性能优势。此外,它可能还存在成本方面的劣势。

Q:NVIDIA与Groq合作的策略,是否意味着这种方案只会占其整体市场份额的一小部分?

A:NVIDIA尚未公布整个大型系统的参数。我认为,它首先希望尽可能在系统层面发挥LPU的优势。目前能够看到的方案包括P/D分离,以及attention与FFN分离。大的技术方向已经明确,但仍未调试出非常有吸引力的性能,否则NVIDIA应该会公布相关数据。目前只能说它还在努力,最终能否实现仍需后续观察。

如果能够实现,可能会在一些特别强调延迟的场景中部署这种混合方案。一般性的通用场景不一定会采用异构方式,因为LPU也不一定具有绝对的TCO优势。

Q:很多厂商正在自研用于P/D分离的ASIC。例如,谷歌TPU将片上SRAM容量增加到约380MB,同时也增加了HBM。未来哪种推理路线会成为主流:在专用芯片上增加SRAM或HBM,依赖Groq、Cerebras等外部厂商,还是继续使用NVIDIA等通用卡?云厂商拥有自己的信息和芯片研发能力,自研是否会成为趋势?

A:这取决于具体公司。自研芯片需要具备相应实力,包括足够的用量、投入规模和技术能力,只有大厂能够做到。非大厂大概率仍需使用NVIDIA或AMD的相对通用方案,采购后主要在软件层面开展优化工作。

一旦具备硬件定制能力,ASIC就可以发挥架构可定义的设计优势,可能形成比NVIDIA或AMD外挂一颗异构芯片更高效的方案。有些自研芯片已经出现这种趋势,并进一步利用AI技术进行设计。目前公布的方案可能仍是单一芯片,同时将P和D两部分都做得较好,能够在设计上发挥更多定制化优势;也不排除后续再从P和D衍生出两个子系统。

Q:是否可以理解为,有资金、资源和研发能力的公司会趋向采用专用芯片,而规模较小、资金能力有限的公司仍会使用NVIDIA和AMD的通用卡?

A:是的。而且这不仅是芯片设计问题,还要求企业具备系统集成能力。

Q:Cerebras单芯片的速度肯定快于NVIDIA或AMD的单张GPU。如果谷歌、NVIDIA或AMD使用多张GPU,能否达到Cerebras单芯片的速度?

A:不能,但存在一个前提:某个模型可以完整部署在单片Cerebras芯片上。在这一前提下,多张GPU无法拼出它的绝对速度,因为SRAM在I/O速度方面具有数量级优势,一定会在decoding阶段发挥作用。目前模型在逻辑上的瓶颈更多位于dec oding,即逐字输出阶段,SRAM在该阶段具有绝对优势。但前提仍是模型能够放入单芯片;如果单芯片无法容纳,系统又会回到Ethernet、RDMA等互联逻辑。

Q:如果大模型需要部署在多个芯片上,例如Cerebras部署后达到每秒2,000 tokens,而AMD或NVIDIA部署后达到每秒100 tokens,后者能否通过增加GPU数量,将自身速度提高两倍或三到四倍,即使仍然无法追上Cerebras?

A:如果是与自身原有性能比较,这正是进行P/D分离的原因。P/D分离是希望通过scale的方式获得更高吞吐量,甚至改善延迟。能否提升数倍仍需实际测试,因为拆分得越多,多芯片组合和通信产生的额外代价就越大,会抵消一部分收益。因此,增加芯片数量会带来收益,但不会形成飞跃式提升。

Q:Cerebras未来有一种方案,计划将DRAM混合键合到现有SRAM片上。该方案能否解决容量问题,是否可行?

A:这类似于目前的一些3D堆叠技术。由于制程工艺能够带来的提升幅度已经很小,可以通过堆叠在成本和容量方面寻求突破,因此堆叠可能是一种相对可行的方案。

Q:未来光互联会越来越先进,并从现有光模块继续演进。Marvell等公司也在研发光存储,相当于从GPU侧通过光连接远端HBM。这些技术能否解决带宽问题?

A:肯定能够缓解。光互联就是要解决现有连接方式相对于HBM与GPU直连速度较慢的问题,其速度会实现成倍提升。

Q:如果光互联技术持续提升,Cerebras这类采用SRAM路线的公司是否会受到更大影响,其方案优势是否会变得不再明显?

A:我认为是的。光互联更有潜力,也更容易解决规模扩展问题。一旦互联问题得到解决,HBM池理论上可以成倍增加,远比增加SRAM容量容易。

Q:光互联与SRAM方案解决的是相近的问题,对吗?

A:是的,两者都是为了解决I/O问题。在不同阶段更好地处理I/O后,延迟会得到显著改善。同时,光互联还能够满足长上下文工作负载的需求。现在越来越多agent应用具有非常长的上下文,SRAM总体上难以解决这一问题。即使采用3D堆叠增加DRAM,容量仍然有限,因为3D堆叠依然受到封装、散热和功耗的影响。光互联不存在完全相同的问题,两个系统可以分别解决各自的散热等问题,同时保持很高的连接速度。一旦光互联打通,我认为这种方案会更加稳妥。

Q:此前某个GPT模型与Cerebras进行了深度合作,但发布新模型时似乎没有继续合作。您认为原因是什么?

A:具体的合作情况以及应用于哪个模型,我并不清楚。如果现在确实没有继续合作,我认为原因仍是前面讨论的限制:SRAM容量始终是一个天然瓶颈,也是该方案的缺陷。它只是通过付出某种代价进行交换,但整体roofline仍然较低。

Q:未来的竞争不只是硬件竞争,而是包括软件栈在内的整个生态竞争。OpenAI等拥有自有大模型的厂商如果采用自研芯片,速度可能会越来越快。另一方面,Cerebras也在迭代,目前仍处于相对早期阶段,可能具有较大潜力;拥有资源优势的专用芯片厂商同样可能快速进步。在这种动态竞争中,哪条路线可能进步得更快?

A:需要看hyperscaler。Hyperscaler对整个工作流的理解会更深入,因为它们是真正部署大模型的公司,已经在纯GPU方案上积累了大量工程经验,也非常了解工作流在GPU上的限制,因此更容易针对性地解决问题。

对于Cerebras,从硬件层面看,我一直认为SRAM路线的前景有限;同时,它对系统及软件系统的理解也相对有限。大型模型公司无论在训练还是推理方面都拥有大量部署经验,这是Cerebras不具备的。因此,长期来看,至少目前我认为Cerebra s距离实现更广泛用途仍然很远。

除非Cerebras进行差异化定位,专门服务规模较小的模型,不再挑战越来越大的模型,而是回到中小模型,在较小系统甚至单芯片上完成部署并发挥绝对优势。我认为这是一条可行路径。数据中心并不需要让所有任务都使用最大的GPU,小模型可以解决规模较小的问题。随着训练水平提高,一些规模不大的模型经过量化后,已经能够在特定任务上取得良好效果。如果Cerebras聚焦这部分市场,也可能形成自身的发展空间:大任务采用大系统,小任务采用小系统,关键取决于其是否愿意回到自身擅长的模型范围。

Q:刚才提到的Cerebras局限,对Groq同样成立吗?

A:对Groq同样成立。Groq并没有发挥大型wafer的物理极限。暂且不考虑成本,因为具体成本并不清楚;LPU可能具有一定成本优势,而wafer-scale方案还会涉及良率等问题。单纯从性能看,Cerebras会更好一些,毕竟芯片面积更大。部署中小模型时,Cerebras所需的芯片数量可能更少,而LPU单芯片能够承担的模型更小,其跨芯片系统方案也可能不如Cerebras成熟。

此外,在Groq被NVIDIA收购后,NVIDIA不会单独发展LPU,而会将LPU作为整个系统的一部分。LPU只能在该系统中发挥特定作用,这也会限制其后续演进;Cerebras则不会受到这一限制。

Q:您是否了解一些更早期、规模更小的美国ASIC公司,例如Seminova、d-Matrix等?如何看待这些具有初创公司属性的ASIC厂商?

A:我听说过其中一些公司,但在当前趋势下,我认为它们成功走出来的可能性越来越小。OpenAI这样的大型用户都在自研芯片,而且拥有许多优势。与这些大厂相比,前面提到的问题同样存在于初创公司身上。我看不到它们在技术上的明确出路,而且行业门槛很高,可能很难真正进入竞争牌桌。首先,它们需要有客户愿意使用其产品。

特别是在大型系统和数据中心场景中,这些公司的发展会非常困难。可能的出路是回到边缘端,只做小型系统。边缘端具有高度多样化的垂直市场,如果定位于这类较小的细分范围,也许反而能够找到机会;但如果要进入数据中心,我认为希望不大。

Q:市场上有一些推理优化公司,例如Fireworks、Together AI和Nebius。它们可能主要通过软件优化和调度提升tokens per second。通常,这种纯软件优化能够提升多少速度,是百分之多少,还是可能提升数倍?

A:首先,提升数倍基本不可能。至于具体百分比,我没有专门调研过相关数据。假设在三年前,专业人员基于既有方案进行软件优化,可能实现百分之三十几的提升,足以体现其价值。但在新一代大模型出现后,很多优化项目可以直接采用agentic方式完成,优化门槛随之降低,这会影响此类公司的生存条件。

AMD自身的情况会好一些,因为它了解自己的芯片,并拥有内部知识库。工程师积累的优化经验可以被规模化、沉淀为工具库,再进一步工具化,从而实现较好的自动优化。几年前,AMD的软件系统优化能力较弱,芯片的开箱性能较差,这为专业软件优化公司提供了体现价值的空间。但现在AMD借助新模型,可能只需要几周就能让芯片达到较好的运行性能。

其他参与者,特别是拥有开放模型、丰富部署经验、自有计算资源,并进行过大量算子和系统优化的用户,也可以利用这些经验实现自动化优化。因此,单纯依靠人工工具所能创造的价值越来越少。过去可能是从六十多分优化到八十分,提升空间很大;现在厂商的初始水平已经达到八九十分,从九十分进一步提高到一百分的空间非常有限。因此,无论从可优化的绝对数值,还是这些公司的生存空间来看,都已经出现问题。

现在可以使用开源技术库或专门的优化项目,并借助大模型针对特定模型开展优化,同样能够取得较好的提升。当越来越多的人都能完成这类工作时,优化门槛就会降低。

Q:OpenAI发布新模型时提到更新了ULTRAFAST高速推理模式,称速度达到标准版的八倍,即每秒300 tokens。这种八倍速度可能通过哪些方式实现?

A:可能存在多种实现方式。第一种是结合Cerebras之类的芯片,使该系统方案与纯GPU系统在硬件速度方面产生差异。针对ULTRAFAST模式,所分配的硬件资源及其背后的系统可能原本就不同。

第二种是,即使采用相同的硬件系统,也可以通过资源分配、响应调度和软件调度,为ULTRAFAST用户提供更高优先级、更多调度时间或更多时间片,使响应速度自然加快。这两种方式也可以结合,形成差异化服务。极端情况下,一块GPU可以由一名用户独占,但互联网服务通常会对GPU进行切片,可以切成10片,也可以切成100片,响应速度必然不同。

Q:也就是说,更高的速度可能来自向这类用户分配更多算力资源?

A:主要包括两个维度:更好、更高级的资源,以及更多时间片。仅提高资源等级,但分配的时间片过少,同样无法达到理想效果。将两个维度组合起来,可以形成多种不同的套餐或升级服务。

Q:AMD、AWS和OpenAI等公司都与Cerebras开展了合作。它们的合作动机是什么?只是希望进行尝试,还是认为该技术确实具有潜力?

A:可能存在多个维度。假设一家第三方公司与自身存在一定竞争关系,而且对外宣传的效果很好,企业可以通过适当的合作方式进一步了解对方的技术底牌,从而看得更清楚,并判断其中是否存在可以用于改进自身产品的价值。我认为这种动机肯定存在。

第二个维度是合作可能形成双赢。企业自身的系统在某些工作负载上可能存在缺陷,例如延迟表现不佳;如果能够找到合作方,在部分模块上实现优于单一系统的延迟,而agent场景又确实存在低延迟刚需,就可以形成组合方案。尤其是AMD本身缺少此类方案,与N VIDIA相比在这方面偏弱。如果通过联合第三方形成一个能够与NVIDIA竞争的系统,实现双赢,也没有坏处。我认为这两个维度最为典型。

以上仅供交流探讨,不构成投资建议