2026.10.09 | 9K | ASIC | ASIC Technology Roadmap Channel Check IV

音频信息

音频标题: 261009 - Merit ASIC技术路线调研IV

相关标的：undefined

议题：

完整音频链接：http://mw-meeting.oss-cn-shanghai.aliyuncs.com/audio/1791547267120-261009%2520-%2520Merit%2520ASIC%25E6%258A%2580%25E6%259C%25AF%25E8%25B7%25AF%25E7%25BA%25BF%25E8%25B0%2583%25E7%25A0%2594IV_20261009_200037.mp3

音频纪要总结

AI推理芯片异构解耦与技术路线专家访谈纪要

1. SRAM、PIM与CIM技术路线判断

a) SRAM是否是Decode环节最具确定性的技术路线？PIM、CIM有哪些局限？

• SRAM在Decode阶段具备显著速度优势

1. Decode通常以逐Token输出为主，性能瓶颈更多来自数据访问和I/O，而非单纯计算能力。
2. SRAM访问速度较HBM具有数量级优势，因此在模型和KV Cache能够被片上SRAM容纳时，Decode延迟优势非常明显。
3. 但SRAM的优势成立存在严格前提，即核心模型、KV Cache或待加速部分能够尽量留在单芯片内。

• PIM、CIM难以满足云端大规模负载

1. PIM、CIM已发展多年，国内外均有创业公司持续推进。
2. 两类方案的主要限制是算力规模和配套SRAM容量难以扩大。
3. 当前AI Workload仍主要集中于云端数据中心，PIM、CIM较难满足大模型的容量和系统扩展需求。
4. PIM、CIM可能在边缘端、小算力场景中体现计算和功耗优势，但该类市场并非当前AI算力的主要市场。

b) Cerebras的晶圆级SRAM方案能否解决Decode问题？

• 单芯片场景下具有明确优势

1. Cerebras通过晶圆级芯片，在现有工艺下尽可能堆叠算力与SRAM。
2. 如果中小模型能够完整部署在单芯片内，其SRAM访问速度和Decode延迟会明显优于GPU多卡方案。
3. 在该前提下，NVIDIA、AMD或TPU通过增加卡数也较难追上Cerebras单片速度，因为多卡方案会引入集合通信和跨卡传输开销。

• 长上下文和大模型场景下受容量限制

1. Cerebras单芯片最大约有44GB SRAM，而当前Agentic Workload的上下文通常达到数万甚至十万Token以上，KV Cache容量会快速增长。
2. 单芯片难以同时容纳大模型及其全部KV Cache，必须使用多芯片或外部存储系统。
3. 即使扩展至大量芯片，数据跨芯片传输后，系统性能仍会受到RDMA网络带宽限制，SRAM的片内速度优势会被削弱。
4. 当KV Cache无法完全放入SRAM时，仍需要使用传统CPU加DDR系统承载，并在计算时将数据复制至SRAM，由此产生出芯片、进芯片的I/O开销。

• 系统级瓶颈与GPGPU方案趋同

1. 完整推理系统不仅需要计算芯片，还涉及CPU调度、KV Cache存储和模型权重存储。
2. Cerebras的KV Cache及权重存储子系统仍主要依赖x86 CPU、DDR和Flash，与GPU系统采用的大规模缓存池并无本质区别。
3. Scale-out之后，系统整体性能取决于最弱带宽环节，因此Cerebras与大型GPGPU Rack最终面临相似的I/O和互联瓶颈。
4. Cerebras在短上下文、中小模型场景中更容易发挥优势，但在长上下文、大模型场景中的通用性有限。

c) Groq是否面临与Cerebras相同的容量问题？

• Groq面临的SRAM容量限制更明显：

1. Groq单芯片可用SRAM容量更小，单芯片能够承载的模型规模也更小。
2. 运行大模型时需要更多芯片组成阵列，跨芯片或跨Rack互联将削弱SRAM的速度优势。
3. 与Groq相比，Cerebras通过晶圆级方案实现了更大的单芯片规模，部署中小模型所需芯片数量更少，延迟表现理论上更好。
4. Groq的跨芯片系统方案成熟度可能也弱于Cerebras。

2. PD分离、AF分离与异构解耦架构

a) 当前AI推理异构解耦的主流方式是什么？

• PD分离是当前主流方向

1. Prefill和Decode具有不同的计算属性，分离后可分别选择更适合的芯片与系统配置。
2. Prefill阶段可以继续由GPU承担，Decode阶段则可引入低延迟ASIC、LPU或SRAM型芯片。
3. PD分离的目标是通过针对性扩展提升吞吐，同时降低Decode延迟。

• 增加芯片数量可以提升性能，但不会带来质变

1. GPU扩容能够提高吞吐，并在部分情况下改善延迟。
2. 但芯片数量增加后，All Reduce等多芯片集合通信会产生额外开销。
3. 实际提升幅度需要根据模型、互联、并行策略和负载逐案分析，难以简单实现线性扩展。

b) Decode环节是否还可以进一步拆分？

• 可进一步进行Attention与FFN分离，即AF分离

1. 不必将整个MoE或Decoder全部放入Groq等系统，可以只拆分Decode中的Attention或FFN部分。
2. 将待加速部分缩小后，可以更充分利用有限的片上SRAM。
3. NVIDIA被认为正在探索类似方案，在物理PD分离基础上再进行局部分离。
4. 与纯GPU系统相比，这类异构组合有望在高延迟敏感场景中取得优势。

• Cerebras同样可以参与AF分离

1. Cerebras可以负责加载KV Cache和执行Attention，将Experts或FFN部分部署在其他硬件上。
2. Cerebras不一定独立承担完整模型，而可能与AMD、NVIDIA等芯片组成异构系统。
3. 具体由哪类芯片加速模型的哪一部分，应由模型部署方根据Workload特点统一设计，Cerebras主要负责配合系统实施。

c) 异构解耦未来是否会继续无限细分？

• 理论上可以继续拆分，但实际价值有限

1. 当前完整系统已经包括KV Cache子系统、模型权重存储子系统和Cerebras CS-3计算子系统。
2. KV Cache和权重存储通常由x86、DDR和Flash系统承担，CS-3负责计算并配合x86机头完成调度。
3. 子系统之间还需要FPGA接口板完成PCIe延伸、总线转换、跨机器连接与数据传输。
4. 当前架构已经涉及多级计算、调度、存储、互联与接口转换，系统复杂度较高。
5. 计算环节理论上仍可继续拆分，但拆分越细，I/O、调度、软件适配和工程复杂度越高，是否值得需谨慎评估。
6. 系统不能无限拆分，未来更可能围绕PD分离和AF分离进行优化，而不是持续增加大量独立子系统。

3. AMD收购Talas的动机与整合前景

a) AMD为什么收购Talas？

• 市场与资本层面的补位需求

1. NVIDIA已形成面向低延迟Decode的探索方案，Cerebras等公司也在推进特定环节加速。
2. 单纯依靠GPU架构，可能无法充分解决Decode和低延迟问题，AMD在这一领域的短板比NVIDIA更加明显。
3. NVIDIA此前还提出过以消费级GPU承担Decode、数据中心GPU承担其他阶段的CPX异构方案。
4. AMD虽然拥有Radeon消费级GPU，但在高端算力和带宽方面与NVIDIA高端消费级GPU仍存在差距，难以直接复制类似路线。
5. 收购Talas可以帮助AMD快速向市场表明其正在补齐低延迟推理能力。

• 技术上具备潜在可行性

1. Talas已在小模型、单芯片场景下证明了较好的加速能力。
2. 其方案有望用于Decode、FFN或其他局部环节的专用加速。
3. Talas与AMD具有一定人员渊源，其方案成熟度可能高于AMD从头基于FPGA开发。
4. AMD此前收购的赛灵思也拥有FPGA能力，理论上可利用片上SRAM和高度定制的计算流实现类似加速，但研发和产品化周期可能更长。

b) 收购完成后，AMD产品是否已经获得效率提升？

• 目前尚未形成实质性产品成果

1. Talas此前主要验证了小模型能够完整放入单芯片时的加速效果。
2. 在大型模型中，芯片需要与AMD MI Instinct等GPU系统交互，必须补充高速互联、接口及相关硬件设计。
3. 如果GPU负责Prefill、Talas芯片负责Decode或FFN，就需要形成完整的异构互联和调度方案。
4. 当前vLLM、SGLang虽已支持PD分离，但尚需针对该芯片进行软件适配。
5. 软件层还需解决芯片接入、调度、PD分离、FFN加速和运行时管理等问题。
6. 从单芯片技术到大型系统集成仍有较长路径，因此现阶段无法判断实际效率提升。

• 短期价值可能来自设计思想吸收

1. AMD可以较快吸收Talas的底层设计方式和架构理念。
2. 相关技术未必最终以独立子系统形式落地，也可能被融入未来Instinct系列GPU或加速器设计。
3. 该路径可能推动AMD后续架构演进，但目前仍属于推测。

c) 为什么AMD可能与Cerebras合作，而不是完全依靠自研？

• AMD当前缺乏成熟的低延迟Decode专用方案，与第三方合作可以：

1. 补足自身系统在部分Workload上的延迟短板。
2. 更深入了解第三方方案的能力边界，为自身产品改进提供参考。
3. 通过GPU与专用芯片组合，形成可与NVIDIA竞争的异构系统。
4. 在系统集成尚未完全成熟前，以合作方式降低探索成本和时间成本。

4. AMD与Cerebras合作及系统主导权

a) AMD与Cerebras合作中，为什么可能由Cerebras主导？

• 开放性和IP边界可能是重要原因

1. AMD Helios方案较为开放，具备较强的可定制能力，其他厂商可以基于其公开接口开展系统工作。
2. Cerebras的软件栈并未完全开源，若由AMD主导，可能涉及Cerebras核心软件和IP开放问题。
3. 由Cerebras推进，可以更多利用AMD开放的硬件与系统能力，同时减少Cerebras自身IP暴露。
4. Cerebras此前已经积累了x86存储子系统、计算子系统和接口连接方面的系统经验，由其推进技术整合具有一定合理性。

b) AMD Helios与Cerebras如何形成协同？

• 可能的系统分工包括：

1. AMD GPU负责Prefill或通用计算。
2. Cerebras负责Decode、Attention或其他低延迟敏感环节。
3. x86、DDR和Flash系统负责KV Cache及模型权重存储。
4. 双方共同解决异构芯片互联、数据传输、软件调度和模型切分问题。

• 合作的最终评价标准不是谁主导，而是混合系统能否在性能、延迟和TCO上优于纯GPU方案。

5. 异构系统互联瓶颈与光互联前景

a) GPU与Decode ASIC之间将如何互联？

• 现阶段主要依赖RDMA等通用互联

1. 异构系统间通常通过RDMA、以太网及相关通用接口传输数据。
2. 主流互联方案可能来自博通、Marvell等厂商，AMD Helios也将使用Pensando相关能力。
3. 系统中大量I/O调用都需经过通用接口或总线标准。
4. RDMA网卡及相关网络设备能够提供的带宽，可能成为整个异构系统的最低带宽环节。

b) 互联为何会削弱SRAM方案的优势？

• SRAM优势主要存在于片内访问：

1. 模型或KV Cache一旦跨芯片、跨Rack传输，就需要经过网络互联。
2. 整体性能由最慢环节决定，片内SRAM再快，也无法消除外部RDMA带宽和延迟限制。
3. 大量芯片组成阵列后，其互联方式会逐渐接近GPU集群，SRAM方案的差异化优势随之下降。
4. 除性能问题外，多芯片SRAM系统还可能存在成本劣势。

c) 光互联能否改善当前带宽问题？

• 光互联具有较大潜力

1. 光互联能够突破传统电互联的距离、带宽和功耗限制，传输速度有望实现成倍提升。
2. 未来可通过光纤将GPU与远端HBM或大规模内存池连接，扩大可访问的高带宽存储容量。
3. GPU和存储系统可以分别解决散热、供电和封装问题，不必全部堆叠在同一封装内。
4. 该路线比持续增加片上SRAM容量更容易通过Scale实现上量。

d) 光互联是否会削弱Cerebras等SRAM路线的竞争力？

• 二者解决的核心问题相近，均指向Decode阶段的I/O瓶颈

1. SRAM通过缩短计算与存储距离降低I/O延迟。
2. 光互联则通过扩大高速内存池和提高远端传输速度改善I/O。
3. 一旦光互联能够支撑大容量HBM池，容量扩展难度将远低于扩大片上SRAM。
4. 光互联更适合长上下文Agent Workload，因为能够支持更大的KV Cache。
5. SRAM即使通过3D堆叠增加DRAM，仍受封装、散热、功耗和容量约束。
6. 因此，长期看光互联路线可能更加稳妥，也可能削弱纯SRAM方案的相对优势。

e) Cerebras将DRAM混合键合至SRAM片上的方案是否可行？

• 该方案类似3D堆叠，具备一定可行性：

1. SRAM受工艺和面积限制，容量增长幅度有限。
2. 通过混合键合增加DRAM，可以在容量和成本之间寻求平衡。
3. 但该方案仍受封装密度、散热、功耗和总体容量上限约束。
4. 它能够缓解容量问题，但难以从根本上解决长上下文、大规模KV Cache需求。

6. Cerebras、Groq与专用推理芯片的市场定位

a) Cerebras、Groq等厂商未来性能是否会出现飞跃？

• 受访者不了解各家公司具体Roadmap，但判断：

1. 下一代产品仍受到制程、带宽和芯片物理极限约束。
2. 制程决定可集成算力、SRAM规模、功耗和互联能力。
3. 在现有技术路径下，出现爆炸性、跨越式提升的概率不高。
4. 更现实的提升来自工艺演进、系统优化和异构集成，而不是单一芯片能力突然跃迁。

b) NVIDIA与Groq合作意味着什么？

• Groq芯片更可能成为NVIDIA系统的一部分

1. NVIDIA大概率不会将Groq的LPU/RPU作为独立产品路线单独发展。
2. 更可能将其用于PD分离、Attention或FFN等特定环节。
3. 该策略能够发挥Groq在低延迟推理中的局部优势，但也会限制其独立架构演进空间。
4. Cerebras作为独立公司，在产品路线和系统选择上相对不受类似约束。

• 最终市场份额仍取决于TCO与系统效果

1. NVIDIA尚未公开完整混合系统参数，说明方案可能仍在调试和验证。
2. 如果性能优势足够明显，NVIDIA通常会进行更积极披露。
3. 混合方案可能优先部署在对延迟要求极高的场景。
4. 对于一般性、通用性负载，不一定需要异构方案，因为LPU未必具备绝对TCO优势。

c) Cerebras更适合怎样的市场定位？

• 聚焦中小模型可能是更可行的路线

1. 如果持续挑战超大模型，SRAM容量和系统互联将构成长期制约。
2. 若聚焦可在单芯片或较小系统内部署的中小模型，则可以充分发挥低延迟优势。
3. 随着训练、蒸馏和量化技术进步，中小模型在特定任务中的能力持续提升。
4. 数据中心并非所有任务都需要最大模型，大任务可由大规模GPU系统承担，小任务可由中小模型专用系统承担。
5. Cerebras若回归自身擅长的中小模型市场，仍可能形成差异化空间。

d) Cerebras与OpenAI相比，哪一方长期进步可能更快？

• 受访者更看好OpenAI

1. OpenAI对实际Workload、训练和推理部署的理解更深入。
2. OpenAI已积累大量纯GPU系统工程经验，更清楚现有架构的瓶颈。
3. 自研芯片时可以针对模型、算子、KV Cache和部署方式进行定制。
4. OpenAI同时掌握模型、软件栈、数据和系统部署经验，能够开展端到端协同优化。
5. Cerebras在硬件层面受到SRAM容量限制，在大型系统和软件部署经验方面也相对不足。
6. 除非Cerebras转向中小模型等差异化市场，否则其长期前景仍存在较大不确定性。

7. 自研ASIC、通用GPU与外部专用芯片的路线选择

a) 未来推理芯片将以哪条路线为主？

• 不同类型厂商将形成分层选择

1. 具备大规模用量、资金、芯片设计和系统集成能力的头部厂商，更可能发展自研ASIC。
2. 自研ASIC可以根据自身Workload定制计算、SRAM、HBM和互联架构，理论上比GPU外挂异构芯片更高效。
3. OpenAI等厂商可能先推出能够同时完成Prefill和Decode的定制芯片，后续也可能将P、D分别衍生为独立子系统。
4. 中小型厂商缺少芯片设计和系统集成能力，大概率仍将采购NVIDIA或AMD的通用GPU，并在软件层进行优化。

• 自研芯片不仅是芯片设计问题

1. 还需具备服务器、网络、存储、调度、编译器和软件栈的系统集成能力。
2. 如果没有足够大的内部用量，自研芯片难以摊薄研发和流片成本。
3. 因此，真正能够自研并规模部署推理ASIC的企业数量有限。

b) 专用ASIC增加SRAM或HBM是否更合理？

• 对具备自研能力的大厂而言，这一方向较合理：

1. ASIC可以围绕目标模型和Workload精确配置片上SRAM、HBM和计算单元。
2. 相较通用GPU外挂第三方芯片，自研ASIC可减少接口转换和跨系统数据搬运。
3. 增加SRAM有利于低延迟，增加HBM则更有利于大模型、长上下文和容量扩展。
4. 最终设计会在速度、容量、功耗、成本和通用性之间进行权衡，而不会单纯追求最大SRAM。

c) SambaNova、D-Matrix、Etched等初创ASIC公司还有哪些机会？

• 进入数据中心主流市场的难度持续上升

1. OpenAI等大型用户已经开始自研芯片，并掌握模型、数据和部署经验。
2. 初创公司如果没有头部客户持续使用产品，就无法完成大系统验证和工程迭代。
3. 数据中心AI芯片门槛极高，涉及芯片、互联、服务器、软件栈和生态，不只是单点硬件能力竞争。
4. 在头部GPU厂商和云厂商自研芯片的双重挤压下，独立初创ASIC公司留在主流市场的空间有限。

• 边缘端可能是更现实的出路

1. Edge市场包含大量分散的垂直应用和定制需求。
2. 小系统不需要解决超大模型和超大规模互联问题。
3. 初创公司若聚焦特定场景、小模型和低功耗需求，可能找到差异化市场空间。
4. 若继续正面进入数据中心大模型市场，成功概率较低。

8. 软件优化价值与高速推理服务模式

a) Fireworks、Together AI、Nebius等纯软件优化公司能提升多少性能？

• 纯软件优化实现数倍提升的可能性较低

1. 数年前，硬件厂商出厂优化水平较低，专业软件团队可能实现约30%或数十个百分点的性能提升。
2. 当时产品可能以“60分”状态出厂，第三方优化公司可以将其提升至“80分”。
3. 当前GPU厂商和头部模型公司已积累大量部署、算子和系统优化经验，出厂性能可能已达到“80分或90分”。
4. 在较高基线上继续优化至接近满分，边际空间明显缩小。

• Agent和知识库正在降低优化门槛

1. 芯片厂商可以将内部工程师经验Skill化、知识库化和工具化。
2. 结合Agent，可针对新模型快速完成编译、算子和系统参数优化。
3. AMD等硬件厂商最了解自身硬件，能够利用内部知识库实现自动优化。
4. OpenAI等模型部署方同样掌握丰富的模型与系统数据，可自行开展优化。
5. 开源知识库与大模型工具也让普通工程团队能够完成过去只有专家才能完成的部分工作。
6. 因此，独立软件优化公司的技术门槛、优化空间和商业价值均可能下降。

b) Ultra Fast模式速度达到标准版数倍，可能通过哪些方式实现？

• 硬件资源差异

1. Ultra Fast模式可能使用Cerebras或其他低延迟专用芯片，而标准模式使用纯GPU系统。
2. 不同硬件系统本身就可能形成较大的速度差异。

• 资源调度与服务分级

1. 即使采用相同GPU，也可以给高速服务分配更高调度优先级。
2. 高速用户可以获得更多计算资源、更大时间片或更少资源切片。
3. 极端情况下可以为单一用户提供接近独占的GPU资源，而普通服务则由多个用户共享。
4. “更高级的硬件资源”与“更多时间片”可组合形成多种服务等级和收费套餐。
5. 因此，数倍速度提升不一定完全来自芯片性能，也可能来自资源投入和调度策略差异。

9. Cerebras对外合作的商业动机

a) AMD、AWS、OpenAI等厂商为何与Cerebras合作？

• 技术学习与竞争情报

1. 如果第三方方案在线上表现良好，合作可以帮助厂商深入了解其技术能力和性能边界。
2. 对合作方架构、系统瓶颈和使用效果的理解，可反向用于改进自身产品。
3. 对拥有自研芯片计划的公司而言，与Cerebras合作也具有技术验证和路线参考价值。

• 弥补特定Workload短板

1. GPU系统可能在部分低延迟Workload中表现不足。
2. 如果智能体应用对响应延迟存在刚性需求，引入Cerebras可改善特定场景体验。
3. GPU与Cerebras组合可能优于单一系统，并形成差异化产品能力。

• 形成商业双赢

1. Cerebras获得真实客户、部署场景和收入来源。
2. 合作方获得低延迟推理能力和更多技术路线选择。
3. 对AMD而言，借助第三方补足短板，有机会形成与NVIDIA竞争的系统方案。

b) 新模型未继续采用Cerebras，可能反映什么问题？

• 受访者不了解具体合作模型及商业安排，但从技术角度判断：

1. Cerebras的SRAM路线始终存在容量先天瓶颈。
2. 面向大模型和长上下文时，单芯片容量不足会迫使系统进入跨芯片、跨Rack扩展。
3. 一旦依赖外部KV Cache、权重存储和RDMA互联，其低延迟优势就会下降。
4. 因此，Cerebras方案的性能上限和适用范围较明确，并非所有新模型都适合采用。

结构化总结表格

新版prompt提炼之后的转译

提问者：上次与您交流后，这次想就其中一些话题进一步展开。在AI推理芯片异构解耦的趋势下，SRAM是否是用于Decode最具确定性的技术路线？您如何看待其他路线，例如存内计算、存内处理，以及CIM、PIM等？请您先讲解一下。

回　答　者：PIM、CIM这些概念已经出现好几年了，国内外都有一些创业公司持续推进相关技术，部分公司可能已经做了好几年。但从结果倒推来看，这2种方案都存在一定限制。

无论是PIM还是CIM，最大的限制都是难以扩大规模，即算力以及配套SRAM的容量无法做大，因此难以满足以数据中心为主的负载需求。目前，AI的大量Workload仍然集中在云端，这类芯片难以进入云端市场，只能在部分边缘、小算力场景中落地，并可能具备一定的计算和功耗优势，但主要市场并不在这些领域。这是我对PIM、CIM的理解。

Cerebras芯片是在现有工艺条件下挑战物理极限，在单个Wafer中尽可能堆叠算力和SRAM。即便如此，相对于当前的大模型，其算力和SRAM总容量仍然太小。当然，Cerebras也有一些系统级创新，包括多芯片连接。通过自有的连接方式，它能够实现Scale-out并形成集群。

回　答　者：多个大 Wafer 的芯片扩展以后，仍会受到总线互联带宽的限制。其片内 SRAM 的访问速度确实非常快，可能比 HBM 高数个数量级。但是，在进行 Scale-out 时，整个系统的瓶颈取决于带宽最弱的环节。互联仍采用现有的 RDMA 连接，因此会受制于 RDMA 现有的性能参数。从系统层面来看，虽然实现了扩展，但整体性能仍会受到互联带宽的拖累。

另外，Cerebras 本身只是一个集计算与存储于一体的单一芯片，而真正的计算系统还涉及 CPU 调度和多级存储，包括 KV Cache 存储和权重存储。这些内容无法全部存放在 Cerebras 的 SRAM 中，仍需借助配套系统中专门用于存储 KV Cache 和模型权重的子系统。

这2个子系统基本上仍是以传统 x86 CPU 为核心的存储系统，与其他配套 GPU、用于存储 KV Cache 或构建大规模缓存池的 CPU 系统没有明显区别。从整个 I/O 角度来看，这2部分也属于速度较慢的瓶颈。

因此，虽然 Cerebras 芯片采用了以 SRAM 为核心的近存计算系统，但在现有大模型和大系统的条件下，我认为它并不一定比纯 GPGPU 的大型 Rack 系统具有绝对优势，因为二者面临的瓶颈是相同的。这是我的大致判断。

提问者：明白。我们先不讨论 Cerebras。上次您提到，AI 推理芯片会采用异构解耦。那么，在 Decode 环节，目前采用 SRAM 的技术路线是否最为确定？我们先不具体讨论 Cerebras 这家公司。

回　答　者：具体来看，首先是上次讨论过的 P/D 分离，这确实是目前的主流方式，能够更好地将 P 和 D 这2种具有不同计算属性的节点分开。在 P 和 D 节点上，可以采用差异化的芯片和配置进行组合。上次我们主要围绕 GPU、Groq 和 Cerebras 进行了讨论，但没有充分展开，今天可以稍微详细说明。

回　答　者：具体来看，Cerebras的单芯片最大只有44GB的SRAM。目前很多Agentic workload的上下文非常长，context很大，导致KV cache也会很大，无法全部放入SRAM。Cerebras要发挥SRAM在decoding方面的优势，前提是KV cache能够尽可能缓存在SRAM中。

但目前的context通常达到数10K乃至上100K，单芯片很难容纳。即使目前可以扩展至2048个芯片，每个芯片拥有44GB的SRAM，但数据一旦需要跨芯片传输，带宽就会受限于芯片间网络的RDMA速度，从而削弱SRAM的速度优势。

当SRAM无法容纳全部KV cache时，更现实的方案仍是回到传统的DDR加CPU系统来承载KV cache。每次计算时，还需要将数据从DDR加CPU系统复制到SRAM中，这又会产生出芯片和进芯片的I/O问题。因此，在长上下文场景下，Cerebras通过SRAM实现加速存在一定限制，通用性并不理想。

在上下文较短的小型场景中，Cerebras可能可以充分发挥SRAM的缓存或近存优势。但一旦数据无法全部放入SRAM，仍需要回到传统的CPU加DDR的KV cache系统，其优势就没有那么明显。

提问者：那么，如果看Groq，它能够使用的SRAM容量会更小吗？

回　答　者：Groq会更小。现在有1种方式，NV也在探索：不是将MOE或decoder部分全部放入Groq系统，而是进一步拆分decoding中的attention部分。在物理分离的基础上，再进行1次局部的小规模分离，可能更有利于发挥Groq LPU的部分优势。

这种方式需要加速的部分更小，可以更充分地利用有限的SRAM。我认为NV采用的是这一思路。与单一的纯GPU系统相比，这种方案在延迟方面仍然具有一定优势。

提问者：英伟达在GTC时似乎提到过这一方案，也就是对decode中的FFN进行拆分，是这样吗？

回　答　者：是将attention和FFN进行分离，也就是AF分离，对attention和FFN做单独的分离。

提问者：如果采用同样的方法，Cerebras也可以实现吗？但我理解，Cerebras不能独立完成，因为其优势可能只体现在整个模型的部分环节。这样的系统应由模型部署方决策。例如，OpenAI如果购买Cerebras芯片，不太可能让一个模型完全使用Cerebras系统和芯片，而是会将Cerebras与AMD甚至NV的芯片组成异构系统。在这个系统中，如何合理利用这些芯片，以及由什么芯片加速模型的哪一部分，都应由模型部署方决定，Cerebras只是配合实施，对吗？

回　答　者：对，Cerebras也可以采用这种方法。

提问者：关于异构解耦，后续是否还会进一步细分？刚才提到，decode可以进一步分为attention和FFN。Cerebras的CTO在访谈中也提到，可以加载KV cache、执行attention，并将experts分散到不同硬件上。除这些方式外，异构解耦能否进一步拆分到更多、更细的环节？

回　答　者：我认为不会再细分太多。刚才已经提到，目前已细分为多个部分。KV cache是一个子系统，模型权重则采用外挂DDR加Flash的系统，这2个系统都是x86子系统，之后才是Cerebras自身的CS-3系统。

这些系统会放在同一个rack中，而CS-3本身只负责计算，其调度仍需配合x86机头完成。因此，x86与wafer共同组成CS-3子系统，整体包括3个子系统。

子系统之间还涉及IO转换与传输，需要配合FPGA接口板完成。wafer与x86互联时，也是x86 PCIe总线的延伸。由于该系统采用跨机器连接，中间还需要FPGA完成PCIe转接和互联。

按照这种方式划分，系统已经相当复杂，不仅涉及前面介绍的计算环节，还需要考虑不同总线之间的转换、传输和存储。我认为，这已经是目前较为完整的解耦方式。至于计算环节能否进一步解耦，我并不清楚，但理论上可以。

回　答　者：但这个系统会带来更多复杂度。系统不能无限拆分，是否值得这样做，我持保留态度。

提问者：AMD为什么收购Talas？此次收购主要是为了解决什么问题？收购后能否提升AMD自身的产品能力？其收购目的和后续发展目标是什么？

回　答　者：以下完全是我的个人观点。我认为可以从几个维度来看。

首先是非技术因素，即从市场角度出发，或者向投资方有所交代。NV已经有相应方案，Cerebras也在进行某一部分的加速，但Cerebras毕竟是另外1家公司。对于AMD而言，如果希望解决Decoding或低延迟问题，就需要找到1个合适的方案。至少目前来看，单纯依靠GPU这种单一架构，可能无法完善地实现Decoding部分的加速。对于AMD来说，这个问题会更加严重。

NV在购买LPU之前，还提出过CPX方案，即使用消费类GPU进行Decoding，再配合顶级的数据中心形成异构方案。AMD目前也没有这种层面的方案。虽然AMD拥有Radeon消费类GPU，但与NV的高端消费类GPU相比，我认为其算力和带宽仍有很大差距，因此无法依靠Radeon解决这个问题。

这意味着AMD更加缺少相关方案，几乎处于完全没有方案的状态。因此，我认为AMD迫切需要1个这样的方案，至少能够在投资层面或其他对外层面向市场作出交代。这是非技术方面的因素。

在此次收购之前，我也有过一些个人判断。AMD此前收购了赛灵思，而赛灵思拥有FPGA技术。FPGA芯片在MoE或Decoding阶段可能存在应用空间。此前已有很多技术尝试，即针对一些小模型，完全按照计算流的方式通过FPGA实现加速。

FPGA片上也具备一些SRAM类资源，计算单元与RAM之间的距离非常近。再加上FPGA可以进行高度定制，理论上也能够实现类似的部分加速。因此，我没有想到AMD会直接收购这家公司。当然，这家公司与AMD也有一定渊源，是部分员工离职后创业成立的。相对而言，其方案成熟度可能更高；如果采用FPGA方案，可能还需要相应的工作量。

回　答　者：时间周期会更长一些，因此非技术因素是存在的。从技术角度看，我还没有看到它在系统级，特别是在1个大型系统中，对1个较大模型的完整系统能力进行过验证。它只证明了在小模型上，可以通过单片方式实现较好的加速。但要成为1个专门为 decoding 或 FFN 加速的大型系统，至少在系统集成层面还没有实现。理论上，从技术角度看可能具备可行性，但系统级集成仍需要一些时间。

可以从2个维度来看。1个是非技术因素，即在这个时间点需要给资本市场1个交代，通过收购快速补齐1个相对弱点。技术上也有一定的可行性。第3点是，真正实现集成后，一些系统性参数仍需继续观察。

提问者：是否可以理解为，目前还看不出收购之后，AMD 的相关产品获得了哪些效率提升？

回　答　者：目前肯定还没有实质性结果，因为集成还有很长的路要走。以 Cerebras 为例，假设这个方案被引入，它一定会作为1个独立子系统存在。这个独立子系统要以什么方式接入大型系统，是需要解决的问题。大型系统包括 GPU，即 MI Instinct 系列，它可能承担 prefill 阶段。如果将这个芯片用于 decoding 阶段，或者用于 decoding 中某1部分 FFN 的加速，就必须具备相应的互联方案。

此前，它只证明了当1个小模型能够完整放入单1芯片时，可以实现较好的加速。但如果单1芯片无法容纳整个模型，还需要与其他系统进行交互，就必须补充相关互联技术方案，包括接口等硬件设计。硬件完善后，还需要解决软件栈问题。即使目前 vLLM 或 SGLang 已经具备 PD 分离方案，也尚未适配这个芯片。如何集成这个芯片的软件栈，以及如何将 PD 分离或 FFN 加速加入软件框架，都需要投入相应的工作量。因此，软硬件层面都有很多工作需要完成。

表面上看，通过收购可以快速补齐1项芯片技术，但距离系统集成仍有一定差距。不过，可能对 AMD 产生较快影响的1个方面，是其设计方式和设计思想，这些内容可能被快速吸收。也不排除另1种路径，即将这些设计中更底层的技术直接用于未来 Instinct 系列的设计，将其吸收并转化为 Instinct 系列的设计。

回　答　者：这可能与架构演进有关，但完全是我个人的猜测和想法。

提问者：您是否了解Cerebras、Groq和Tenstorrent等快速推理厂商的发展目标及roadmap？例如从现在到明年、后年乃至30年，它们计划实现多少tokens每秒、支持多少模型或多大规模的模型，以及达到多少吞吐量？

回　答　者：我不了解相关情况。从推测来看，其发展仍会受到制程的影响。制程背后对应算力和带宽，下一代架构能够达到什么水平，也会受到工艺方面的物理限制。因此，我认为出现爆炸性、飞跃性提升的可能性不大。

提问者：AMD和Cerebras均披露过双方的合作。根据公开信息，Cerebras将采购AMD的Helios机柜，相当于由Cerebras主导此次合作。为什么不是由AMD主导，类似英伟达主导与Groq的配套合作？

回　答　者：我不确定这一消息来自哪里，也没有看到过关于谁主导合作的说法。无论由谁主导，核心都是双方配合完善系统，使其性能优于纯GPU方案，这一目标不会改变，而实现该目标必然需要双方合作。

如果相关说法具有一定可信度，可能的原因是，AMD的Helios GPU方案是完全开源、开放的，具备较好的可定制化能力，甚至不太需要AMD投入，其他公司也可以完成相关工作。相较之下，Cerebras的软件栈并未开源、开放。如果由AMD主导，Cerebras是否愿意向AMD开放相关内容，可能涉及IP问题。

反过来，由Cerebras推进可能更容易。AMD的相关内容已经开源、开放，没有太多IP方面的顾虑。此前Cerebras方案中的多个子系统里，有2个都是以x86为主的子系统。

回　答　者：他已经积累了很多实践经验，由他从技术上主导这项工作并无意义。无论从纯技术角度还是 IP 保护角度来看，都不合理，但反过来可能有些事情难以解释。这是我的推测。

提问者：理解，我认为有道理。可以确认的是，在双方合作中，Cerebras 应该处于主导地位。对于这种解耦推理，无论是英伟达与 Groq 的合作，还是未来可能出现的 AMD 与 Cerebras 的合作，GPU 和负责 decode 的 ASIC 之间将如何互联？互联是否会成为瓶颈？其速率、带宽等参数可能达到什么水平？

回　答　者：具体参数我记不清了，但可以参考前面对 Samba 的分析。目前比较通用的互联方式是以 RDMA 为基础，RDMA 相关网卡能够达到的带宽，可能就是整个系统的带宽瓶颈。主流方案包括博通，Marvell 可能也有相关方案，AMD 即将推出的 Helios 中也会采用自己的 Pensando，这些信息都很容易查到。

无论如何，整个系统中带宽最低的环节可能就在这里。大量系统间的 IO 调用，都是通过相对通用的接口、接口标准或总线标准进行传输。

提问者：我看到网上关于英伟达与 Groq 的信息。Groq 新推出的 LPU 进行了很多测试，但这些测试都是基于100亿级模型。这是否意味着其 LPU 很难应用于1000亿级或1万亿级模型？目前似乎还没有看到相关公开信息。

回　答　者：核心原因还是 SRAM 太小。SRAM 容量较小时，如果要运行大模型，就需要使用多个芯片组成阵列。一旦形成阵列，就需要采用跨芯片或跨 rack 的互联方式，其互联技术与 GPU 整个系统采用的互联技术类似。

这样一来，SRAM 的优势就会受到互联瓶颈的限制，难以充分体现，反而还可能存在成本劣势。

提问者：英伟达采取与 Groq 合作的策略，是否也意味着 Groq 在其整体市场份额中只占很小一部分？

回　答　者：目前还不好判断，因为 NV 尚未公布整个大系统的相关参数。我认为，NV 首先是希望尽可能在系统层面发挥 LPU 的优势。目前能够看到的方向包括 PT 分离或 FFN。即使大的技术方向已经明确，仍然可能尚未调试出具有足够吸引力的性能，否则 NV 肯定会公布相关信息。目前只能说他们仍在努力。

回　答　者：能否做到还需继续观察。一旦实现，可能会在一些对延迟要求特别高的场景中部署这种混合方案。对于一般性、相对通用的方案，不一定会采取这种异构方式，因为LPU未必具有绝对的TCO优势。

提问者：目前很多厂商都在自研芯片，包括自研用于PD分离的ASIC。例如谷歌TPU v8i将片上SRAM容量增加至380兆，以此加速推理，同时也加大了HBM。在专用芯片上加大SRAM或HBM容量，是否是更合理的模式？未来是依赖Groq、Cerebras等外部厂商更合理，还是云厂商利用自身信息和资源自研芯片，并加大SRAM容量更合理？或者继续使用NVIDIA等厂商的通用卡？您认为这3种路线中，哪种会成为未来推理领域的主流趋势？

回　答　者：我认为要看具体厂商。自研芯片需要具备相应实力，包括足够的用量、资金投入和技术能力，这些条件可能只有大厂具备。非大厂大概率仍会采用NVIDIA或AMD的相对通用方案，采购后主要在软件层面进行优化。

如果具备硬件定制能力，ASIC可以发挥架构可定义的设计优势，可能比NVIDIA或AMD外挂1个异构芯片更加高效。OpenAI也在研发芯片，并且已经显现出一些迹象。它可能会更进一步，利用AI技术，使目前公布的1款非异构芯片同时较好地完成P和D。其设计可能更具定制化优势，当然也不排除后续将P和D分别衍生为2个子系统。

提问者：您的意思是，具备资金、资源和自研能力的厂商可能会趋向专用芯片，而规模较小、缺乏自研能力的厂商仍会使用NVIDIA和AMD的卡？

回　答　者：是的。而且这不仅是芯片设计问题，还涉及系统集成能力。

提问者：目前Cerebras单片的速度肯定快于NVIDIA或AMD的单片。网上有一种说法，例如谷歌使用4个TPU，或者NVIDIA使用多张卡，能否赶上Cerebras单片的速度？也就是说，NVIDIA、AMD或谷歌TPU通过增加卡的数量，能否达到同样的速度？

回　答　者：不会。前提是某个模型可以部署在单个Cerebras芯片上；在这种情况下，使用多张卡拼接也不会赶上。

回　答　者：无法据此判断其绝对速度。SRAM在速度上具有数量级优势，因此在decoding阶段一定具备优势。目前整个模型的瓶颈更多在于decoding，即逐字输出，SRAM在这方面具有绝对优势。但前提是模型能够放入单一芯片；如果单一芯片无法容纳，就又会回到Ethernet、RDMA等技术方案。

提问者：目前大模型通常需要部署在多个芯片上。假设Cerebras部署一个大模型后，输出速度达到每秒2000 token，而AMD或英伟达部署后的输出速度为每秒100 tokens，是否可以通过增加卡的数量，例如将原有卡的数量翻倍或增加更多，使输出速度提升？即使无法追上Cerebras，能否实现翻倍或提升至3、4倍？

回　答　者：如果是与自身比较，这正是进行PD分离的原因。PD分离是希望通过scale的方式实现更高吞吐，并在延迟方面获得优势。至于能否提升数倍，需要case by case分析。芯片数量增加后，all reduce等多芯片集合通信会产生额外代价，从而抵消部分收益。因此，增加芯片数量会带来收益，但不会产生质的飞跃。

提问者：Cerebras未来有一个方案，即将DRAM通过混合键合方式集成到现有SRAM片上。您认为这能否解决容量问题？该方案的可行性如何？

回　答　者：这类似于目前的3D堆叠技术，目的是在成本和容量方面寻求突破。由于SRAM受工艺限制，提升幅度较小，因此堆叠可能是一个相对可行的方案。

提问者：未来光互联技术将更加先进，从目前的光模块继续演进。麦威尔也计划发展光存储，即通过光纤将GPU或其侧边与远端HBM直接连接。这些技术能否解决带宽问题，例如目前的片内带宽问题？

回　答　者：肯定能够提升。光互联可以突破现有连接方式相较于HBM与GPU连接方式的速度限制，其速度一定会成倍提升。

提问者：如果光互联技术进一步提升，Cerebras等采用SRAM策略的公司是否会受到更大影响，使其方案不再那么有效？

回　答　者：我认为光互联更具潜力，也更容易通过scale实现上量。

提问者：它们解决的是相近的问题吗？

回　答　者：对。一旦解决互联问题，理论上HBM池的容量就会成倍增加，远比增加SRAM容量容易。它们解决的都是IO问题，通过在decoding阶段更好地处理IO，可以大幅改善延迟表现。

同时，这种方案能够满足长上下文workload的需求，因为现在越来越多的agent工作都涉及非常长的上下文。我认为SRAM难以解决这一问题。即使采用3D堆叠增加DRAM，容量仍然有限，因为3D堆叠依然会受到封装、散热和功耗等因素的影响。光互联不存在这一问题，2个系统可以分别解决各自的散热等问题，而且传输速度很快。一旦光互联打通，这条路线会更加稳妥。

提问者：我们之前看到GPT-5.6与Cerebras进行了深度合作，但现在发布的新模型似乎没有与Cerebras合作。您认为原因是什么？

回　答　者：首先，我并不清楚此前的合作具体应用在哪个模型上。至于现在没有合作，结合前面讨论的诸多限制，我认为Cerebras采用的SRAM路线始终存在容量这一先天瓶颈。它只是以一定代价进行取舍，但roofline仍然较低。

提问者：未来的竞争应该不只是硬件竞争，而是包括硬件、软件栈和大模型在内的整个生态竞争。例如，OpenAI拥有自己的大模型，未来也会使用自研芯片，并不断提升速度。虽然其速度未必能够超过Cerebras，但Cerebras也在持续迭代，目前仍处于相对初级的阶段，可能具有较大潜力。与此同时，专用芯片拥有自身的资源优势，进步速度也可能很快。在两者动态竞争的模式下，您认为哪一方可能进步得更快？

回　答　者：我更看好OpenAI，因为OpenAI对整个workload的理解会更深入。它真正部署了大模型，在纯GPU方案上已经积累了大量工程经验，也非常了解workload在GPU上面临的限制，因此更容易有针对性地解决问题。

对于Cerebras，首先从硬件层面看，我认为其SRAM路线的前景有限。此外，它对系统和软件系统的理解也更有限。OpenAI在训练和推理方面拥有大量部署经验，这是Cerebras不具备的。因此从长期来看，至少目前我对Cerebras的前景无法看得太远。

回　答　者：除非它进行差异化，例如专门做更小的模型，不再挑战规模越来越大的模型，而是回归相对中小型的模型，使其能够在较小的系统或单芯片上部署，发挥自身的绝对优势。我认为这是一条可行的路径。

现在并不是整个数据中心只部署最大的 GPU 6，完全可以用小模型解决小问题。随着训练技术不断提高，千问3、Next Mesh 等小模型通过量化达到 128GB 这样的规模后，在某些任务上的表现已经很好。如果聚焦这一领域，也未尝不可，同样会有自己的市场。数据中心的大任务使用大系统，小任务使用小系统，关键取决于它们是否愿意这样做，回归自身擅长部署的模型。

提问者：感谢您的详细回答。何老师，您还有什么问题吗？

提问者：我再请教几个问题。刚才提到的 Cerebras 的局限，对 Groq 是否同样成立？

回　答　者：Groq 会更弱一些，因为 Groq 没有发挥出晶圆级方案的极限。暂且不考虑成本，因为具体成本我也不清楚。理论上，RPU 会有一定的成本优势，因为晶圆很大，良品率问题暂且不论。但从纯粹的性能来看，Cerebras 会更好一些。

Cerebras 毕竟将芯片做得很大，即使部署中小模型，所需的芯片数量也更少，延迟远小于 RPU。RPU 单芯片能够承载的模型更小，其跨芯片系统方案可能还没有 Cerebras 成熟。

提问者：另外，Groq 已经被 NV 收购，您认为 NV 对 RPU 的决策会是怎样的？

回　答　者：首先，NV 不会单独发展 RPU，而是一定会将 RPU 作为其整个系统的一部分，让 RPU 在这一部分中最大限度地发挥作用。这也会制约 RPU 后续的一些演进，但 Cerebras 不会受到这样的限制。

提问者：您是否了解一些规模更小、初创属性更强的美国 ASIC 公司，例如 SambaNova、DMatrix 和 Etched？

回　答　者：我听说过其中一些公司，但在当前趋势下，它们成功走出来的可能性越来越小。像 OpenAI 这样的大型用户都已经开始自研，并且具备很多优势。刚才提到的优势，相较于这些公司也都存在，因此我看不到它们在技术上的出路。

这一领域的门槛又非常高，它们可能没有办法继续留在牌桌上。企业必须有用户使用其产品，特别是在大系统的情况下，如果没有用户，就没有意义。

回　答　者：唯一的出路是回到Edge端，只做小系统。如果他们采取这一定位，也许能在Edge端找到一些机会，因为Edge端包含非常多样化的垂直市场。如果局限在较小的范围内，反而可能找到一定的市场空间。但如果进入数据中心，我认为希望不大。

提问者：目前市场上仍有一些从事推理优化的公司，例如Fireworks、Together AI和Nebius等。这类公司似乎可以单纯通过软件优化和调度，实现tokens per second的提升。通常而言，纯软件优化能够将速度提升多少，是百分之多少，还是可以提升几倍？

回　答　者：首先，提升几倍是不可能的。我没有调取过相关数据，但假设在3年前，这些公司还是该领域的专家，可能通过软件方案，在已有方案的基础上实现30%至几十%的提升。几年前，这类公司还能够体现自身价值。

但是在GPT-5之后，特别是GPT-6推出后，近期很多项目可以直接使用Agent进行非常好的优化，这意味着优化门槛降低了，也导致这些公司的生存条件逐渐不复存在。

AMD可以自行运行Agent。它非常了解自己的硬件，再结合自身的知识库，可以将内部工程师积累的优化经验Skill化，形成知识库，并进一步工具化，从而很好地实现自动优化。因此，AMD产品的出厂性能已经不同于几年前。当时AMD的优化能力较弱，出厂性能较差，因此给专门从事软件优化的公司留下了体现价值的空间。

到了今年，AMD可能在新模型推出后，通过Agent和Knowledge知识库，在短短几周内自行实现很好的性能。其他玩家，尤其是OpenAI这类使用方，也拥有自己的模型和丰富的部署经验，建立了自己的知识库，并进行了大量算子或系统优化。在部署过程中，他们也能够利用知识库实现自动优化。

因此，我认为前述公司的价值会越来越小。如果将这种价值体现为优化百分比，即从基线性能进一步提升至较高水平，其提升空间会非常小。以前产品可能以60分出厂，这些公司可以将其提升到80分；现在可能一出厂……

回　答　者：厂家一出来就是80分、90分，你让90分再往100分做，空间非常小。从优化数值的绝对数以及他们现有的空间来看，我觉得都出现问题了。

我最近也在做优化。虽然我不擅长算子级优化，但我会使用一些开源知识库或专门从事优化的项目，把这些内容交给大模型，引导它针对特定模型进行优化，就能取得非常好的优化效果。现在很多人都可以做这件事，门槛因此降低，其商业价值也……

提问者：最近OpenAI发布了GPT-4o，并提到更新了Ultra Fast高速推理模式，速度是标准版的8倍，达到300 tokens每秒。这种8倍的速度提升可能是通过哪些方式实现的？

回　答　者：其实有很多种手段。第1个维度是结合Cerebras芯片，其系统方案与纯GPU方案相比，单纯在硬件速度上就存在差异。针对Ultra Fast模式，可能会分配不同的硬件资源，背后的硬件系统也不一样。

第2个维度是，即使都使用纯GPU，假设背后的硬件系统相同，也可以通过资源分配和响应资源调度来实现。纯软件调度层面，可以给予Ultra Fast用户更高的调度优先级，调度更多资源，分配更多时间片，其响应速度自然会更快。

这2种方式也可以结合起来，形成差异化。极限情况下，GPU可以由1个人独占使用，但互联网服务很多时候会对资源进行切片，可以切成10片，也可以切成100片，响应速度会有所不同。

提问者：也就是说，更高的速度可能相当于为用户分配了更多算力资源，是吗？

回　答　者：主要是更好、更高级的资源和更多的时间片这2个维度。即使分配了高级资源，如果时间片太小也不行。这2个维度组合后，可以形成很多不同的套餐或分级服务。

提问者：AMD、AWS和OpenAI都与Cerebras合作，他们的合作动机是什么？他们只是想尝试一下，还是认为Cerebras确实具有潜力，所以才与其合作？

回　答　者：这一动机可以从多个维度来看。假如我知道一家第三方公司与我存在一定的竞争关系，并且其线上表现较好，那么通过合作，我可以更深入地了解它，更清楚地掌握其底牌。在此基础上，这些信息必然能够为我的产品改进提供参考价值。

另一个维度是纯商业层面的双赢。我的系统可能在某些工作负载上存在缺陷，例如延迟表现不佳。如果能够找到合作伙伴，在部分工作负载上实现优于单一系统的延迟表现，同时智能体应用对延迟又存在刚性需求，那么这种组合就可能形成双赢。

尤其是AMD，目前并没有这样的方案，与NV相比，其在这方面本身较弱。如果能够联合第三方，形成一套可以与NV竞争的系统，就能够实现双赢，并无不利之处。这是比较典型的2个维度。

原文转译

并自行承担投资风险。九千咨询不因使用本次内容所导致的任何损失承担任何责任。专家发言内容仅代表专家个人观点，不代表本公司观点。本次会议内容不得涉及国家保密信息、内幕信息、未公开重大信息、商业秘密、个人隐私。不得涉及可能引发不当炒作或股价异常波动的敏感信息。不得涉及影响社会或资本市场稳定的言论。未经九千咨询事前书面许可，任何机构或个人不得以任何形式复制、录音、刊载、转载、转发、引用本次会议内容。否则由此造成的一切后果及法律责任由该机构或个人承担。本公司保留追究其法律责任的权利。感谢您的理解和支持。

哎好的专家，那我们开始。就是，对，上次和您交流过，就这次的话，想就可能其中一些话题再稍微展开一下。一个就是，现在这个就是AI推理芯片异构解耦的趋势下，啊就是那那这个SRAM是不是做decode的这个最具确定性的技术路线？然后以及您怎么看，就其他的一些路线，像这个存内计算啊，存内处理啊，就CIM，PIM等等啊，就是嗯这个可以先请您讲解一下吗？啊谢谢。

嗯，好的。嗯，首先从哪说起呢？从，从简单的说吧。那PIM，CIM其实这概念也出现了，我印象中也好几年了，然后包括国内也有一些，国内国外吧，可能都有一些创业公司，或者说已经，有些公司可能也好几年了，一直在做这个事。但是从结果上看啊，其实，结果上其实也也有一些，这个怎么说呢，倒推看，倒推看吧，我觉得这，这两个方案都有一些限制。无论是PIM还是CIM，其实最大的限制就是它做不大。就是就是，它没没办法把算力还有这个容量，所谓的容量就是配套的这种SRAM的容量，它做不大。它做不大呢，它就，它就没办法满足一些比如说像数据中心为主的这个负载。因为目前AI其实大量的这个workload还是在云端，对吧？那其实这类芯片它就没，没办法进入云端的市场，它只能在可能一些边缘的，非常小的算力的一些场景下可能能落地，并且可能有一些计算啊功耗的这个优势。对，但是毕竟大的市场不在这。对，这这个是我对PIM，CIM的理解。那Cerebras这个芯片呢，只是说它挑战了这个在现有的工艺的这个这个条件下挑战了一下这个物理的极限。那那就是在单wafer里面把这个算力啊，SRAM啊尽可能的往上堆。那即使是这样，那它的这个算力以及SRAM的总容量相对于现在的这种大模型，它还是太小了。当然这个Cerebras还有一些系统级的一些创新啊，就是它多片的一些连接，那通过一个自己的一些这种连接的方式，它也能达到一个scale out的这种方式，就形成一种集群。啊，那也就是说把把一个GPU可能，我们我们打个比方，就是它这个GPU可能已经是跨 多多个大wafer的芯片，对。但是你扣了以后呢，其实还是受到一些总线的，这个互联的一些带宽的连接，就是它片内SRAM，那确实是访问速度非常快，那比HBM可能高数个数量级，对吧。但是你做scale out呢，你你你这个整个的bottleneck就是在于你最弱的那一块，就是你带宽最弱的那一块，而那个互联的带宽呢，其实也就是走着现有的这RDMA的一些这个连接，那也就受制于RDMA现有的一些性能的这个参数。所以从系统级来讲，虽然它scale了，但是这个会被拖后腿。

另外，另外这个Cerebras它本身呢，它只是一个计算加存储的一个单一芯片，对吧，那我们真真正正的一个计算系统其实还有这个CPU的调度，还有这个存储，就是多级存储，就是包括KV cache的存储，包括权重的存储。对，那这些存储呢，它是没办法放到这个Cerebras的那个SRAM里面去的。它还要借助于配套的系统内的专用的KV的，装KV cache的这个存储，以及放这个模型权重的。那像这两个子系统，其实基本上就是现在传统的这种以x86 CPU为核心的这种存储系统。或者说这种系统跟跟其他的这个和GPU配套的这种KV cache或者大量的这种缓存池的这种这种CPU的系统是没什么区别的。那那这两部分呢，其实也是属于整个IO角度看是偏这种IO慢的这种bottleneck。所以Cerebras这个芯片虽然挑战了这一些这种SRAM为核心的这种，怎么说，以围绕着SRAM做这个近存计算的这种系统，但是它在现有的这种大模型，大系统的这个这个条件下，我觉得那些条件其实并不会比一个纯GPGPU的这种大的rack系统有那么绝对的优势，因为bottleneck都是一样的，对。这是我大概的一个认识吧。

明白明白。明白，理解的。就是想请教一下，就是那那就是我们先如果不看Cerebras，就是在这个就是说做做，因为这个AI推理芯片会这个叫异构解耦嘛，就上次你也提到过，那么就是说您比方说这个做decode这个环节的话，是不是就是说现在的这些，或者说是不是SRAM这个，采用SRAM的这个技术路线是不是就是最最确定的，还是说，就首先就是想明确一下这个，就是先可能我们先还不不具体到这个Cerebras这个公司的话。

嗯嗯嗯。其实是这样，我可能再解释一下，刚才我讲了一些偏这种非常基础的，其实具体看就是首先PD分离上次我们聊了，确实是目前主流的方式，它能更好的把P和D这种两种不同的这种计算属性的节点给它分开。那在P和D节点呢，可以进行差异化的这个芯片，或者以及在差异化的配置来组合，对吧，那上次我们只是围绕着GPU啊，或者Groq啊，或者Cerebras也可能也提到了一点，但是没有没有展特别开。那这里面我们今天稍微细讲就就 Cerebras的芯片細講一下,因為它那個芯片最大也就是44,單芯片也就是44GB的SRAM對吧?但是我現在有很多agentic的這個workload,它都是非常長的那個上下文,就context非常大。那context非常大導致就是你KV cache就會很大,那KV cache它沒辦法全部放在SRAM裡。 就是說Cerebras如果要發揮decoding的這個SRAM的優勢,它的一個前提條件就是你的KV cache能夠盡可能的在SRAM裡面去緩存。 對,但是現在的context都是幾十K上百K,那那它應該是放不下的。 那放不下的話,單芯片放不下,即使是它現在可以擴展到所謂的2048個芯片,前面我也講了,那你2048個芯片其實是,可以44GB對吧?但問題是你一旦出芯片以後,你的那一部分的帶寬是受限於出芯片的這個網絡的RDMA的速度的。所以這些東西一下子就把這個SRAM的這個這個這個拖慢了。 就是你放不下,放不下的話比較現實的呢,你還是要回到這種傳統的DDR加CPU的這樣的一個KV cache的一個這個配套的一個系統。 那你每次計算的時候你還要從那邊去拷貝到你SRAM裡去。那又變成了一個IO,出芯片進芯片的一個IO的問題。那在這種長上下文下,其實Cerebras能夠起的這種通過SRAM進行加速它是有有限制的。 所以所以我覺得它的通用性不是很好,可能在一些小的,相對比較短的這個上下文裡面,它能夠充分的發揮SRAM的一個緩存或者進存的一個優勢。 但是一旦這個放不下,你的東西仍然要回到這種傳統的CPU加DDR的這個KV cache的系統裡,那我覺得它的優勢就沒那麼大了。 明白明白。 那那這個就是那這個挑戰它就是如果是我們去看Groq的話, 就是它它這個是它就會更小。 Groq會更小。 對。 現在有一個方式就是NV也在創造就是說它不是說把這個MOE或者decoder部分全放到這個這個Groq系統裡,而是把這個decoding的一部分這個attention的一部分再給它拆出來。 那那那它屬於在這個上面物理分離的基礎上又做了一次部分的一個小的分離,可能會會相對能夠發揮一些這種Groq的一些LPU的一些優勢。 對,它就加速的這個部分的會更小一些。 然後再充分利用有限的SRAM吧。 我覺得NV的這個思路是這樣的。那肯定比純粹的GPU,單一的這個GPU的系統,肯定是還是有一些在延遲上的一些優勢的。 OK。 明白,就是對,因為這個好像英偉達在那個GTC的時候有提過,就是他們是把decode裡面就是這個好像是FFN放放到了這個 對,attention FFN做AF,對,A FFN的一個分離。 您說,您說。 對對,就是你說的,就是把attention和FFN部分做這個分離。 做單獨的分離。 是是是。 對,那那好吧,那那就,是不是就是說我理解 就是，那如果是同样的类似的方法，就是如果是，你比方说，这个Cerebras...

Cerebras它也可以做，它也可以做。它也可以这么做。对，也可以。

OK。

对，但是这个方案我理解啊，就是首先Cerebras不能自己独立做。因为前面我们分析Cerebras可能它的优势只是在整个的一个模型的某些部分有比较好的加速优势，对不对？但是形成这样的一个系统，可能是应该是模型的部署方来决策的。就比如说OpenAI如果买了它芯片，那OpenAI我觉得它不可能就是说就一个模型纯用它一个系统，纯用它的Cerebras芯片，它应该是用Cerebras加比如说AMD或者甚至NV的芯片组成一个异构的系统。那在这个系统里面怎么合理的去利用这些芯片，怎么去分配，让什么芯片加速模型的哪一部分，这个是由他们来定的，我觉得Cerebras只是配合他们去做。对。

明白明白。好呀，那就下一个问题吧，就是，对，就是说这个异构解耦的话，因为我们有也有看就是说你看它那个就是一些访谈里面有提到就是，这个后面是不是还会有一些更加的细分，就刚刚也提到像decode可以再分成attention和这个FFN，然后就是你像就Cerebras它这个CTO的访谈里面它还有提到，就是还有一些什么，就是这个可能加载这个KV cache啊，然后做attention啊，然后然后把这个experts就是可能可能分散到不同的这个硬件上面去啊等等，就是这里面就是说异构解耦除了，就是它还能够再进一步的解耦吗？就是它还会能还能够去拆分到更多更细分的环节吗？

呃，我觉得不会那么那么，其实已经刚才讲了，已经细分到好几个部分了，我刚才说了KV cache是一个子系统。然后那个模型权重也是一个外挂的DDR加这种Flash的系统。对，这两个系统都是x86的一个子系统。然后才是Cerebras自己的那个那个那个那个CS-3的那个系统。这些系统会放在一个rack里，而CS-3本身只是个计算，它的调度仍然是要配合这个x86做机头的。所以是x86加它的wafer组成了一个CS-3的一个CS-3的子系统。对，那就是三个子系统。这已经细分的蛮多了，而这个子系统之间还有一些这种IO的一些转换传输，它要配合一些FPGA的这个这个接口板去完成。包括它那个wafer和这个x86进行互联，它也是个x86就PCIe总线的一个延伸。那这个，但是这个这个系统变成了一个跨跨机器的连接，那这个中间还有一个FPGA做这个PCIe的一个转接的互联。那如果这么分的话，这已经是蛮复杂的一个系统。对，不仅仅是我们前面介绍的从计算的角度啊，还考虑到这种不同的总线之间的转换、传输、存储。对。我觉得这已经是一个目前比较完整的一种解耦了。那至于说把计算，就刚才这个计算里面能不能再解耦，我不清楚，我觉得你理论上是可以解耦的。 但这个系统会带来更更复杂的更多的复杂度，值不值得这么做啊，我觉得是是我是比较保留态度的，就是系统不能无限的那么那么拆，对，嗯。

OK，好的好的。行，好，那下一个问题就是，AMD为什么收购了这个，就是Talas？就是这个收购这个Talas是要解决什么问题啊？或者以及就是收购之后是能够提升AMD的自己的一些产品吗？还是就这个这个目的，然后后面这个后续的发展目标是什么？

嗯，这个我完全是个人的观点，我必须强调一下。我觉得分这么几个维度啊，这是个人观点，纯个人观点。首先我觉得从市场或者说为这种投资方做一个交代，这个不完全是纯技术我想说的，就是非技术的因素有，就是NV有对吧，那个Cerebras也在做某一部分的加速，但Cerebras毕竟是一个另外一个公司。AMD来讲，那如果想去去去把这个所谓的decoding或者说低延迟的一些问题去解决，它需要找到一个什么方案。那至少目前看纯GPU可能在这方面单一的一个架构呢，可能不能完善，不能完成这个这个这个这个decoding部分的一些加速，对吧。特别是对AMD来讲，这个问题会更严重，因为NV它在买LPU之前，它还提到了一个CPX的这个这个这个方案对吧，就是它有消费类的GPU去做decoding，对吧，然后配合那个这个这个顶级的数字中心形成一个异构。就这种层面的方案其实AMD也没有，因为AMD虽然有有Radeon的GPU，就是消费类的GPU，但是它那个消费类的GPU如果跟NV的一些这种高端的消费类的GPU来比，我觉得那个算力啊带宽还是有很大差距的，它没法用Radeon来解决。对，那那也就是对AMD来讲是更缺了，就完全没有一个方案。那那我觉得它急需要有一个这样的一个方案，至少在投资或者说在一些表面化的层面啊，去去有一个交代，对这个市场也交代。好，这是非技术因素，对。其实在收购这个之前，我个人还有一些想法，就是AMD之前收购过赛灵思对吧，那赛灵思有FPGA技术，其实FPGA这个芯片其实是可以在可能MOE啊或者decoding阶段是有可能有有有空间的，因为有很多技术上的尝试啊，就是在一些小模型上，就纯粹的用这种硬件按照计算流的方式，用FPGA去实现一些加速的。那FPGA片上也有一些SRAM的这种资源，类似SRAM的资源，就是计算和那个RAM是非常近的。它其实是，再加上它可以高度的定制化，其实是理论上也能做出类似的这种那部分的一些加速，但是我也没想到它干脆收购了那个这家公司啊。当然这家公司其实也是跟AMD有一些渊源的，一些员工出去嘛，出去创业的。可能相对来说它那个方案在成熟度会高一些，FPGA可能要做的话可能工作量 量啊，呃，嗯，時間週期會更長一些，所以，呃，還是那句話，就是，呃，非技術的一個因素是有的。那在技術上來講，我其實我也不知道，嗯，就是，呃，我我沒看到過就是它在系統級，特別是一個大的系統裡去證明過，呃，一個一個比較大的模型的這個整個的系統,它只是證明了可能在，呃，小模型上它單片的方式去去完成一個很好的一個，呃，加速，對吧？那和它成為一個大的系統專門為decoding或者說FFN去加速，這個東西，呃，至少在系統集成上還沒有做到。也許它理論上從，呃，技術角度來講是可以做的。但是畢竟我覺得，呃，在系統級別還需要一些時間來完成。對，完成。嗯，呃，在就兩個維度吧，就是一個是非技術的，我覺得需要在這個時間點需要給資本市場一個交代。哈，你要快速的用收購的方式，呃，所謂的補齊一個一個相對的弱點，對吧？呃，那技術上呢也有一定的可行性。但是，呃，第三點就是，呃，真正的集成，呃，有一些系統性的參數還得往後看。對。嗯。

嗯。

OK，就是，呃，您就是說現，可不可以理解為就是現在還，嗯，就是還還看不出來就是收購了它之後，呃，就是AMD的相有有什麼產品它是得到了，呃，哪些效率的提升什麼的，是是這麼理解嗎？

對，這個實質結果肯定還沒有，因為這個集成，呃，我覺得還有很多路要走。為什麼？你可以有以這個Cerebras去看啊，那假設這個方案進來，對吧，那它一定是一個獨立的子系統。那這個獨立的子系統，以什麼樣的方式去連到，呃，這個這個大的系統裡？這個大的系統包括，呃，GPU對吧，就是MI Instinct系列對吧，它可能承擔的是prefill階段。那你如果把這個芯片當作decoding階段或者decoding的某一部分FFN的加速，你這個之間的一些互聯的方案一定要有，對吧？那它之前它只是證明了它是一個，呃，如果這個這個這個芯片能夠把一個小模型單一放進去，呃，它能很好加速。但是如果，呃，單一芯片放不下，對吧，它還要跟其他的系統進行一些交互，那這些互聯的技術方案，你必須這個接口啊這些設計，呃，就是硬件設計都得都得補進來。對吧？你補進來以後還有軟件的一些軟件棧的東西。那我什麼樣的軟件棧，呃，那在現有的比如說哪怕是vLLM或者SGLang已經有PD分離的方案了，但是畢竟沒有這個芯片的一個適配。那這個芯片的這些軟件棧的集成以及以PD分離或者FFN的加速，怎麼加到這個framework，軟件的framework也需要有工作量。所以軟硬件都蠻有很多工作要去做的。對。所以看上去你快速的補齊了一個，呃，芯片技術，但是到系統集成那還有一些gap要走。但是這裡面還有一個就是，呃，有一個好處我覺得可能能相對比較快速的影響AMD就是，呃，呃，它的一些設計的方式思想，對吧？呃，這個東西可能能夠快速的消化。那不排除還有一種路子啊，就是，呃，就是，呃，把這些設計的一些更底層的一些技術直接到放到未來的這個Instinct系列裡面去設計，對吧？去去把這個設計吸收了。變成了Instinct 这个本身那些架构演进，这个可能也也有可能，对，也有可能，对。这是我完全个人的一些猜测啊，对，想法。

明白明白，嗯，明白，这个听上去非常合逻辑。哎，明白明白。

嗯。

呃，好。呃，然后，嗯，哎，我我接下来就是说，我不知道您了不了解，就是像这些现在这种市场上市场上所谓的这种就是快速推理的这个就是厂商嘛，啊，就是像这个Cerebras和Groq，啊，包包括这个Tenstorrent。就是就是您了不了解他们这个大概的一些目标啊，他们发展目标，他们的这个roadmap。呃，比方说他们有没有大概是怎么样的，您比方说像可能现在呀，然后到明年后年什么到30年等等之类的，就是他大概他们是要实现比方说多少tokens每秒啊，还是说能够支持多少模型啊，或者是能够支持什么样的多大的模型啊，啊，然后能够达到多少的这个吞吐量啊等等，就是就是这块您有没有一些了解或者是或者是推测？

哦，首先我不了解。嘿，那个，嗯，推测我觉得还是受制于大的制程的一些影响吧，就是呃所谓的制程，呃它背后对应着呃算力、带宽，对吧，你你你下一代的架构能做到什么，我觉得会受到这些工艺的一些物理限制。你你你你你推测吧，我觉得爆炸性的飞跃性的不太可能，都会受制于这些限制。对，我大概就这么些想法，嗯。

OK，OK，好的好的。好，那那接下去就是，呃，因因为这个AMD和Cerebras也有合作啊，就是两个公司都有披露过，嗯，然后这个合作里面就是这个公开信息里面就是说是这个是Cerebras去相当于去买AMD的这个Helios这个这个机柜，相当于是Cerebras来主导，啊，就是说这个合作里面为什么不是AMD来主导？就类似像啊就是英伟达去去去主导这个和Groq的这个这个这个就是配套类似这样的。

这个首先我我我确定消息从哪来，我没有或者我没有看到过谁主导谁主导这种说法。对，但我觉得无论谁主导，其实核心就是大家要配合去把这个这个这个这个系统呃做好，那系统肯定是要达到一个比纯GPU呃的方案要更更好的性能的这个目标，对吧，这个目标不会变。那达成这个目标一定是两家去合作的。对，当然如果有这种说法啊，我首先我不知道这个说法，但是如果这个说法可能有一定可信性的话，我觉得可能有一个这这么个原因，就是Helios呢，就是AMD的GPU方案首先是全开源的，开源开放的，它有呃很好的呃可定制化的能力，这个可定制化的能力甚至可能并不太需要AMD的投入，呃别家就可以做。但是反过来讲，Cerebras的软件栈就你也没有看过它开源开放，对吧？那呃Cerebras真要是AMD主导，Cerebras愿不愿意把这些东西开放给AMD，我觉得这个存在一些IP的一些问题。那反过来就就可能容易很多。就是呃AMD这些东西开源都开放的，其实也没有太多IP的这个这个这个这个担心，那反过来由Cerebras去去去做可能更容易一些。而且Cerebras之前的方案就是刚才我们前面一开始就分析了，它很多它的那个子系统，有两个子系统都是x86为主的子系统，它 已经有很多实践经验了，他去从技术上主导这个东西也没 sense。就纯技术的角度来讲也没 sense，从 IP 保护的角度来讲也没 sense，但反过来可能有些东西讲不通。这是我的一个推测吧。理解，理解，我觉得有道理。就这个信心应该是可以确认的，就是说他们的合作里面应该是 Cerebras 是相当于是主导的，这个是可以确认的。那就是，我不知道您了解，您像这种就是不管是这种结偶的推理里面，就是不管是英伟达和这个 Groq，还是这个可能未来 AMD 和 Cerebras，就是它这个，比方说 GPU 和这个负责 decode 的这个 ASIC，它们这里面的互联的话，它是怎么互联？这个互联会成为瓶颈吗？然后这个互联，你比方说它可能它的速率啊，什么带宽之类的，可能是怎么样的？这个您了解吗？特别的参数我记不起来，但是其实前面也讲了，你拿那个 Samba 刚才分析就可以套过来。其实目前现在比较通用的互联其实就是以 RDMA 为基础的互联。那 RDMA 现在能做到就是一些相应的这种网卡做到什么样的带宽，那整个系统的这个带宽的瓶颈可能就在这里。对，那主流的方案无非就是博通，对吧？当然 Marvell 可能也有，然后 AMD 自己马上 Helios 里面也会有自己的那个 Pensando。这些你都可以很容易查到那个。 呃，但不管怎么样，整个系统的那个最低的那个带宽可能就在这块。对，大量的系统之间的 IO 调用系统是相对比较通用的接口，或者这种接口标准或者总线标准就传输。对。OK，OK。好的好的。那个，那接下来我同事再问一些问题。尊敬的，你好。就是我在看到网上的那个，就是英伟达那个 Grok，它推新推出那个 LPU，它做了很多测试，但是它那些测试都是基于百亿级的模型，是不是代表着它这个 LPU 很难做到千亿或者万亿级的模型上面？就是还没有看到这样的公开信息。对，其实还是核心它的那个 SRAM 太小了。对，SRAM 小了，你要跑一个大模型就要有多个芯片变成一个阵列之类的，对吧？那一旦阵列出现了，那你就要通过一些互联的方式，就是跨芯片的互联或者跨 rack 的互联。那个互联的技术其实和 GPU 整个系统的那个互联的技术是类似的。那 SRAM 那些优势就因为那个 bottleneck 就被拉下来了，它就体现不出它的优势，反而另外它可能还有成本的一些劣势。明白。那就是这个英伟达它做这个跟 Grok 合作这个策略，是不是也就代表着它占它的整个市场份额就是很少的一部分？就是照这么说的话。不好说，因为现在 NV 还没有公布出整个大系统的一些参数来，我觉得…… 呃，他首先想尽可能在系统上把LPU的优势发挥出来吧。那现在能看到的就PT分离或者FFN，那即使大的技术方向在这儿，它仍然是没有可能调出来一个非常有吸引力的性能，否则NV肯定会公布的。对，他只是努力吧。 能不能做到，还得往前看。那一旦做到了，我觉得就会……怎么说呢，可能在一些特别讲究延迟的一些场景上会布这种混合方案吧。那一般性的可能相对比较通用的方案，不一定会采取这种异构的方式，因为异构的方式LPU也不一定有有多么绝对的TCO的优势。对。

明白明白。就是我还看到一些就是一般，就是很多现在厂商啊，他自研了一些芯片，就是一个芯片用于，也是就是自研芯片用于PD分离的，自研一些ASIC，就比如说那个谷歌的那个TPU v8i，他把那个片上的SRAM容量增加到了380兆，用用这种方法来加速推理。然后，然后他把那个HBM呢，就是他也加大了。就是是不是就是在专用芯片上加大SRAM或者是HBM，就是这种模式是更合理的？就是您觉得这个未来是是是Cerebras这种，比如说从依赖外部厂商的，比如说依赖Groq，依赖Cerebras这样合理，还是说我们自研芯片，然后自己加大一些SRAM，然后通过，因为云厂商他们有自己的一些信息啊，他自己去自研芯片，这个是未来的趋势，还是说还是大家用通用的，用NVIDIA这样的卡，这这个是个趋势？您觉得这三种在推理上哪一种是未来的主流趋势？

我觉得看是谁家。对，首先你要有自研芯片，你得有自研芯片的实力，这个实力包括你的用量，你的这个资金投入，对吧，你的技术能力，这个只有大厂可能做到。那非大厂的话大概率还得用NV或者AMD的这种方案，就是相对通用方案，你买来就就在软件上做一些事情就OK了。但是一旦有硬件的定制化的能力，我觉得ASIC去去去发挥一些自己架构可定义的这种设计优势，它反而可能能做出一个比比如说NV或者AMD通过外挂一个异构芯片可能会更高效。对。

明白明白。

不知道有没有回答你问题啊，包括OpenAI也在做芯片。

我觉得回答挺全面的。明白。您继续讲。

对，OpenAI在做芯片已经有一些苗头了，就是它更进一步了，它可能用AI的技术让这个单一芯片，它现在还没有异构对吧，它现在公布的是单一一个芯片，就能把P和D都能够做得很好。那它可能在设计上会更更有定制化的能够发挥。对，当然不排除它后面像把P和D变成一个衍生出两个子系统。对。

明白，那您的意思就是说一些有有自己有这个资金能力的，然后有这些资源的可能会趋近于专用芯片，然后那些比较小的没有自研能力的还是用NV和AMD的卡。

对，对。而且这个设计不仅仅是芯片芯片的问题，还有你的系统集成能力，对吧。

对对对。我还有一个问题专家，就是就是比如说目前啊，那个Cerebras它一个单片的速度肯定是比这个NV的或者说AMD的单片的速度快。那就是我们在网上看到一种说法，就是比如说像谷歌，它用四个TPU或者是NVIDIA它用多张卡，它能不能就赶上这个Cerebras一张片子的速度？就是因为就是即使是NV啊或者是AMD它或者是谷歌的TPU它多几张卡。

不会。不会。因为假设我们要有一些前提啊，就是假设某一个模型在单的Cerebras芯片可以部署的话，你用多张去拼 你你你你听不出它的那个绝对速度的，因为那个SRAM就是在数量级的一些这个优势，它一定会在decoding阶段它会有优势的，而我们整个的目前的模型来讲，其实更多的瓶颈在于decoding嘛，就是你一个字一个字吐，那那个东西就是SRAM就是有绝对优势，但这个前提条件是你只能在单一芯片上放进去，对吧？如果你单一芯片放不进去，那又回到了Ethernet，RDMA这种东西了。

哦明白，那假设比如说就单就是因为目前肯定说大模型肯定还是放在多个芯片上面的嘛，我就是举个例子，比如说像因为就是Cerebras它部署在一个部署了一个大模型，然后它的token是2000 token每秒，然后呢，然后呢AMD或者是英伟达它部署了之后它是100 tokens每秒，那这个时候能不能再通过比如说增加卡的数量，或者是说谷歌不管是谷歌还是英伟达就增加卡，它把本来的卡的数量翻倍或者是说翻得更多，能够提升它的这个输出速度，可能它追不上这个Cerebras，但是它能不能就是给自己翻倍或者是给自己翻个三四倍啊这样的？这这个...

如果自己跟自己比的话，这不就是我们做PD分离的原因嘛。对吧，那PD分离其实就想通过scale的方式能够达到更高的吞吐甚至在延迟上也有优势嘛。对。你说翻数倍，我觉得数量级的倍数我觉得要要case by case看吧，因为你一旦分得越多，其实在就是all reduce啊这种多芯片的这种集合通讯上又会出现一些代价，那个东西又又把这一些一些收益又拉回去了。所以有收益，但是对不会有那么质的飞跃的，对。

哦明白明白，就是然后那个Cerebras呢我看它未来有个方案是把这个DRAM混合键合到这个SRAM里面，您觉得它这样话能不能解决它这个容量的问题呢？您觉得这个方案可行性咋样？

你说把什么键合到SRAM？

把把DRAM，把把DRAM混合键合到现在的SRAM片上。

这不就是现在类似3D堆叠的一些技术嘛。对吧，那在成本，在成本和容量上找一些突破嘛，就是SRAM因为受工艺的提升它的幅度很小，那堆叠可能是一个相对可行的方案吧，对。

哦明白，那我还有个问题请教您，就是比如说未来嘛它这个光互联它更来更加先进啊，就是从现在的光模块演变到最后的CPU，那它这种光互联越来越还有什么麦威尔它不是要做一些什么光就是光存储嘛，就是说等于说是直接从GPU的或者它的侧边用光纤连到一个远端的一个一些HBM上面，那这些能不能解决这些带宽问题啊，就是比如说现在片内带宽...

肯定能提升，肯定能提升，它它就是解决现在可能用现在的连接方式相对于现在的HBM和GPU的连接方式的速度的限制。对，那一定会因为光互联的速度成倍的提升的。对。

那那假设光互联的这个技术提升，那Cerebras像这些公司，就是用SRAM这种策略的公司，他们其实不就会更受损嘛，就是会就是就没有那么有效了。

我觉得我觉得对光互联会更有潜力。对这个比较容易scale就是上量。 吧，就是對，它它一旦把這個互聯解決了，那其實理論上你的那個HBM的池就會成數倍的增加，對吧？遠遠比你SRAM，對，增加的要容易。

就是其實他們解決的是相近的問題對吧？

對，都是解決IO的問題，把那個IO在decoding階段更好的解決，那你的這個延遲就就會就會有大幅的提高。

嗯，明白。

而且而且同時能滿足長上下文的這種使用workload，因為現在越來越多的agent的工作都是非常長的上下文。SRAM我總覺得解決不好這個問題。即使它用3D堆疊去加DRAM，那個也是有限的，因為你3D堆疊對吧，你你仍然受封裝啊、散熱啊、功耗啊這些影響。光互聯它不存在這個問題，因為它兩個系統有各自解決各自的這種散熱啊什麼的，都都比較好解決。但是速度又又很快。對吧，我覺得那個會更更穩妥一些吧，一旦光互聯拉通以後。對。

明白。那然後專家我還有一個問題，就是比如說，就是我們當時看到這個GPT-5.6當時跟這個Cerebras是深度合作的嘛，然後現在發了新模型跟Cerebras好像都沒什麼合作，您知道您覺得這個原因是什麼呢？

首先之前的合作我也不清楚它陷進在哪個什麼樣的模型上，對吧？那那現在沒合作，我覺得就是Cerebras我們前面剛才討論了很多限制，我覺得那個SRAM的一個一個一個能能這個容量始終是一個天然的瓶頸，無法，就是是個缺陷吧，我覺得它只是只是用這種代價去換，但仍然是它這個roofline很低。對。

明白明白。

啊，對。

專家我還有一個問題，就是未來其實就是我覺得我感覺不只是這個硬一個光硬件的競爭嘛，應該是整個這個生態的競爭，不光是硬件啊、軟件棧啊，還有比如說像像OpenAI它這種有自己大模型的，它是整個生態的競爭。那那其實是不是您覺得在未來這種生態的競爭中，就是像他們會不會比如說像這些OpenAI他們用自己的芯片，他們會把速度做得越來越快，也許他們不能超過Cerebras的速度，但是它它會不會就是他們因為Cerebras也在迭代嘛，Cerebras它它目前它因為它比較初級，它可能它的潛力也比較大。但是呢，像那些專用芯片呢，它它它因為它有它有自己資源的優勢，那它可能它它進步也很快。您覺得這就是在這種兩者動態競爭的模式下，哪一種可能會就是進步更快啊？

我更看好OpenAI。因為OpenAI對這個整個workload的理解會更深一些。對，它是真正部署大模型的，它在GPU，純GPU的方案上已經積累了很多工程的經驗，以及非常了解workload在GPU上的一些限制。那它針對性的去解決這個問題會更容易一些。而Cerebras我覺得首先它在SRAM的路線上，我從硬件層面我總覺得它它的前景是有限的吧，從目前看啊。再加上它對系統、軟件系統的這個這個理解就更有限了。那OpenAI無論在訓練和推理上，它是有大量的部署經驗的，這個這個是Cerebras不具備的。所以長期看，至少目前我對Cerebras我覺得我看不了太太遠。對。 明白，明白，明白。除非它做差异化，比如说就专门做一些小一点的模型，就不要去挑战现在越来越大的模型。它是不是回到相对中小一点的模型，在一个比较小的系统或者单芯片上就能部署，然后发挥它的绝对的优势，我觉得倒是一条路。因为现在的模型并不说我整个这个数据中心只部署最大的 GPU 6，对不对？完全可以用小的模型去解决小的问题。而且现在的小模型，随着这个训练的技术提高，像这种比如说千问3、Next Mesh，对吧？其实在通过量化 128GB 这样的 size，在某些任务上已经很好，对吧？那它如果聚焦在这块儿，也未尝不可，我觉得也有自己的市场。数据中心大任务有大系统，小任务小系统。对，就看他们愿不愿意这么去做了，还是回到自己擅长的部署的那个模型上去。对。谢谢专家，感觉您的回答非常详细。何老师，您还有什么问题吗？我再请教几个问题。那专家，就是刚才讲到的这种对 Cerebras 的这个局限，就是它对于这个 Groq 它成立吗？Groq 会更弱一些，因为 Groq 其实没有发挥出那种打 wafer 的这种极限，对不对？我们抛开成本不说，因为成本我也不知道，理论上成本 RPU 会有一些成本优势，对吧？因为 wafer 那么大，两平率八一说，对吧？但纯粹的性能上，Cerebras 会更好一些。它毕竟把做得那么大，那我放哪怕中小模型，我…… 用的芯片说了，连十元小于RPU，RPU能单芯片的模型又更小，那跨芯片的这种方式，可能这种系统的方式可能还没有 Cebra 这么成熟。对，或者另外它已经被 NV 收购了，那 NV 对 RPU 的这个决策是怎么样？我觉得首先 NV 不会单独去发展 RPU 了，它一定把 RPU 当做它整个系统的一个部分，在这个部分里 RPU 去极限地发挥它的作用，这也会制约着 RPU 后续的一些演进，但 Cebra 不会有这样的限制。对。嗯。好，明白。呃，反正您就是有没有了解到一些可能就是更初创的一些、更小一点的美国的一些就是 ASIC 公司，像这种像那什么 SambaNova，然后 DMatrix，还有那个 Etched，就是当然这个我事先没给您发这个问题清单哈，就是我不知道您这些比较可能更加就是可能偏创业公司属性的这些美国的这些 ASIC 公司，您有没有一些了解？我听过一些 Cebra，但我觉得在现在的趋势下，它们能出来、走出来的可能性越来越小了。对，因为像 OpenAI 这么大的一个用户，人家都自研了，对吧？还有那么多优势，对吧？那刚才我说的优势对于这些家比较起来都存在，那它们的出路在哪里呢？我看不到技术上的出路。 对，然后这个门槛又那么高，他们可能没有办法去……去在这个牌桌上吧。对，你得有人用啊，对吧？特别是在这种大系统的情况下，没用。 唯一的出路就回到一些edge，edge端就是它只做小系统。对，如果如果他们这么定位，也许在edge端，因为edge端毕竟是非常多样化的垂直市场嘛。如果他们回到这种小范围内，也许呢反而能找到一些位置。但是你说进入这种数据中心，我觉得他们的这个希望不大。

OK，好的好的。明白。我再问一个可能就是技术上的比较general的问题，就是就是就是就是说这个市场上行业里面还是有一些那种就是做推理优化的公司啊，像那个就是Fireworks啊，Together AI，包括那个Nebius也能做一些。就是我想请教您就是它这个就是说它它这个推理优化好像就是说它可能就是纯粹的通过一些可能可能偏软件的这种优化呀、调度啊，就能够实现比方说tokens per second的这种提升。就是通常来说这种纯这种可能纯软件方面的一些优化，它能够提升多少这个速度啊？就是它能够把这个tokens per second它能够就是能够提升多少？提升多少百分比啊或者提升几倍？

我觉得首先几倍不可能，而且他们的这些提升这个百分比，比如说前几年，我数据没有啊，我我还没调过这个数据，但假设啊，就是比如说三年前，他们做这块还是一些专家，可能在已有的方案上通过他们的软件方案能够提升百分之三十几十的提高，对吧？我觉得几年前才能才能体现出他这个价值了。但是现在GPT-5之后，GPT-6出后之后，你发现最近有很多项目，我直接用agent就可以去做非常好的优化了。那也就是说优化的这个门槛降低了。那降低了导致什么东西呢？就是这些公司的这个生存条件就不存在了。那AMD自己跑agent，他又对自己硬件很了解，然后加上自己的一些知识库，就是因为AMD内部有一些工程师，他积累的一些优化的经验会被skill化，会变成一个这种知识库。那再把它工具化，那就非常好的能够自动化自己优化。那也就是说对于AMD的出厂的性能来讲，就不像几年前AMD那时候这种优化能力很弱对吧？那那他的出厂性能就很差，然后给到这样的一些专门做软件优化的公司的一些空间去体现他们的价值。但是放到今年，可能AMD通过这个一个新模型一来，把agent这个knowledge知识库一用，可能短短几周他自己就能跑出很好的性能。然后其他任何一个玩家可能可能特别是一些使用方，像OpenAI使用方，他也有自己的模型，又有很多丰富的这种部署经验，他那边也有自己的一些知识库，他自己也做了很多算子或者系统的优化，他的知识库然后拿过来，在他部署的时候又又又能自动化的优化。那我觉得刚才说那些公司的价值就越来越小了。这个价值如果体现在所谓的百分率上，比如说他们拿到一个基线再去打到一个很高的优化，我觉得会会会很小。因为以前可能是60分出厂，他做80分是有空间的，现在可能一个出厂 厂家一出来就是80分90分，你让90分再往100分做，空间非常小。对，我不知道有没有回答你的问题啊，就是对，从数优化的数值，绝对数来讲和他们存在的空间，我觉得都出现问题了。

对，我自己就最近在优化，我我其实我我我不擅长这种算子级的优化，但我最近用一些很开源的一些知识库或者专门做优化的项目，然后把这些东西丢给大模型，然后指引它去针对特定模型去优化，就能取得非常好的优化的提高。就是这个人人都可以做了，就是或者说很多人可以做了。那你想想这个门槛就变低了嘛，他们商业价值就...

OK。

哦，明白明白。我再请教一下就是，那，就是最近像那个OpenAI他们发了这个GPT-4o，然后就他有说到，他们有有有更新这个叫做ultra fast的这种就是高速推理的模式，然后说就是这个，就是这个速度是他们讲是标准版的八倍，就是这个速度达到了300 tokens每秒。嗯，就是这种，他所谓这种八倍的速，八倍的速度这个是，那他可能是通过一些什么方式去去提升八倍的？

嗯，其实有很多种手段啊，第一个就是可能比如说结合这种Cerebras芯片对吧，它它这个在系统方案上就比纯GPU的这个速度就纯硬件的速度就有差异。对吧，那它针对这种ultra fast，它可能分配的这个硬件资源就就是不一样的，硬件的这个背后的系统就不一样。这是一个维度。第二个维度就是哪怕我都用纯粹的GPU，我们假设背后的这个硬件系统是一样的，但是我我我通过这个分配资源，响应资源是在调度方面的，纯软件调度方面的，我给ultra fast的用户我我有更高的优先级去调度，更多的给它调度，分给它的时间片更多，它自然的响应速度也快。那把两者一也可以结合起来，就形成这种差异化。简单讲就是极限情况下，比如说我这个GPU就是独占，一个人用。对吧，但互联网很多时候都是切切片的对吧，我可以切成10片，也可以切成100片，那响应速度就是不一样的。是吧。

嗯，明白。

哦，明白明白，OK。啊，就，嗯，就是说以及就是说它可能是这种更高的速度可能是分，也相当于给这个用户分配了这个更多的这个就是算力资源是不是？

更好的更高级的资源和更更多的时间片，我觉得就主要是这两个维度。对吧，你分高级了，如果时间片分得太小也不行。是吧，那两个一组合就可以组合出很多所谓的套餐啊或者对吧，分级的这种服务嘛。嗯。

OK。

好，好的好的。那行，那我看看，我感觉差不多，我们这边问题都差不多都问到了。我看一下。嗯，我这边还有可能这个是别的产业链上的问题，这可能...嗯，那那行，那也差不多，专家啊，那我们反正这个问题也都也都，后面...

我再问一个问题吧，我再追问一个问题，啊有一个啊。专家我想问一下，就是那您觉得这个比如说像AMD啊，像AWS啊，还有这个OpenAI，他们都跟Cerebras合作，他们这个他们这个合作的动机是什么呢？比如他们是就想比如说就想尝试一下呢，还是觉得它这个真的有潜力，所以才跟它合作啊？ 这个动机应该多维度都有吧，假设，呃，假如我这我我知道一个第三方公司跟我有一定的竞争关系，它又线上它的特别好，那我通过合作的方式我是不是能够更了解它？它的底牌我是不是看得会更清楚些？对吧？那看清楚了以后对我的产品有没有改进的价值，我觉得肯定有。对吧？第二个就是说纯business也也可能变成双赢，对吧？就是我自己的系统可能在某些workload上我就是有有缺陷，比如说延迟上就是做不好，那如果我能找到一个partner，我我确实是能在一些workload上达到比自己的纯单一系统有更好的这种延迟，而且这个又是这种agentic对延迟这种刚需又存在，那那形成这种组合的双赢方向也OK，特别是像AMD，它又没有这样的方案，它跟NV比在这方面本身就弱，那如果能够联合一个第三方形成一个可以跟NV PK的一个系统，达成一个双赢，这个这个也没有什么坏处。对吧？啊，我觉得两种维度吧，啊，比较典型的。

好，啊，明白，谢谢专家，啊，我没问题了。

哎，好的好的，那行，谢谢，感谢感谢，那个后面我们有那个有问题再找您请教。哎，谢谢。

啊，谢谢，嗯，拜拜。

啊，OK，好好，拜拜。