2026.09.23 | 9K | AMD | AMD Channel Check

音频信息

音频标题: 260923 - Merit AMD近况调研

相关标的：undefined

议题：

完整音频链接：

音频纪要总结

专家访谈会议纪要

1. 集群架构与MoE模型部署方案

a) 上述集群运行方案是否可行，系统应如何进一步降本？

• 单一方案难以兼顾性能与成本，更可行的方式是采用组合式架构

• 即使单个模型规模很大，如果芯片出货量不足，制造成本仍会维持高位

• 大芯片本身面临良率提升困难的问题，芯片面积越大，制造成本和良率压力通常越突出

• 当前自身方案的成本优化空间已经较为有限，可以将部分P节点替换为其他厂商的芯片，由异构芯片承担部分工作

• 通过不同类型芯片协同，可以降低整个系统的综合成本，而不是继续单纯压缩单颗大芯片的成本

b) MoE模型的Expert能否放入SRAM，以发挥片上存储优势？

• 该方案能够充分发挥SRAM低延迟、高带宽的特点

• MoE大模型由多个Expert组成，每个Expert可以视为相对独立的小模型

• 对于规模较小的Expert，可以将其权重直接放入SRAM，并在芯片内部完成主要计算

• 在理想情况下，数据仅需在输入和输出阶段进行交换，即“1次输入、1次输出”

• 与频繁访问外部存储相比，该方式可以显著减少数据搬运，也能避免通过CPU和DDR反复交换数据所产生的数量级延迟

• 这一方案尤其适用于Expert权重较小、能够完整或大部分装入片上SRAM的场景

c) 将大模型拆分并分配到不同芯片，属于硬件还是软件工作？

• 主要属于部署及软件层面的工作

• 软件需要将一个大模型拆分，并决定不同模型模块或Expert应当分配到哪些芯片

• 如果按照Expert进行拆分，可以将不同Expert分别部署在对应芯片中

• 例如，一个模型包含256个、每个规模约1亿参数的Expert，理论上可以使用256颗芯片分别承载

• 实际部署时可以采用传统的张量并行（TP）等并行方式，对模型进行拆分和组合

2. SRAM容量、模型权重与KV Cache配置

a) 44GB SRAM在推理服务中主要存放什么？

• SRAM主要用于存放模型权重

• 完整的KV Cache通常无法全部放入SRAM，因为其容量需求较大，可能仍需放置在GPU端或其他外部存储中

• 在实际计算过程中，芯片仍可能需要读取一部分KV Cache

• 因此，SRAM不能全部用于模型权重，通常需要划分为以下几部分：

1. 模型权重

1. 计算中间值和中间缓存

1. 当前计算所需的部分KV Cache

• 芯片完成计算后，再将结果输出至系统其他部分

b) SRAM容量与可容纳模型参数量之间是什么关系？

• 若只考虑模型权重，并采用FP8格式，可以进行近似换算：

1. 1GB SRAM大致对应10亿参数，即1B参数

1. 40GB SRAM理论上大致可以存放40B模型的FP8权重

• 但实际可部署的模型规模会小于理论值

• 原因是部分SRAM必须预留给计算中间值、中间缓存以及需要读取的部分KV Cache

• 因此，40GB SRAM并不意味着能够完整、高效地部署40B模型，实际容量需要根据工作负载和缓存需求折减

c) KV Cache和权重量化能够带来多大容量改善？

• KV Cache进行FP8量化后可以明显缩小存储尺寸

• 未经压缩的模型权重可能采用FP32格式，而当前推理场景中FP8已经得到较充分验证

• 主流推理工作负载基本可以采用FP8，部分场景还可以尝试FP6或FP4

• 不同量化精度的效果如下：

1. FP8：相较FP16显著降低容量需求，精度损失通常较小，是当前较成熟的选择

1. FP4：可以进一步压缩容量，但更适合模型中的部分层，需要采用混合精度量化

1. FP2或2 bit定点量化：目前实用性有限，容易造成较大的精度损失

• 即使采用混合精度，在部分工作负载和长上下文处理场景中，仍可能明显感受到精度下降

• 软件量化可以缓解SRAM容量不足，但无法从根本上解决片上存储容量的物理限制

3. Cerebras技术路线与长期发展前景

a) 如何评价Cerebras的大晶圆级SRAM路线？

• 对其长期发展前景持相对谨慎态度

• 核心限制在于，SRAM容量无法像计算能力一样随着制程升级而快速增长

• 即使从5纳米演进到3纳米，在相同面积下，SRAM容量也难以实现数倍提升

• SRAM的结构决定了其密度改善幅度有限，无法像计算单元一样持续获得线性甚至数倍增长

• 相比之下，NVIDIA通过制程和架构升级，每代产品的算力可能实现2至3倍提升

• 当算力持续增长、SRAM容量提升有限时，计算能力与片上存储容量之间的不匹配会进一步扩大

• 这被认为是大规模片上SRAM路线的关键瓶颈之一

b) Cerebras仅通过软件升级，能否实现推理性能翻倍？

• 在初代软件栈优化不足的情况下，通过软件升级实现接近1倍的性能提升是有可能的

• 如果相同负载下性能提升1倍，理论上所需设备数量可下降至原来的约一半

• 但这类大幅提升通常意味着初代软件栈存在较多未优化空间

• 随着优化逐步深入，后续提升会越来越困难，边际收益会持续下降

• 不太可能在相同条件下持续依靠短周期软件优化反复实现性能翻倍

• 当前可以利用大语言模型或AI Agent探索编译优化空间，提高编译效率和系统调度效果

• 但软件优化存在上限，不能无限弥补硬件架构和存储容量的约束

c) 小Die SRAM路线相比大Wafer方案有哪些优势？

• 访谈中提及的Grok类方案同样面临SRAM容量扩展受限的问题

• 其主要优势是采用较小的Die，而不是使用超大Wafer级芯片

• Die尺寸越小，通常良率越高，制造成本也相对更低

• 该路线通过增加芯片数量来扩展系统，而不是依赖单颗超大芯片

• 尽管仍受SRAM容量限制，但在良率和综合成本方面可能优于大Wafer路线

d) Cerebras引入DRAM异质集成能否突破容量瓶颈？

• 通过Wafer-to-Wafer、Wafer-on-Wafer及Hybrid Bonding外挂DRAM，是解决SRAM容量瓶颈的合理方向

• 按会议中的估算，如果每个Core增加约2MB DRAM、总计约90万个Core，单芯片新增DRAM容量可能达到约1.8TB

• 该DRAM并不位于原有计算晶圆内部，而是通过另一片专用DRAM晶圆与计算晶圆进行混合键合

• 该结构类似3D堆叠，外挂DRAM可以作为更大容量的二级存储或缓存

• 这一方案可以缓解以下问题：

1. SRAM容量较小

1. SRAM单位容量成本较高

1. SRAM容量难以随制程快速增长

• 如果Cerebras希望减少对外部GPU或其他厂商产品的依赖，外挂DRAM可能是必要选择

e) 外挂DRAM面临哪些关键技术挑战？

• 最大挑战是SRAM与DRAM之间的高速互联

• SRAM与外挂DRAM形成分层存储关系后，系统性能取决于：

1. 互联带宽

1. 访问延迟

1. 数据调度效率

1. 软件对不同层级存储的管理能力

• Hybrid Bonding能够提供较宽带宽和较快互联，但外挂DRAM速度仍会慢于片上SRAM

• 两者之间可能存在至少一个数量级的性能差距，极端情况下甚至可能达到两个数量级

• 因此，外挂DRAM能够解决容量问题，但无法完全获得片上SRAM同等的访问性能

• 在现有物理条件下，这仍可能是兼顾容量与系统完整性的较现实方案

4. 全球AI芯片厂商竞争格局

a) 判断AI芯片厂商竞争力需要关注哪些因素？

• 需要综合考虑以下维度：

1. 公司体量及资金实力

1. 市场规模和客户基础

1. 软件栈成熟度

1. 硬件可编程性

1. 应用通用性

1. 模型适配和持续迭代能力

• 最终能够胜出的厂商数量不会很多，行业可能进一步向少数头部平台集中

• 小型创业公司即使具备局部技术创新，也很难同时补齐硬件、软件、生态、客户和量产能力

b) 海外市场中哪些厂商更具竞争优势？

• 通用计算市场目前主要看好NVIDIA和AMD

• NVIDIA拥有最成熟的CUDA软件生态，在通用模型适配和开发者覆盖方面优势明显

• AMD具备通用GPU能力，但同样面临与CUDA生态竞争的问题

• Google TPU目前还不能完全视为通用平台，但具备明显的软硬件协同优势：

1. Google拥有自研模型和应用负载

1. 可以围绕特定模型共同设计硬件和软件

1. 可以配置专门团队为重点客户优化特定模型

• 对于进入开放通用市场的小型ASIC厂商，前景相对有限，因为需要同时面对生态和模型适配压力

c) 大模型厂商自研定制化芯片是否有发展空间？

• OpenAI等大型AI公司开展定制化IC设计具有一定发展空间

• 这类公司的优势包括：

1. 拥有自身模型和真实应用负载

1. 对模型算法和计算特征理解深入

1. 软件栈能力较强

1. 能够利用AI Agent辅助芯片设计、编译和部署

1. 可以快速围绕特定模型迭代定制化产品

• 在外部硬件设计伙伴支持下，从流片到实际模型部署的周期可以明显缩短，会议中提到部分项目在9个月内已取得一定性能成果

• 博通等公司能够提供定制化硬件设计支持，是该模式快速推进的重要外部条件

• 但自研芯片并非所有大型科技公司都能成功

• 微软、Meta开展相关工作的时间早于OpenAI，但目前成效仍不突出，说明最终结果取决于企业自身的组织、软件、模型和工程能力

d) 为什么部分AI公司能够更快构建定制芯片能力？

• 第一，具备较强的软件能力和大模型研发能力

• 第二，具备较强的AI工具使用能力，能够用AI辅助设计、编译及性能优化

• 第三，拥有自身应用负载，可以围绕真实需求进行软硬件协同，而不是先设计芯片再寻找场景

• 第四，能够获得博通等外部合作伙伴的硬件设计和流片支持

• 第五，具备较快的组织决策和产品迭代能力

• 这些因素共同决定了从芯片设计到模型落地的推进速度

5. 国内AI芯片厂商发展判断

a) 国内哪些AI芯片厂商更值得看好？

• 相对更看好华为和阿里

• 寒武纪当前表现尚可，但未来发展空间仍存在不确定性

• 国内AI芯片厂商数量较多，长期没有必要维持如此多公司，预计行业会经历明显整合和淘汰

b) 华为的核心优势是什么？

• 华为具备多方面综合优势：

1. 公司体量和资源投入能力

1. 政策及产业支持

1. 完整的软硬件解决方案

1. 产能获取和供应链协调能力

• 相比单纯提供芯片的创业公司，华为更有能力构建从硬件、软件到系统方案的完整闭环

c) 阿里的核心优势是什么？

• 阿里的芯片架构实现了较好的软硬件结合

• 产品兼容性和模型适配能力相对较强

• 阿里拥有足够大的云计算和AI业务体量，可以为自研芯片提供稳定应用负载

• 自有业务场景能够支持芯片持续迭代，并形成软硬件协同优化

d) 寒武纪未来可能面临哪些限制？

• 当前客户结构相对单一，产品具有围绕特定业务进行定制的特点

• 定制化方案较难快速扩展到更多外部客户

• 同时面临国内产能分配和人力资源限制

• 如果无法拓宽客户和应用范围，长期增长空间可能相对有限

• 其他规模更小、生态更弱的国内厂商，发展压力可能更大

6. CUDA生态与非英伟达方案的竞争难点

a) CUDA的核心优势体现在哪里？

• 大量模型公司在算法研究和开发阶段天然使用NVIDIA GPU

• 因此，新算法推出时通常已经针对CUDA和NVIDIA硬件进行了优化

• CUDA的优势不仅是“能够运行”，更体现在：

1. 新模型Day 0支持能力

1. 较好的初始性能

1. 成熟的开发工具和算子库

1. 广泛的工程师和开发者基础

1. 更短的部署及性能优化周期

• 当模型研发本身就在NVIDIA平台上完成时，模型设计过程已经充分利用了NVIDIA GPU的硬件特性

b) 新模型发布时，NVIDIA和其他芯片厂商的差距如何体现？

• 以会议提及的DeepSeek 4.1为例，由于模型研发和系统优化使用NVIDIA GPU，其在发布首日即可在NVIDIA平台获得较好的性能

• 即使后续仍有优化空间，其初始可用性和性能已经相对成熟

• 其他厂商如果没有模型团队深度参与，只能依靠自身软件团队进行适配，因此必然存在时间差

• 时间差的长短主要取决于各厂商的软件栈和工程能力

• 对最终客户而言，模型能否快速上线、何时达到理想性能，都是硬件成本之外的重要经济性指标

c) 哪类非NVIDIA方案不容易受到CUDA生态限制？

• Google TPU属于较特殊的情况

• Google可以在封闭的自有体系内进行模型、软件和硬件协同设计

• 专用模型在专用硬件上运行，不必完全追求对所有外部模型的通用支持

• 因此，Google可以通过内部协同避开与CUDA正面竞争

• 但希望进入开放市场的ASIC厂商，必须支持不同客户和不同模型，难以绕开CUDA生态优势

d) 通用ASIC即使硬件成本更低，为何仍可能缺乏竞争力？

• 新模型和新算法大多首先诞生于CUDA生态

• ASIC厂商即使运行部分算法时成本更低，也可能面临以下问题：

1. 新模型适配速度慢

1. 部分算子或次要功能支持不完整

1. 初始性能未达到硬件理论水平

1. 需要投入额外工程团队进行优化

1. 无法确定何时达到理想性能

• 因此，客户评估的不是单颗芯片价格，而是整体部署周期、工程投入、性能兑现程度和持续支持能力

7. 新模型适配周期与工程团队配置

a) Cerebras适配新一代模型通常需要多长时间？

• 如果只是完成基础功能适配，让模型能够运行，预计可能需要2至3周到1个月左右

• 真正的不确定性在于性能优化

• Cerebras缺少广泛的外部生态，模型适配主要依靠自身团队完成

• 模型开发方未必愿意专门为单一、小规模硬件平台提供深度配合

• 因此，性能优化速度取决于Cerebras自身的软件和系统工程能力

• 还存在硬件架构与新模型机制匹配度不足的风险，即使模型能够运行，也未必能够充分发挥性能

b) 模型适配通常需要多大规模的工程团队？

• 团队规模不一定越大越好，几十人的团队已经可以承担一个模型的专项适配

• 团队需要同时覆盖以下能力：

1. 模型计算和算子优化

1. 编译器与软件栈

1. 网络通信

1. 系统级调度

1. 存储和缓存管理

• 如果团队规模过大，反而会增加沟通和协同成本

• 较合理的方式是由数十人的小团队专门负责一个模型的适配和性能优化

• 在AI工具逐步成熟的背景下，团队质量、跨领域能力和工具使用效率比绝对人数更加重要

c) AMD是否也面临CUDA生态带来的适配挑战？

• AMD同样面临这一问题

• 会议提到，GPT-4.1发布时AMD并未实现Day 0支持，至少公开信息显示发布后24小时内尚未完成支持

• NVIDIA与AMD之间的具体差距需要按模型分别分析

• 如果新旧模型架构变化不大，AMD适配难度和时间差可能相对有限

• 如果新模型引入新的算子、并行机制或存储访问方式，适配和性能优化压力会明显增加

结构化总结表格

新版prompt提炼之后的转译

提问者：上面提到的集群运行方案，您认为可行吗？

回　答　者：我认为需要进行组合。即使单个模型规模很大，如果出货量不多，制造成本也会很高。大芯片的良品率本身就很难提升，因此成本极高。将P节点替换为其他厂商的产品，是整体方案降本的一种方式。自身已经难以进一步挖掘成本空间，只能让其他芯片承担部分P节点的工作，从而降低整个系统的成本。

提问者：在大模型推理服务中，如果1个MOE大模型包含很多expert，也可以将每个expert理解为1个小模型。相比容量较大的HBM，SRAM容量小很多，两者不在同一数量级。如果SRAM中放入1个或多个expert，能否帮助系统扬长避短？

回　答　者：这正是扬长避短。小规模权重可以直接放在SRAM中，计算也可以完全在其中完成，不需要将数据搬出芯片。或者说，大部分计算过程中不需要频繁进行数据交换，只在输入和输出结果时进行操作，即1进1出，共2次。这与频繁交换数据明显不同，也不同于通过CPU的DDR反复交换数据，可以避免由此带来的数量级延迟。

提问者：这实际上属于部署方面的优势。将模型放入其中的工作，属于部署或偏软件的工作，可以这样理解吗？

回　答　者：属于软件工作。可以将1个大模型拆分，确定其中哪些部分需要分配。如果拆分对象是expert，就将其分别分配到对应的芯片中。如果1个模型有256个1亿规模的expert，就使用256个芯片。

提问者：配置方式是否可以采用传统的TP等并行方式进行拆分和组合？

回　答　者：对，可以采用并行方式进行拆分和组合。

提问者：以其当前产品为例，1个wafer配置44GB的SRAM。在提供推理服务时，SRAM中通常存放什么内容？例如，是否会存放模型权重以及PV cache？

回　答　者：SRAM中主要存放模型权重。PV cache实际上放不下，可能需要放在GPU端，因为PV cache需要非常大的存储空间。

回　答　者：计算时可能还需要读取一部分KV cache。因此，SRAM中一部分用于存放权重，另一部分需要预留给所需的KV cache，在其中完成计算后再输出。

提问者：这种换算关系大概是怎样的？例如，44GB的SRAM，或者每1GB的SRAM，能够存放多少参数？通常模型的参数量都是几万亿。

回　答　者：简单来说，如果只计算权重，并按照FP8权重计算，假设有40GB的SRAM，大致可以存放40B的模型。

提问者：也就是说，40GB的SRAM大致对应40B的模型？

回　答　者：对。假设有40GB的SRAM，模型按照FP8量化计算，大致可以存放40B模型的权重。但实际还要考虑计算过程中的中间值，因此可容纳的模型需要更小一些。部分空间必须预留给计算的中间缓存，以及读取的部分KV cache，不能全部用于存放权重。

提问者：目前主流方案也会对KV cache进行FP8量化。量化后能否缩小尺寸？

回　答　者：可以缩小尺寸。所谓FP8，是指数据格式以1 bit、1 bit为单位进行计算。如果模型训练完成后不进行压缩，权重采用FP32格式。目前，FP8已经得到充分验证，推理时基本都可以采用FP8，甚至可以采用FP4或介于两者之间的FP6。这里以主流的FP8为例。

提问者：您如何看待Cerebras这类技术路线未来的发展前景？

回　答　者：我认为其前景有限。原因在于，SRAM这种存储方式不会随着工艺提升而实现质的提高。举例来说，我不确定Cerebras目前采用什么工艺，假设采用N3工艺。

提问者：据我了解，目前采用的是5纳米工艺。

回　答　者：即使采用5纳米工艺，也没有本质区别。从5纳米向N3演进时，在相同面积下，SRAM容量不会出现质的提升。SRAM的结构决定了它难以通过工艺升级快速提高容量，无法像计算能力一样实现线性提升。从N5到N3，在相同面积下通过更先进的制程增大SRAM容量仍然有限。具体比例可能不准确，但这是一个致命缺点。

回　答　者：SRAM不会因为工艺升级而快速提升容量。由于其容量增长幅度不大，收益不像算力一样，每一代升级都能使单芯片容纳数倍的算力。从NVIDIA的角度看，至少目前每一代工艺提升都能带来2到3倍的算力，但SRAM做不到，无法跟上这一增长速度。

提问者：如果通过软件进行优化，通常能够带来多大的提升空间？

回　答　者：软件优化主要是量化，即减少存储所需的byte。压缩一定会带来精度损失。就目前的各种软件算法而言，FP8相对于FP16的精度损失很小。

如果采用FP4，可能只适用于模型的某些层，通过混合精度量化，精度损失或许可以接受。但目前没有FP2，只有2 bit的定点量化，这会造成很大的精度损失。即使采用混合精度，在某些工作负载的上下文处理中，也能明显感受到精度下降。

提问者：NVIDIA收购的Grok也采用了类似方案，其亮点之一也是SRAM。Grok在这方面的提升空间是否同样有限？

回　答　者：我认为存在一定限制。不过，它的优势在于不使用大Wafer，而是采用较小的Die。Die越小，良率越高；良率越高，成本越低。它实际上是用数量来替代，但整体成本会更低。

提问者：我们也在研究这一方向。此前听说Cerebras使用的推理软件栈称为Inference Stack。数月前，其产品相当于第1代Inference 1，之后升级到Inference 2，效率似乎提升了1倍。比如，此前运行一个模型可能需要100多台设备，现在减少到50到60台左右。是否可以理解为它能够实现这样的提升？

回　答　者：如果推理性能提升1倍，那么在相同负载下，设备用量就会降至原来的1/2。

提问者：我的意思是，仅通过软件升级，也有可能实现性能提升1倍吗？

回　答　者：这是有可能的。

回　答　者：还有一种可能是，初代的软件栈优化得并不好。但如果说在同样的条件下实现2倍优化，再通过0.5个月的优化压榨出1/2、1倍的能力，我认为不太可能。优化曲线会越来越陡，提升会越来越难，提升的百分比也会越来越低。

只能说初代可能存在较大的优化空间。再加上现在采用Agent的方式，大语言模型可以通过一些软件方法探索编译效率的优化空间，这是有可能的，但不可能无限翻倍。

提问者：明白。它的Roadmap中规划了DRAM异质集成，即Wafer to Wafer、Wafer on Wafer。相当于额外增加容量，具体数字我记不太清楚，好像每个Core可以增加2兆。它应该增加了很多，也就是2兆的DRAM。您怎么看这条路线？它会带来显著提升吗？是2G吗？我计算了一下，好像是1个Core可以增加2兆。它应该有90万，如果按照90万个Core计算，应该是1.8T。

回　答　者：对，单芯片应该是T级的。它是独立的吗？

提问者：它是按单Core计算的。假设按照1.8T计算，就是增加1.8T的DRAM。它通过这种方式实现，但这部分应该不在原有晶圆内，而是在晶圆之外外挂，对吗？它是另外1个晶圆，通过晶圆之间的Hybrid Bonding，将另1个专门用于DRAM的晶圆作为2级缓存。

回　答　者：对。这其实是在解决刚才提到的物理限制。SRAM很难随着制程提升而实现容量翻倍，因此外挂1个组件是合理的。如果它希望采用独立方案，不依赖其他公司的方案进行PD，或者从自身角度降低成本，就一定要外挂DRAM。

外挂DRAM需要解决的问题是，SRAM和DRAM之间是2级关系。在这种2级关系下，需要高速互联，关键在于外挂DRAM能够以多大的带宽连接进去。

提问者：明白。

回　答　者：它采用这个方案也是不得已而为之，希望通过这种方式突破此前SRAM容量太小、成本又很高的限制，能够实现的也就是这些。

提问者：明白。它采用的是Hybrid Bonding，也就是混合键合，通过这种键合方式将它们连接在一起。这种键合是否类似于3D堆叠？

回　答　者：对，类似于3D堆叠。

提问者：那么，DRAM与原有晶圆上的计算单元和SRAM之间的互联会不会……？

回　答　者：也会比较快，带宽也比较宽。但首先，它一定会比S2慢。如果能做到S2的水平，就可以直接推出了。速度方面可能至少存在1个数量级的差距。例如，S2能够达到1秒级，它可能会慢10倍，甚至100倍，一定存在数量级的差异。但在现有架构下，这也可能是唯一能够较好解决容量问题的方案。

提问者：从产业角度来看，您看好哪些AI厂商？为什么？

回　答　者：需要综合考虑体量、市场、软件栈、可编程性和应用通用性。我认为最终胜出的厂商不会很多。从通用性来看，目前已经有NV和AMD。TPU还谈不上通用，但TPU具备软硬件结合的能力，因为厂商拥有自己的模型，可以与模型协同开发，也可以为部分客户配备专用团队，针对客户的特定模型进行优化。对于一些小型创业公司，我不太看好，我认为它们很难脱颖而出。

从国际市场来看是这种情况，中国国内可能是另一种情况，国内的情况不太一样。

提问者：请您也简要介绍一下国内的情况。

回　答　者：国内厂商中，我比较看好阿里和华为。寒武纪目前表现尚可，但未来的发展还不好判断，因为国内还存在产能分配问题。其他厂商的发展前景可能都不会太好，数量也过多，没有必要存在这么多家公司。

华为具备体量、政策、方案和产能方面的优势。阿里的芯片架构实现了较好的软硬件结合，兼容性和适配性较强，同时自身也有足够的体量。

寒武纪目前的客户较为单一，基本可以认为是围绕自身业务进行定制。这种模式很难扩展到其他客户，再加上目前受到产能和人力限制，我认为未来不会有太大的发展空间。其他厂商的情况则更差。

提问者：海外的Anthropic是否在自行设计IC？

回　答　者：刚才有所遗漏。这些大型厂商自行进行定制化设计，我认为也有发展空间。OpenAI已经展示出了相应能力，并结合目前的AI辅助设计。

回　答　者：在此基础上，加上软件栈和 AI Agent 的作用，从流片到实际模型部署，9个月内已经取得了一定的性能。对于这类公司而言，其具备较强的 AI 能力，也拥有自己的应用负载，并且对模型算法有深入理解。在 AI 加持下，公司能够快速迭代定制化产品，我认为这类产品也会形成一定规模。

但这取决于各家公司的能力。微软、Meta 开展相关工作的时间其实早于 OpenAI，但目前来看，成效仍不理想。因此，最终表现仍取决于各自的能力。

提问者：这种能力是如何构建起来的，或者说，这种能力来自哪里？为什么有些公司具备这种能力？

回　答　者：综合来看，我认为主要有以下几点。第1个是软件能力以及对 AI 的掌握程度。这类公司本身就在开发自己的 AI 大模型，其大模型的通用性很强，掌握的知识能力也很强。

第2个是这些公司运用 AI 的能力也很强。此外，还需要一些外部支持。例如，博通这类公司能够在硬件设计方面提供定制化支持，这一点也很关键。我认为，主要是这些因素使它们能够快速推进相关工作。

提问者：您如何看待非英伟达方案？英伟达在软件层面拥有 CUDA 生态优势。这种优势是否主要体现在部署新模型时，英伟达能够快速完成部署，而其他厂商则需要较长的部署和适配时间？当最终客户在英伟达、AMD 或其他厂商的 ASIC 之间进行选择时，CUDA 的优势具体体现在哪些方面？其经济性和成本优势又体现在哪里？

回　答　者：很多公司在开展研究和开发时，特别是在模型端，天然会使用英伟达 GPU。因此，一旦算法推出，CUDA 一定会提供支持，而且功能和性能通常都很好。

以 DeepSeek 最近推出的 4.1 为例。4.1 推出后，由于 DeepSeek 对系统的优化能力很强，并且使用英伟达 GPU 进行研发，因此在算法设计和研发过程中，已经充分发挥了英伟达 GPU 的能力。所以在 D0 时，其在英伟达硬件平台上已经具备很好的性能。当然，性能仍有优化空间，但至少能够保证较好的初始性能，这一点很有代表性。

对于其他厂商的产品，如果需要适配 V4.1，而没有 DeepSeek 的深度参与，仅依靠各家自行完成，就一定会存在时间差。具体的时间差，则取决于各家的软件能力。

回　答　者：当然，有一类情况比较特殊，不会受到 CUDA 生态优势的影响，例如谷歌。谷歌采用软硬件一体化协同设计，在自有体系内使用专用模型和专用硬件，这也构成了其优势。

对于希望进入通用市场的 ASIC，如果要开放支持各家不同的模型，就一定需要追赶 CUDA 的生态优势。即使其硬件架构运行某些算法时成本较低，也可能出现支持次要功能等类似情况。因为这是原生生态的问题，目前新的模型算法主要诞生于以 CUDA 为主的生态，天然会在 CUDA 上运行得更好。

提问者：以 Cerebras 这类公司为例，其官网表示可以部署 Kimi。如果 Kimi 从 K2.8 升级到 K3，您估计需要多长时间才能将 K3 部署到其机器上？

回　答　者：功能适配会比较快。如果只是让功能运行起来，也许1个月左右，甚至2至3周就能完成，但性能优化需要多长时间则不好判断。

另一个问题是，它几乎没有所谓的生态，适配工作完全需要依靠自身完成。我认为 DPK 也不会配合它，因为这种配合没有意义，DPK 不可能专门提供1颗芯片。因此，这完全取决于 Cerebras 自身的能力，难以判断何时能够达到理想水平。甚至不排除其硬件架构适配效果不佳，无法充分发挥某个模型机制的性能。

提问者：通常需要多大规模的工程师团队？

回　答　者：这个问题很难估计，不一定取决于绝对人数。在当前的 AI 时代，并不是人数越多就一定能完成得越好。

对于这样的模型，加上部分系统级问题，我认为数10人的团队已经足够，其中既需要懂计算的工程师，也需要懂网络和系统级问题的工程师。由数10人的团队适配1个模型已经足够；如果团队规模过大，还会产生沟通成本。因此，由数10人的小团队专门负责1个模型的优化，应该比较合适。

提问者：AMD 是否也面临类似的挑战，即 CUDA 的生态优势？

回　答　者：AMD 同样面临这一挑战。

提问者：您可以举1个例子吗？例如发布1个新模型时会出现什么情况？

回　答　者：例如 GPT-4.1 就没有 Day 0 支持，公开信息中提到过这一点。至少24小时内还没有推出支持。现在 GPT-4.1 的情况我还没有查询，可以查看 AMD 是否已经公布相关数据。两者之间肯定存在差距，但不同模型需要具体分析。有些模型的上一代与这一代架构变化不大。

原文转译

上面他们的这个可能集群他们去跑。 就是这个这个您觉得是可行的吗? 我觉得要组合,就是说你它你可以一个一个模型,即使很大你都用它,但是你不出量很多,对不对? 然后你的制造成本又很高,你一个大里面你从良品率啊各方面,它本来就就就就就良品率就很难做,那成本是极端的搞。 那所以产生把把P节点换成别家的,那它就是一个整体方案的一个降本。 嗯。 你看他自己他已经挖掘不出 太多的这个成本的空间了,你只能去把那些一部分让让别的芯片去做P。 那整体的系统 是 是一个降门的方案。 嗯,明白明白。 我这里面我还想请教您,就是可能这这可能在就是涉及到 大模型的这种 就是做推理服务的时候,它的这个这个运行的一些 就是我想请教一下您,就是呃那那你比方说他如果他如果一个大模型,他有有很多这个expert, 一个MOE的大模型里面有很多很多expert,或者说你你你你可以理解就是您刚刚解释我可能相当于是小模型啊, 有点像一个小模型一样的,那 呃那那它就是 呃,就是如果说它 就是如果说它的这个一个一个如果它您说它SRM比较小嘛,就相比可能相比这个因为达的HBM来说是比较小的,那么 小太多了,那都不是一个数量级了。 对。 对的对的,我 对。 那么就是说它如果这个SRAM它能够 呃,就是说就就放一个,比方说就放一个expert, 就会会放几个几个expert放在里面,然后这个 对。 就是说这个能不能去帮助他去去这种就是扬长避短,然后 这就是扬长避短,因为因为我不需要把数据搬出来了,我一个小权重就放在里面,我的计算就完全在那个里面不需要出来了,不需要出这个 这个芯片了。 对。 或者说大部分的计算,在那个计算的过程中我不要频繁的出来,我只要在出结果的时候,我进去的时候就一进一出两次。 和你频繁的交换那肯定不一样,和DDR去就是CPU的DDR去反复交换,对,你就避免了这种 数量级的这个延迟的这个一个引。 嗯,明白。 就这个其实这这个工作其实有点就是说这个是相当于是一个 呃就是这种部署类的的优势。 对。 明白明白。 然后要要要去做这个就是比方说模型把它放进去这个工作它是一个部署的,或者是一个偏软件的工作是吧,是这么理解的。 是软件,就是我我把一个大模型拆出来哪一部分,如果是一个专家,那我就塞到分配到你一个一个的里,那我如果有256个,一个模型有2561亿,那我就只有256个。 嗯。 用256个的。 那配置的方法可能传统的那种这种比如说TP,去分,或者或者对, 就是叫并行,就這樣子组合去分。 OK,明白明白。 我还想请教您专家,就是您像比方说他一个,他他现在的产品他一个WC是,就是一个wafer是比方说44GB的这个SRAM,就是他通常这个SRAM里面他是 呃,就是做推理服务的时候,他做推理服务的时候,它是里面是装的什么东西啊,就是他比方说他是装了一些模型的权重啊,然后可能装了一些什么PV之类的。 的权重。 呃,PVcash其实它放不下,PVcash可能要放在GPU那边,因为那个那个需求,那个那个需求的空间要非常的大。 对。 嗯。 OK。 对。 呃,那么就是那那那么 因為你肯定會從計算的時候可能還要去讀一些KV cache,讀到這個裡面去。 所以你給SR裡面一部分放權重,還要留一部分 你 把那個你需要的那部Tcache 傳進去,然後在那裡面進行計算。 然後再輸出。 OK。 那那那就是我想請教您,就是這個像,比方說,就是這個換算關係大概是怎麼樣的,這個我一直沒有太搞明白,就是說, 他比方說,44GB的SRAM也好,或是多少,就每每單位或者每一GB的SRAM,它它是能夠 放多少這個參數輛啊?就是因為我們在講到參數輛的時候都是,比方說幾萬億的 啊,GB的話,如果簡單講,按照FP8的全重算, 呃,基本上,假設我只算,只只按全重啊,只算全重。 你假40GB,那你就認為可以放 啊,40,40 40B的模型吧,可以大概這麼這麼算。 呃 呃,等一下,40G 40G的這個,相當於 對,假設你有40GB的SRAM,對吧?按照你的模型按照FP8量化算,大概就是40D的模,放40D的全重。 哦,OK。 簡單的講,但是理論上你要考慮一些還有一些計算中間的值,你要再小一點,要留給那個計算的中間 緩存和你讀進去的一些那種部分的KV cache,讀進去,然後在那邊計算,所以你要你要小一點,你不能全放權重。 哦,明白明白。 那那KV cash其實也會,現在比較主流的也都KV cash也會做IP8的量化。 對。 嗯。 嗯。 嗯,就是說,他這個量化之後是是能夠,就是, 呃,就是縮小尺寸嗎還是? 對,縮小尺寸。 就是所謂IP8就是我 我的數據格式都是一個bit,一個bit的算。 因為模型訓練出來, 啊的 如果你不做壓縮的話,就是FP32的全動。 所以,但是現在這個軟件已經,就是FP8已經被充分的驗證了,基本上在推理的時候都可以做FP8,甚至FP4,或者中間一點的FP6。 我們拿主流的FP8算了。 嗯嗯,好的好的。 嗯。 好,OK。 欸,那那就是我可能再問一個比較general的問題,就是您您覺得這個cebuss這種技術路線您往後的前景怎麼樣?您您就是您您怎麼看? 我覺得前景有限。 為什麼呢?因為 SRAM這種存儲方式,它不會隨著工藝的提高會有質的提高。 什麼意思?打個簡單的比方,假設現在 呃,Cerebras,我不知道,我不記得它現在用什麼工藝啊,就隨便說了,比如說是N3的。 我看五納米的現在。 哦。 那五納米的,無所謂,五納米往N3去走,其實你不會因為N到,N5到N3,你的 同樣的這麼大,你的SRAM會有質的提升,因為SRAM這種 結構就是不太能從工藝的提高裡去快速的提升,提高它的容量。 它不是跟計算的那個能夠達到那種線性的加速的,你可以去網上搜一下,我比例說不對,但是 他們通過高高製成的工藝的增大容量,在同樣的面積下去增大容量,是一個致命的缺點。 對。 所以 所以它它不会因为高工艺会带来它的快速的这个这个这个容量的提高。 OK,那明白。 因为他做,对,因为他容量多不大,你你对吧,你 你你你你你的收益不像算力那样,每一代 一个提升就能带来,在单芯片上我就能放可能数倍的算力,因为NV的角度来讲,至少目前它能保持每一代的工艺提升, 能带来两到三倍的算力,是吧,它但是SRAM做不到,跟不上这个这个这个增长。 嗯,明白明白。 呃,那我我还是想请教一下,就是说那这个 呃 就这个软,就是他他如果是软件上的一些 这种优化,它它能够带来多少的提升空间,通常来说。 软件,软件就是在约量化。 我能看到的就是量化,你节省那些byte嘛,存储的byte。 那现在也就是如果那你你首先你压缩一定会有精度的损失,对吧? 那精度损失现在在现在的各种软件算法上,我刚才讲了,那FP8相对于IP16,你可以认为这个精度损失很小。 嗯。 喂? 但是你可以,我可以。 啊啊,但是你做IP4的话,可能部分就是一个模型的某些层可以做IP4,做混合精度量化, 可能也能接受,但是你一旦做IP,不能说IP,现在没有IP2,但是有那种定点的量,就是两bit的量化,那你精度就就就有很大的损失,混合精度。 对,你你的这个这个上下文,在某些工作它的这个这个这个从精度上就能有明显的这个感官。 所以,对。 嗯,OK,明白明白。 呃 我我还有两个问题,一个就是说,那像这个,就是Nvidia它收购的这个Grok, 啊,就是它那个上面也是,它也是好像也是就是说一个一个 类似。 一个亮点也是SRAM,就是那它这个,那它就是说Grok它这个也是 上面也是提升空间有限吗? 对。 我认为有些,但是它的好处就是它它不是用一个大Wfer做,它它的良率,因为它的在可以小嘛, 那我我带小,我的良率就高,我良率高,我的成本就低。 其实我用数量来替代,但是我我的这个成本会低。 对。 OK。 OK。 呃,我还是想请教,就就是 嗯,就是我们就是说我们也在研究这个这个这个方向啊,就是有有之前有听说就是你比方说它那个 Cerebras它这个之前是用的这个,就是他们他们的这个可能叫推理的这个软件站,就是好像就是叫这个,就是他们的叫做Inference Stack。 Inference Stack,他们就说,比方说可能几个月之前,他们是相当于是第一代,就是Inference 1,然后后面升级到了这个Inference 2。 然后就好像听上去呢,就是说这个一些效率啊或者是这种,就是好像提升了一倍,就是可能比方说之前跑一个模型, 他比方说要要要要这个多少台来着,可能要要100多台,然后现在就相当于砍半了,就要五六十台就 五六十台吧,我记不清楚了,就大概是这个概念,就是说它能够 就是说。 你认上就是你的推理性能如果翻倍,那你就会减少一半,同样的负载就是减少一半的用量。 对。 呃,我的意思是他这个通过,就是纯的这种软件的这个升级,它也能就是说实现这种 这种翻倍的这种提升吗? 这这是有可能的,那那唯一的可能就是说,这种是有可能的,那那很大的一个原因 还有可能它初代的那个软件站 这个这个优化的实在是不是很好。 对，但是你说比如说优化两倍,在同样的意念下再去 比如说通过半个月再能压榨出一半的,一倍的这个能力嘛,我觉得不会,那个曲线会越来越陡,越来越难,越来越难提升,你的提升的,这个百分比会越来越低。 对。 嗯,嗯。 嗯。 只能说它初代可能有很多的空间, 再加上现在用agent的方式去做,就是 大圆模型可以用一些软件的方法可以 探索出可能一些优化的编译的 这个这个效率,这是有可能,但不可能无限的这种 翻倍的去找。 嗯,嗯,明白明白。 好的好的,然后您怎么看就是它后面的话 他好像就是他的他的roadmap里面有去规划他后面 还会做一些这种DRAM的这个异质集成。 就是Wafer to Wafer, Wafer on Wafer的这种, 啊就是 就是相当于额外又再加上 加上一个应该是我但具体数我有点不记得,就是他每个core好像可以加上两兆的这个, 因为还应该是加了挺多的,就就是两兆的这个DRAM,这 就这种路线, 就是您怎么看呢,就是这个会会有会会会就是说叫做显著的提升 两两两G的吗还是怎么样? 我算一下啊,就是它是应该是一个,好像是一个core可以增加两兆。 一个core它应该有90万,它我们如果按照90万个扩算的话, 呃呃,就是应该是一点八T吧,算出来应该是。 T对,现在我只觉得单芯片应该是T级的。 它是独立的吗?还是怎么样? 它就是单Core对比呢? 哦,对,对就是它对,就是就是说 或者我们就算按照按照它按照1.8T,假设是1.8T的这个 那一个对吧? 这个对增加增加这个 1.8T的这个DRAM,就是 它它通过这种 但这个不应该在这个fer里,应该在这个fer之外对不对?外挂一个 对对对。 就通过对,它是另外一个这个就fer嘛,它是ferfer的这个hybrid bonding,就是 就这种,另外一个fer是专门做一个DRAM的二级缓存像那个。 对吧? 对的,对的。 这其实就是解决,这就是解决刚才我说的它那个物理的限制SRAM它就是在制程上很难去去随着制程的提高而翻倍的提高,那外挂一个东西就make sense了,因为它如果想独立的不依赖于比如说 这个别家的方案去PD,然后或者说从自己的角度来讲去降本, 它一定要挂这个DR。 那外挂DR要解决的一个问题就是你的SRAM和DRAM它是两级的一个关系。 两级的关系就是一个高速的互联,你你那个 外挂的那个DRAM有多大的带宽去连接进去。 嗯,OK。 这个地方我请教一下。 对,我想说的就是它用这个方案就是不得已,就是想用这种方式去突破它之前的那个SRAM容量太小的,且成本又很高的 这种解决方案,能做到的也就是这个。 嗯。 哦,明白明白。 嗯,就是它它这个 就是说它应该是我,就是它讲的是这个叫做就hybrid bonding,就是这种键合嘛,就是抑制键合,就是它通过这种键合的这种方式把它们去bonding在 在一起,就是它这个 这个键合是不是有点像3D堆叠的这种角度? 对的,对的。 对,有点像这种,对,就是说这个会不会是说 这个我也不懂了,就是说你这个会不会就是比方说它它在DRAM和这个 原有的这个fer上面的这些compute和这个SRAM它它 就是互联的这个是 就是也会还就是说也会比较比较比较比较快呀之类的,贷款也比较比较宽的之类的。 首先它一定会比S2慢。 如果它它它它能做到那个S2,它那这个就是出来,对吧,肯定会慢,慢有可能我觉得至少是个数量级的一个差距。 嗯。 比如说S2它能说一秒级,那那它可应该是假设是一个10倍,可能一个100。 100倍,对不对? 对,一定是一个数量级的差异。 对,但这也也是它在现有的架构下可能唯一能够 比较好的去解决容量的问题方案。 OK。 好,明白明白。 好呀好呀,行,哎,然后你你就是专家您怎么看,就是那么,呃,就是说从您从产业里面的角度,或您的角度,那后面这些各种 A厂商就是您您您看好哪些家呀,然后 就是以及为什么对? 我我觉得你要综合来看,量、市场、软件栈、可编程,还有应用通用性。 嗯,我觉得不会很多。 我觉得现在其实我们说从通用的来讲,已经有MV了,已经有AMD了,对吧? 那TPU还谈不上通用,但是TPU 还有软硬件结合的能力,因为它有它的模型嘛,它可以,可以它模型一起做,然后再加上 他为一些客户可以带住专用的团队去专门针对这个客户的特定模型去优化。 去去做。 那对于像一些小的创业公司我不太看,比如说 还有那个,那个是吧? 我觉得他们要杀出来很。 嗯。 嗯,OK。 如果从从国际的角度来讲,中国内可能是另外的一些情况,国内的情况不太一样。 OK。 国内的情况您也简短的讲一下好不好? 哦,可以。 嗯,国内其实我比较看好的 阿里、 华为。 呃,航武际我觉得目前还行,但是在往后走,我觉得不太好说了,因为国内还有一个就是产能分配的问题。 对,然后还有就是 其他家我觉得都不会那么好,还是太太太多了,没必要有这么多家公司。 哦。 华为是有体量,有政策, 也有放的优势,产能的优势。 阿里是首先它的芯片架构应该算是做的软硬件结合,兼容性比较好。 实配实配性比较强,另外它自己也有足够的体量。 呃,行武技其实目前客户很单一,而且完全你可以认为完全是围绕自己的业务做定制化。 对,这种模式 小其扩展到别家, 再加上它产能现在人力限制,我觉得会 不太有太大的空间。 对,那其他家 就更差了,对。 嗯,OK。 嗯,好的好的。 嗯 然后你你有听说过像那个就海外的话像那个thropic它有有自己就是去设计ic没有? 哦,我刚才忘了漏了,这这些大的厂家自己做定制化,我觉得它也能有空间。 因为OpenAI已经展示出来了,结合现在的AI的这个辅助这个设计 在这个能力,再加上软件站, AI agent也能起很大作用,它九个月就能 从流片到这个实际的模型部署都已经取得了一定的这个性能。 所以,对于这样的公司,它有很好的这个AI的能力, 并且它也有自己的这个应用负载,它对模型算法也很理解。 就是有AI加持的话, 它能快速迭代自己的这些定制化产品,我觉得这个这个也会 会,会会有一定的量。 对。 对,但是这个要看各家的能力啊,你看做这个东西,其实微软meta 比这个OpenAI要早做,其实 到目前看都做得还不太好,对吧? 这还得看各家的能力怎么,对。 嗯。 这这个能力它是怎么构建起来,或者说这个能力它是来自哪里啊? 就是为啥有的呢? 综合综合来讲,其实 我觉得有这么几点,第一个是这个软件的 你对AI的掌握的,对吧,它本来就做自己的AI大模型,对吧? 它的大模型的这个通用性非常强。 它掌握的这个知识能力就就很强。 第二个他们用AI的能力也很强。 那另外一个其实还是是还是有一些这个支撑的,比如说有博通, 这样的公司在在这个硬件的这个设计上才能给一些定制化的support。 这个也很关键。 我觉得主要这么几个因素导致他们能够快速的去去做。 嗯。 OK。 嗯。 好呀,然后我可能最后一些问题了,就最后几个问题了,就是 那么就是,然后就是您像 就因为嗯,就是您怎么看待就是非英伟达的,因为因为就是说英伟达它的一个很可能它有一个软件层面的这个生态优势,就是它有有这个CUDA。 那么就是 就是他这个CUDA是不是主要是带来的他的可能,我就是在在部署新模型的时候, 就是因为他有这个CUDA的优势,所以他可以 就说很快的去去去部署一些新的模型,就然后别家的话就是可能需要一些比较长的 这种部署时间,那适配时间那之类的,就是这个CUDA它 落在实在这个就是可能 最终客户会去使用英伟达还是说AMD啊,或者是别家的这个ASIC的时候, 它它它是,它是体现在哪些这个就是优势啊,就是经济性的优势啊,成本的优势是体现在哪些地方? 啊,因为CUDA就是很多家其实做研究做开发,特别从模型端啊, 来讲就是天然的用MV的GPU去做。 对。 那那也就是说这个算法一旦出来, CUDA一定会support,就是就功能,甚至性能都很好。 举个举个眼前的例子,就Deepseek最近刚出的4.1,对吧? 4.1一出来,其实Deepseek这个这个对系统的这个优化能力就很强,它在设计算法的时候就充分的 把这个 因为它是用MVGPU去去做研发的嘛,在研发的过程中已经充分的把这个能力都发挥出来了。 对,所以它D0的时候在MV的这个硬件平台上就已经是很好的性能。 当然这个性能优化空间还有啊,但是至少保证了一个非常好那个性能,这是很有代表性,那对于其他家 的东西要适配一个V4.1,如果没有deepseek 的这个深度参与的话,各家自己去做的话,一定是会有一个时间差的问题。 对,这个时间差就看各家的这个这个 软件的这个能力了。 但当然有一类会会稍微特别特殊一点,就是并不会受酷达生态的这个优势的影响,就是 比如说谷歌对吧,那它软硬件一体协协同设计, 那那它在他家的这个里面专用的模型,专用的硬件,也也是有成为优势的。 那这对于一个AC想去打这个通用市场,就是说一个AC要要开放性的去支持各家不同的模型, 其实是一定 会面临这个酷达的这个优势,去追赶的。 对,甚至可能在 他的架构可能也许硬件架构上可能对某些算法就是很很便宜,就次功能转,类似的事情。 因为这就是一个原生的东西,你可以认为新的模型算法在目前 的这种普达为主的生态下,它就是原生的这个普达诞生产,天然的就就一定的在普达让得比较好。 嗯。 嗯。 嗯,明白,明白。 嗯,那那您像比方说,我想理解一下,您比方说, 就是比方说类似类似像Cerebra 这样的公司,他如果他比方说 因为他比方说他能他他自己官网上也说过嘛,就是他也能够部署Kimy是吧? 就是那么比方说如果Kimy从比方说2.8升级到 K3的话,K2.8升级到K3,那么 就是从您的角度,您估计,比方说他他需要多长时间去 把这个K3给部署到他们的这个机器上面去啊? 我觉得功能会会比较快了,如果你只是单纯让功能跑起来, 也许各把月之内,甚至两三周就能就能把功能追上,对吧? 对, 那但是这个性能我就不好说了。 对。 他还有一个点就是几乎没有所谓的生态了,他要做这个东西完全要自己家去做。 我觉得DPK也不会配合他去做,因为DPK的没法,你配合他没有意义对吧,DPK不可能拿个芯片。 那他自己家就完全靠他自己的能力。 我就不好说什么时间能达到,甚至就是说他这种硬件架构可能也不不排除就是适配不好,因为就不能把某一个模型的机制性能发挥出来,都有可能。 嗯,明白明白。 那那那这个大概是多少多少,就是通常是多少这个工程师的团队呢?就比方说如果他 我不好估。 我不好估。 不一定是说绝对人数的问题,因为在现在的AI时代,它并不说人越多就能一定干出来。 哦,OK。 对。 那那 可能一个 对这样的模型当然还有一些系统级的问题,可能 几十人,我觉得已经足够了,你既有懂计算的,又有懂网络的这些的系统级的, 几十人团队 去适配一个模型已经很OK了,如果太大的团队去适配,还有沟通成本,我说这个就不太不是说对人的问题。 小几十人的团队去去盯一个模型去优化,应该是比较合适的。 嗯,明白明白。 诶那那就是那我那像AMD的话就是有没有类似这样的挑战呢?就是面临这个Cuda的这种优势。 一样一样一样。 有有。 有。 您可以举个例子吗?就比方说如果一个新的模型就是 比方说一个 就说D,D4.1就没有D0支持了。 你可以看到公开的那个信息,是讲过。 至少24小时还没有出,那现在可能4.1,我还没查啊。 你去看一下4.1现在AMD有没有公开数据吧, 所以你搜一下,你肯定有差距的。 然后模型case by case,有的模型就是说上一代和这一代的架构变化不大,