2026.10.09 | AC | China AI | Doubao Expert: 5T Model Training

摘要

本文核心要点包括：1， 国内训练5T以上参数模型可行性及头部公司能力对比2， 租赁B300训练大模型模型可行性分析3， 2027年国产AI芯片用于模型训练侧展望

以下为专家观点：

1，关于国内多家模型公司计划训练超过5T参数的大模型，其具体的技术瓶颈是什么？哪些厂商具备实现这一目标的机会？若中国进入5T以上参数模型时代，将对国内大模型的竞争格局产生何种影响？

国内训练5T以上参数的大模型需从两个层面分析：

首先，从务实的角度看，短期内能够落地的所谓5T模型，并非纯粹的大语言模型，而是类似于Gemini的多模态输入模型。以字节和阿里实际推进的项目为例，其参数量的增加主要源于输入端整合了更多功能（如多模态理解、computer use等），导致理解参数规模扩大。在这类模型中，核心的推理思考参数量可能仅为3T多，整体参数量因多模态能力的叠加而被定义为5T。这类模型的参数并非同时激活，而是先激活多模态理解模块，再激活核心处理模块。阿里和字节凭借其技术与算力储备，很有可能在2026年内落地此类多模态模型。

其次，若要训练核心思考参数量达到5T或10T级别的模型，国内能够实现的公司范围将大幅缩小。从技术合理性上看，可能只有阿里具备此能力。尽管其平头哥芯片体系的性能不及英伟达，但其全生态自主可控的特性，使其可以效仿美团基于昇腾万卡集群的模式进行训练，尽管效率较低且成本高昂。其他厂商则面临显著的算力瓶颈。字节跳动虽然被认为拥有大量算力，但其多数英伟达算力部署在海外，无法用于大规模国内数据训练；其国内的高性能算力则大部分被抖音等业务占用。因此，即便是字节也缺乏训练及后续推理所需的大规模算力。对于月之暗面、DeepSeek、智谱AI等公司，它们短期内难以获得足够规模的昇腾系列训练集群。

在模型技术层面，关键在于预训练阶段参数拟合的稳定性。目前国内在这一领域表现较好的是DeepSeek、阿里通义千问和月之暗面，而字节在这方面技术相对落后。综合来看，算力是训练超大参数模型最主要的制约因素，其次才是模型技术。因此，真正有能力训练核心思考参数量超过5T模型的厂商极少，理论上只有阿里可能性最大，其次是DeepSeek（通过定制大规模昇腾集群，但成本和效率问题突出），再次才可能轮到字节等公司。

2，为什么通过租赁B300芯片来训练大参数模型的方式，其可行性存在严重问题？

使用租赁的B300集群训练大模型在技术上存在严重的可行性问题，主要源于集群利用率的逐级损耗。即便采用英伟达原装的HGX体系，集群利用率也难以达到理想状态，通常会经历三个主要环节的折损：

首先，在网络传输环节，由于GPU的工作效率远高于网络传输速度，即便是英伟达的全套解决方案，中间损耗也至少达到25%。这意味着B300集群一经启用，其理论利用率上限即为75%。

其次，是显存置换问题。训练大模型必然涉及处理大文件，若不对文件进行优化，单机工作效率会因显存置换而再下降四分之一，进而拖累整个集群的性能。此时，集群的整体利用率将进一步降低至50%左右。

最后，在算子优化层面，训练过程涉及大量计算，需要在集群层面进行深度优化。对于租赁模式，尤其是按时或按算力租赁，机柜可能在不同租户间频繁更换，租户无法进入机房进行深度调试。在这种非长期整包的租赁场景下，算子工作层面的折损通常也会达到25%。

综合以上三个环节的损耗，采用标准租赁方式的英伟达B300集群，其实际利用率最终可能仅剩下25%。此外，部分算力出租方的IDC规模有限，可能需要跨机房甚至跨厂区部署集群，这将导致网络延迟增加，进一步降低集群的有效利用率。

3，字节跳动在中国境内训练其基础模型时，是否主要依赖于H系列芯片？

字节跳动在中国境内主要使用H100以及部分可跨域使用的H200进行模型训练。由于H200在中美两地均被视为合规芯片，因此部分部署在海外的H200也可用于跨域训练，训练任务对时延不敏感。此外，字节跳动也通过租赁方式在国内以及跨国使用极少量的B系列芯片，但这些芯片因其独特的参数体系，主要用于实验性研究，而非正式的模型训练。总体而言，字节跳动的算力使用基本面是合规的。

4，字节跳动在海外可用于跨域训练的H200芯片规模有多大？为何B系列芯片无法用于此类跨域工作？

目前字节跳动在海外可用的H200芯片约有6万至8万张，尚未完全部署上架。这些部署在欧洲或东南亚的芯片中，仅有一小部分可用于跨域的实验和训练。B系列芯片无法用于跨域工作，主要受限于美国的法规要求，即“本国卡干本国活”。根据该规定，即使中国公司通过多层关系在美国本土设立数据中心并购买不受限的芯片，该数据中心内的算力也只能处理美国本土业务。若从中国传输数据至该类数据中心，则会因涉及跨国数据传输而被视为违规。国内一些模型公司在2026年八、九月份被调查，正是因为将国内数据传输至海外机房进行处理，从而违反了此项规定。

5，腾讯近期与Oracle达成算力租赁协议，预计将获得东南亚约10万颗先进芯片，这些芯片的主要用途预估是什么？

腾讯租赁这些芯片的主要目的是用于大模型研发过程中的实验环节。大模型开发最消耗算力的部分并非最终的“炼丹”式训练，而是前期成百上千的工程师为验证训练代码而进行的大量实验。与字节跳动和阿里巴巴相比，腾讯在海外自建IDC和采购实体芯片方面起步较晚，面临土地资源稀缺等问题，因此选择租赁算力以追赶进度。字节跳动和阿里巴巴之所以能在多模态模型上保持快速同步进展，得益于其在东南亚和欧洲等地拥有多个自建机房和超过20万张的英伟达芯片储备，这些资源主要用于支持工程师进行不受法规限制的算法代码验证和实验。当前，由于东南亚监管趋严，欧洲环保审核周期长，租赁已成为腾讯解决实验算力短缺的必要途径。

6，阿里巴巴通过各种途径获取了大量B系列芯片，相应对其模型训练的影响？

阿里巴巴作为一家大型上市公司，在合规性方面非常谨慎，不会公开进行不合规的操作。因此，其在国内获得的B系列芯片主要由内部工程师用于代码编写和研发实验，这极大地加速了千问系列模型在文生图、文生视频等多模态方向的迭代速度。然而，在进入封闭式的模型训练环节时，阿里巴巴会切换回使用自有的合规算力，以规避风险。尽管如此，这些用于研发阶段的非合规算力客观上大幅提升了其研究和进展的速度。

7，对于Kimi这类公司，其模型参数量已达近3万亿并持续扩大，阿里巴巴获得的B系列芯片是否对其发展有显著帮助？

Kimi在研发阶段投入的算力资源已接近字节跳动等大厂的水平。以字节跳动为例，一个高级集群会为一个团队分配约2000张H100用于工程师日常的实验测试。而Kimi目前使用约两三百张B200芯片支持其研发工程师进行测试，考虑到芯片性能代差，两者在研发算力投入上可视为大致相当。

由于Kimi不像字节跳动那样需要在广泛的模态上投入资源，因此能够集中算力保证其核心模型的快速进步。这也反衬出腾讯的困境，其既缺乏Kimi这样高效利用的先进芯片，也缺少字节跳动的庞大合规算力储备，因此急需通过海外租赁来弥补研发环节的短板。

8，Kimi和智谱AI这类公司在利用海外算力进行模型训练时面临哪些具体挑战？

Kimi和智谱AI在模型研发阶段可以利用B系列芯片（如B200或B300）快速推进，因为研发代码的归属地难以界定，监管难度大。然而，在模型训练阶段则面临严峻挑战。国内的算力租赁方无法一次性提供足够大规模的B系列芯片集群，迫使它们必须串联多个不同机房的算力，导致算力利用率极低。为了获得上万卡甚至数万卡规模的单一集群，它们曾尝试将国内数据传输至东南亚的IDC进行训练，但这种做法因违反数据跨境规定而被调查。因此，Kimi的下一代模型训练可能会陷入两难：要么接受国内多机房串联带来的低效率，要么需要设计各种变通方案。其研发进展不会受阻，但模型训练环节将成为瓶颈。

9，展望至2027年，国内大模型公司的训练算力将主要依赖于自研芯片（如平头哥、昇腾910DT）还是其他方案？

预计届时大型科技公司的优势将更加凸显。字节跳动、腾讯、阿里巴巴等公司一定会大规模采购如昇腾910DT这类国产芯片。采购国产芯片主要基于两方面考量：一是其已建立的口碑效应；二是可以构建安全的国产供应链，规避潜在风险。因此，即使这些芯片训练出的模型并非直接用于一线生产，大厂也必须进行前瞻性布局。例如，字节跳动即便已有充足的英伟达芯片储备，仍在持续采购昇腾950系列芯片，这体现了其提前布局国产算力生态的战略意图。

在模型训练策略上，不同公司的现金能力和业务广度是关键分水岭。现金储备不足或业务范围较窄的公司，通常无力参与构建所谓的“国产链”算力储备。对于需要持续提升模型能力以维持市场竞争力的大语言模型公司，例如Kimi，其训练过程在大部分时间内可能都处于不合规状态。由于模型迭代速度快、参数量要求高，训练任务仍需依赖B卡来完成，而国内法规对此目前采取的是相对宽容的态度。即使是阿里巴巴这样的大厂，其大语言模型的研发也主要在B卡上进行。

对于阿里巴巴、字节跳动等公司的一线生产模型，尤其是多模态模型的训练，则呈现出不同的情况。多模态模型的训练不涉及过多敏感数据，例如漫画等内容难以界定国别，因此可以利用海外算力进行一部分训练。其技术特性也决定了，实验阶段获得的有效参数和权重可以直接应用于后续训练。因此，阿里和字节的海外算力在多模态模型训练上能发挥一定作用。在国内，尽管阿里巴巴可能会使用其自研的平头哥芯片进行最核心、最旗舰的大模型演示，但其余所有核心大语言模型的训练仍会使用英伟达的GPU。

10，从业务驱动模式来看，互联网大厂（如阿里、字节、腾讯）与独立大模型厂商（如Kimi、智谱AI）的核心差异体现在哪些方面？

互联网大厂与独立大模型厂商在发展路径上存在显著分歧。大厂普遍优先选择离商业化更近、能快速形成“圈地效应”的业务。

在To B云服务领域，市场格局已接近终局。火山引擎和阿里巴巴凭借丰富的模型矩阵以及与国家AI+政策的高度契合，已占据超过80%的市场份额。例如，字节跳动推广手机操作系统、与上汽和特斯拉合作进行车载嵌入，这些布局虽在当下看似投入巨大，但与国家2027至2028年的AI产业政策方向高度一致。两家公司的优势各有侧重：阿里的核心优势在于拥有平头哥等自研算力产业链，这在涉及IaaS层算力租赁的AI云服务中至关重要；字节的优势则在于其巨大的多媒体流量，但其算力依赖寒武纪，缺乏自研能力。尽管优劣势不同，但这两家公司凭借模型、算力及前瞻性的应用布局，已在AI云服务赛道上站稳脚跟，腾讯等后来者即便在2026年底推出新的大语言模型，也很难撼动现有格局。

在应用层面，主要参与者是字节、阿里和腾讯。腾讯推出WorkBuddy更多是由于上半年模型能力不足的无奈之举，这类产品缺乏护城河，最终的用户粘性仍需依赖自身生态。然而，腾讯的生态相对单一，主要依赖微信，开放度受限。在C端应用上，字节跳动正致力于将“豆包”打造成一个集电商、本地生活、广告于一体的超级入口，并计划与汽车等硬件设备互通，其生态优势正在逐步显现。

相比之下，独立大模型厂商无法参与上述由生态驱动的竞争。他们追求AGI的路径在商业化上存在问题。因此，在未来6到12个月内，国内的DeepSeek、智谱AI、Kimi、MiniMax等公司，其核心目标并非实现通用人工智能，而是建立市场口碑。他们的下一步必然是与云厂商合作，通过PaaS形态实现商业化。当前所谓的“追求AGI”，实质上是为了在特定行业或场景中建立模型能力的口碑，例如智谱AI强调其编程能力，从而在与云厂商进行收入分成时获得更高的话语权。预计从2026年第四季度到202 7年上半年，这些模型厂商的产品迭代将更聚焦于特定行业和场景，以凸显自身在某一领域的专业优势。