2026.10.12 | AC | China AI | Qwen Expert: 5T Model Training & RSI

摘要

本文核心要点包括：1， 国内训练5T参数模型卡点及应对策略2， Qwen后续参数提升展望3， 国内实现RSI难点4， 各家对蒸馏技术依赖度变化

正文

以下为专家观点：

1，近期阿里管理层公开表示要训练5T参数以上的基础模型，从国内现状来看，训练此类超大规模模型的主要瓶颈体现在哪些方面？若该类模型得以实现，哪些厂商的成功概率更大，届时国内大模型市场的竞争格局又将如何演变？

训练5T参数规模的模型，其瓶颈主要体现在以下几个方面：

首先是基础设施层面的带宽问题，这包括片内带宽和片间互联带宽。片内带宽主要指HBM的性能，例如HBM2或HBM3的带宽约在2TB至4TB，而更先进的HBM4e则能达到6TB至7TB。片间互联带宽在分布式训练中至关重要，因为训练过程采用“all-to-all”通信模式，专家模型被分布式部署在不同机器上，训练完成后数据需要回传，带宽直接影响训练效率。对于5T参数模型，其专家并行的数量会显著增加，对带宽的要求极高。

其次是数据层面，必须有足够的高质量数据来匹配5T参数的训练需求，否则仅用原有数据无法训练出理想效果。

最后是成本问题，即使模型训练成功，高昂的推理成本也会成为商业化的障碍，因此需要在模型架构上进行极致优化，例如实现百万级上下文处理并降低推理成本。

2，针对训练超大规模模型的瓶颈，目前行业内有哪些解决方案？在国内厂商中，哪几家更有可能率先实现5T以上参数模型的训练？

目前，训练此类超大规模模型仍然高度依赖于NVIDIA的先进计算卡，特别是B系列（如B200、B300）以及H200。要进行5T参数级别的训练，厂商必须持有数万张此类先进卡，无论是通过购买还是租赁。基于这一标准，国内具备相应算力资源的大厂主要是阿里巴巴、字节跳动和腾讯。创业公司中，DeepSeek拥有约4万多张先进卡，但其整体卡池中仍包含较多旧型号，算力储备尚有不足。智谱AI、Kimi和MiniMax等公司则在先进卡的数量上存在明显短缺，难以支撑数万张级别的训练集群，因此它们可能不会一步到位，或将先尝试2T至3T参数规模的模型。整体来看，大厂凭借其雄厚的算力储备，将率先推出5T以上参数的模型，而中小厂商由于算力获取滞后，其研发节奏会慢一拍，可能需要等待大厂释放富余算力后才能跟进。

3，阿里巴巴目前持有NVIDIA B系列计算卡的具体规模是多少，其在国内外的分布情况以及后续的分配策略是怎样的？

到2026年第四季度末，阿里巴巴在全球范围内可调度的B系列计算卡总量将达到约10万张。具体分布上，国内持有约4万多张，主要通过租赁方式获得；海外则持有5至6万张，部分为自有资产，部分为租赁。这些算力资源会进行动态调配。此外，部分算力也会根据闲置情况租借给被投企业，例如智谱AI和MiniMax，可调用的B卡规模在一到两万张。当内部训练需求紧张时，这些外部租借的算力会被回收以满足自身需求。

4，在数据层面，国内头部大厂与中小厂商在预训练数据和后续数据获取方面存在哪些差异？

在预训练数据量方面，头部大厂普遍拥有约40TB的数据，而中小厂商则在25TB至30TB之间。这其中的差距主要体现在垂直领域的专业数据上。通用数据方面各家相差不大，基本在20TB至25TB的水平，而差异化的十几个TB专业数据则构成了大厂的优势，这源于其更大的投入。其中，字节跳动在数据采购上的投入尤为突出，近一年多来约为阿里巴巴的1.5倍，因此其拥有的垂直数据最多。大厂正逐步构建基于高质量数据驱动的RLHF闭环训练体系。相比之下，中小厂商早期依赖蒸馏等方式提升模型能力，但随着主要模型提供方切断蒸馏路径，它们后续将更多依赖端侧数据、被集成应用回流的部分数据以及自产的合成数据，但整体数据量级难以与大厂匹敌。

5，综合来看阿里会筛选推出5T参数的模型？相应时间预期？

预计阿里巴巴将最先推出5T级别以上的模型。其算力、数据积累以及模型架构已准备就绪。预计在2026年第四季度后半期，阿里巴巴将发布千问下一代模型，该模型的参数规模不一定会一步到位，但会从当前2.4T的基础上逐步提升，例如先达到3T至4T，再向5T迈进。在其他厂商中，DeepSeek因与昇腾关系密切，其模型与硬件适配较好，有可能推出参数量达一两万亿或两三万亿的大模型，位列其后。整体来看，字节跳动在模型推出的节奏上要慢于阿里巴巴。

6，如果千问率先达到5T参数规模，这是否意味着其模型综合能力将达到行业领跑水平？

千问的模型能力提升不仅依赖于参数规模，更取决于其训练范式的演进。目前，千问已不再将单一的coding能力作为唯一发展方向。其训练范式已在多个方面与国内外第一梯队对齐：首先，从3.8、3.9到4.0等版本开始，已局部采用数据回流机制来提升模型性能；其次，训练范式已全面转向基于Agent的强化学习，并相应地迁移了数据工程。下一代模型预计将在上下文理解、深度思考及推理效率方面有大幅提升。更重要的是，新模型将强化与第三方工具的协作能力，实现对外部工具的直接控制和调用，这与海外前沿的训练范式趋于一致。相比之下，国内其他厂商仍在补全其在通用Agent能力方面的短板。由于训练范式走在正确的路径上，未来追赶国际先进水平的速度有望加快。

7，目前国内厂商在实现RSI这类训练方法时，其难度、关键点以及应用现状如何？

在国内，目前主要由阿里巴巴和智谱AI在探索递归自我改进技术。该技术的核心难点在于构建一个从用户输入、模型输出到用户反馈的自动化数据闭环。这个过程需要能够自动梳理和标注回流数据，并用于模型迭代，同时减少人工干预。数据源的获取是关键，若依赖传统的购买或网络爬取，则无法实现自动化。

阿里巴巴已经基于其办公工具（包括钉钉）及其他已售产品的数据，形成了小范围的数据回流，实现了针对模型在实际应用中出现的问题进行数据抓取、修复、验证和迭代的闭环。目前这一闭环主要用于小版本迭代和验证，尚未应用于完整的预训练，但已能自动构建训练数据来支持模型优化。

智谱AI也正在进行相关尝试，但其挑战在于前端数据源的规模。尽管其Z-code产品用户量约几十万，规模尚不够大，但也可以逐步构建类似的数据回流机制。

预计到2026年第四季度，阿里巴巴和智谱AI将能形成局部的RSI自我改进系统。到2027年第一、二季度，该系统的应用范围可能会进一步扩大。目前，其他国内厂商尚未掌握这项技术。

8，RSI对算力有何具体要求？

RSI对算力提出了新的要求。传统的预训练模式是周期性的，例如每三个月或一个半月进行一次，中间存在算力闲置期。而RSI驱动的模式则需要一块专用的、固定的算力持续运行，用于模型的自我进化。虽然单次运行的算力需求可能不及预训练，但其使用频次和时长显著增加，因为它需要根据回流的数据进行不间断的、小版本的自我迭代训练。因此，在算力规划中，必须为RSI系统划分出专用的算力资源，并确保这部分算力不受其他任务的干扰和占用。

行业内许多公司已经推出了agent产品，跟进RSI的关键在于解决前端入口端的数据回流问题。以腾讯为例，其团队已经在研究相关技术，并拥有足够的数据基础，下一步的重点是如何构建混合式模型。尽管腾讯目前尚未处于第一梯队，但其潜力在于能够依托自有数据生态形成反哺，从而挖掘模型的潜能。腾讯此前已完成了混合式模型的reward机制和数据工程的梳理工作，下一个版本迭代的方向就是实现模型的自我迭代。

9，腾讯与Oracle达成算力租赁协议，计划在东南亚获取约10万颗先进芯片，其主要战略意图和中短期成果预期是什么？

腾讯寻求海外算力主要有两个目的：

首先，用于其混合式大模型的迭代。由于不像阿里拥有可依赖的自研芯片，且昇腾芯片尚未承接其训练任务，腾讯在算力方面较为紧迫，因此需要寻找新的算力资源来补充其规模。

其次，支持其产品的海外扩张。腾讯的Work Body产品在国内已形成一定范式，下一步计划是向海外市场，特别是东南亚地区进行推广，将用户覆盖范围扩展至非中文区域，以提升整体产品力。因此，该举措一方面是为了下一代模型的探索，另一方面是为AI智能产品在东南亚的推广提供算力支撑。

10，当前从OpenAI等先进模型进行蒸馏的现状如何，是否仍可行，成本和难度有何变化？

目前蒸馏仍然可行，但难度已显著增大。首先，虽然存在封禁账号的措施，但这可以通过在海外操作等方式规避。其次，更主要的挑战来自于模型采取了上下文防守策略。当模型探测到蒸馏行为时，其回复中的CoT会变得非常简化，甚至混入其专有AI才能解码的信息，导致有效信息捕获率（例如可能只有10%）降低。为应对此问题，业界发展出了“诱导性蒸馏”技术，即通过更换账号、从不同角度设计大量问题（例如将5个核心问题扩展为10组共50个问题）来获取更全面的原始信息，但这极大地增加了后续数据清洗的难度。此外，在agent时代，蒸馏的局限性愈发明显，因为模型调用外部工具的过程和数据无法通过蒸馏获取，这部分能力只能依赖于自有数据和应用生态的反哺回路。

11，目前哪些公司对蒸馏的依赖度较高，例如阿里和字节的情况如何？

阿里仍在进行蒸馏，但操作更为隐蔽，且通过海外人员执行。字节跳动方面，其负责人已明确表示不再进行蒸馏。而部分小厂仍在继续，只是采用了更为间接的方法。总体而言，蒸馏这条路径正变得越来越窄。通过蒸馏或许可以在上半年拉近在coding等方面的差距，但对于后续通用能力的提升作用有限。因为未来的模型将是环境驱动的，需要与大量外部工具联动，而这种联动过程产生的数据是无法通过蒸馏获得的，必须依赖于自身体系内的实际应用沉淀。