2026.09.23 | 9K | LLM | China Lab Expert: Long-Horizon Coding Gap
原标题：头部模型厂商离职研发专家|国产模型与海外头部模型在长程Coding上的差距扩大，智谱任务耗时高2到3倍、海外模型Token消耗少3到4倍且单次通过成功率高20%到35%，国内约10万片NVIDIA B300难以支撑5万亿参数训练，蒸馏受限与国产卡无法预训练或使未来约6个月转向工程、价格和场景优化
摘要
国产模型短板集中于长程Coding、Agent规划和训练资源，海外模型Token消耗少3到4倍、成功率高20%到35%。NVIDIA B300与蒸馏数据受限后，未来约6个月能力升级或趋缓，商业化将更多依靠降价、工程优化及办公场景渗透。
要点
- 国产模型与海外头部模型的实际任务差距有所扩大：智谱完成同一任务平均多花2到3倍时间，海外模型Token消耗量少3到4倍、单次通过成功率高20%到35%，核心差距集中在长程Coding与Agent初始规划能力
- 在量化交易系统由Java迁移至C++的任务中，Kimi可能连续运行约4小时，智谱模型可能超过24小时；国产模型容易调用不存在的API，而海外模型会先核验本地函数、接口版本及参数变化再重写代码
- 国产模型预训练主要受算力约束，国内NVIDIA B300总量估计约10万片，下一代模型至少需要2万片，训练5万亿参数模型资源较紧张；国产卡目前无法承担预训练，只能补充部分后训练
- 当前大量能力提升主要来自后训练，但对蒸馏数据依赖较强，缺少蒸馏数据构建教师模型时表现可能连60分都达不到；海外模型压缩思维链已影响国内后训练，而现阶段合成数据质量可能相对较差
- 目前可调用约1万张B卡和十几万张国产卡，均应为租用资源，其中HG公司约3万到4万片、其余主要来自H公司；国产卡推理能力今年有所提升，但稳定性、发热、制程和算子生态仍限制训练
- 未来约6个月国产模型可能缺少明显能力升级，竞争将转向工程优化、用户分层和价格优化；Coding仍可向非一线大厂、外向型企业和非编程行业渗透，Co-work也可通过WPS Office等伙伴切入法律、财务和HR场景
Q:目前GLM 5.3的实际竞争力如何？能否结合客户的真实任务举例，对比智谱与实际测试的另外两三家模型，说明智谱在哪些任务上领先或落后，以及领先或落后的原因？
A:先看3D任务。开发3D游戏时，Kimi的模型会稍微领先，智谱在这方面的能力比较一般。差异主要在于智谱训练时可能没有使用太多3D数据。完成3D游戏任务需要相对较强的动态理解能力，还要基于动态理解能力进行评估和后训练；智谱在这方面的数据量和 数据质量都与Kimi存在差距，因此表现不如Kimi。
在一些相对复杂的编程任务上，例如大型工程重构，情况也类似。以量化交易系统为例，原系统使用Java开发，现在因为C++性能更高，需要将其迁移至C++。使用Kimi完成这个任务，连续运行时间可能约为4小时；使用智谱的模型，可能会连续运行24小时 以上。相比之下，Kimi在复杂编程、工程重构或编程语言转换任务上的表现更好。
Q:GLM和Kimi整体上与最新的海外头部模型相比表现如何？
A:如果只看开发简单的3D游戏，Kimi与海外模型的差异并不大，无论与其他海外模型还是GPT相比，差异都已不明显。目前的主要差异体现在长程Coding任务上，例如前面提到的大型工程和编程语言转换。这类任务的差异比较明显，海外模型整体能够比国 内模型连续运行更长时间。
Q:过去半年，GLM 5.2与海外模型的差距如何？现在升级到GLM 5.3，而对方也推出了新版本，这一差距是在扩大还是缩小？
A:从实际执行任务的体验看，我认为差距有所扩大。首先，海外模型单轮对话的响应速度很快。完成同一个任务，使用智谱模型平均会比海外模型多花2到3倍的时间，而且消耗的Token更多。海外模型的思维链相对较短，Token消耗也相对更少，说明海外模型 更加聪明。
Q:除了体验上的差距，是否有量化指标？例如思考和执行任务的时间、产出质量，以及处理更长任务的能力。
A:海外模型的Token消耗量大约比国内模型少3到4倍。就模型最终质量而言，海外模型整体的单次通过成功率比国内模型高20%到35%。
Q:能否复盘一个较长的多步骤任务，例如编程、研究或复杂办公任务？以智谱为例，国产模型通常在哪个步骤的失败率较高，原因是什么？
A:可以继续以量化系统从Java转换至C++为例。国内模型特别容易调用不存在的API。由于不同版本的版本号和接口存在差异，模型可能会调用旧版C++接口，但这些接口实际已经不存在。
海外模型较少出现这类错误，因为其思考方式与国内模型不同。它会先在本地安装的C++库中确认相关函数是否存在、传递参数是否发生变化，明确这些信息后再重写原有Java代码。因此，海外模型的整体成功率相当高，不太会出现误调函数或传错参数等问题。
Q:这一短板属于模型本身的问题，还是工程方面的问题？
A:这仍然是模型本身的问题。Agent如何工作需要由模型调度，并由模型给出调用工具的顺序和方案。如果模型在初始规划阶段就出现错误，后续便会产生这类问题。我认为海外模型的规划能力普遍优于国内模型。
Q:国内模型应如何改善或提升这方面的能力？基座模型确定后是否就无法修改，还是可以通过后训练改善？
A:可以通过后训练进行优化，例如开展任务训练和强化学习。早期可以先增加一些SFT，对模型进行提前引导，向模型提供正确的工作方法，而不是完全依靠模型自行探索一套方法。
Q:目前，这类后训练所需的数据容易获得吗？主要会寻找哪些场景的数据进行后训练？
A:我认为后训练数据相对容易获得。一方面可以使用用户数据，另一方面可以参考相关综合任务的数据。后训练特别依赖一套环境；具备环境后，可以在此基础上进行数据合成，因此这部分数据相对容易补充。
Q:是否出现过内部测试显示模型能力有所提升，但客户侧效果提升不明显的情况？如果有，通常是什么原因？
A:存在这种情况。有时客户面对的是比较边缘的案例，而边缘案例的数据通常不够充分，因此容易出现模型在常规测试中有所提升、客户侧效果却不明显的问题。
Q:这是所有模型都会遇到的问题，还是部分模型在这种情况下会表现得更好？
A:目前来看，这可能是模型的一个通病，基本上各家模型都存在这一问题。
Q:近半年有过一次较大的模型升级。目前模型能力的改善主要由哪些因素带来？是重新训练基座模型、增加训练数据，还是主要来自后训练？
A:目前，大量能力提升主要来自后训练；预训练带来的提升相对有限。
Q:这是因为缺乏更大的算力来训练参数规模更大的模型，还是因为目前预训练的边际提升已经有所减弱？
A:我认为主要还是因为缺乏更多算力。预训练的难度相对更高，其算力需求也比后训练更大。
Q:能否介绍后训练的过程，包括大概需要多少数据，以及训练新模型或进行大版本更新的时间节奏？新版本的发布时间由哪些因素决定，会不会同时储备多个版本？下一次大版本更新可能在什么时候？
A:目前不会同时保留很多版本，最多只有1到2个版本。模型训练具有很强的不确定性，是否发布某个版本，一方面取决于竞争对手的情况，另一方面取决于自身既定的研发节奏。
小版本一般每1到2个月发布一次。如果是重新开发一系列版本等较大的更新，周期会很长；尤其当参数规模调整较大时，周期基本在7到8个月以上。
Q:下一个大版本预计会在哪些方面取得较大提升？
A:下一个大版本的主要提升应该是参数量，其次是加强多模态理解能力。
Q:在Coding方面，长上下文和复杂任务处理能力也会得到提升吗？
A:会。
Q:应从哪些维度评价训练数据是否属于高质量数据？您刚才提到后训练数据比较容易获得，但高质量数据通常似乎并不容易获得，能否进一步解释？
A:高质量数据首先要包含比较完整的开发过程，而且源码工程的规模要相对较大。从GitHub项目的角度看，参与工程的人数要多一些，并且要有较多的Issue、Pull Request等内容。这些关联内容需要配对后放入训练数据。
从代码本身看，需要评估代码风格和代码质量，例如代码实际能否运行；还要考察代码中的函数和实现方法是否专业，而不是由新手编写。大约70%的代码质量因素可以通过这些方面判断。
Q:除Coding外，模型是否会适应新场景，并提升在这些场景中的任务解决能力？如果会，哪些场景会得到重点关注？
A:接下来比较重要的场景是办公，尤其是协同办公，即让模型像真实白领一样完成工作，例如处理Office任务。具体应用需要按照岗位划分，例如HR、财务和法律等，并根据每个垂直岗位进行定制。
Q:如果像Co-work一样进行推广，商业化会由公司独立完成，还是与软件公司共同推广并集成到对方的软件中？
A:会与合作伙伴共同推进，例如与WPS Office开展合作。
Q:从WPS Office的角度看，它会接入各家模型，还是优先使用表现更好的模型？
A:应该会接入各家模型。目前模型市场格局尚未完全确定，也没有形成某一家绝对领先的状态，因此基本上会接入多家模型。
Q:近期RSI受到较多关注。国内模型厂商目前能够实现RSI吗？如果在这方面表现较弱，与海外模型的训练差距是否会继续扩大？
A:目前各方在RSI方面的进展基本相近，主要停留在行业应用层面，包括开发外围工具和中间层，尚未真正深入神经网络本身。相对而言，海外模型的进展可能比国内模型稍快，因为海外模型的编程能力确实更强。
Q:目前许多工作仍停留在行业应用或外围层面，什么时候可能向更深层次发展？
A:我认为可能到明年，或者明年下半年，会出现AI直接参与设计AI的情况。目前更多是AI协助AI进行部署和工程优化，还没有真正实现AI设计AI。
Q:要真正落地AI设计AI，主要卡点有哪些？除算力外，还有哪些制约因素？内地厂商是否会受这些问题限制？
A:内地厂商目前可能会受限于神经网络设计。要做好AI自身的神经网络设计，首先需要具备非常丰富的知识，尤其是尽可能丰富的自然科学知识，才有可能参与AI设计；同时还需要深厚的计算机基础知识和数学基础知识。国内模型在Coding方面表现尚可，但在 其他自然科学知识的丰富度上，与海外模型仍存在很大差距。
Q:这方面的差距是否也很难在短期内弥补？
A:是的。弥补这些差距可能意味着要开展参数规模更大的训练，并进行一系列数据标注和设计，这是一项进展较慢的工作。
Q:以前是否可以通过蒸馏较好的海外模型，针对所需知识向其提问并获得更多数据？现在这一方式是否会受到限制？
A:只有当双方大致具备相同知识量时，蒸馏效果才比较明显。如果模型本身的知识量差异很大，蒸馏效果也不会太好。
Q:这里所说的知识量是模型参数的问题吗？
A:不完全是模型参数问题，主要还是训练数据。训练数据中需要包含大量跨学科内容，但内地没有那么多跨学科资料。
Q:RSI本身需要大量算力，还是主要受限于跨学科知识储备？
A:这取决于模型的智能程度。至少对国内模型而言，确实需要消耗更多算力，因为目前国内模型相对不够智能，需要进行大量反复尝试。
Q:有一种观点认为，受国内算力硬件限制，目前模型参数规模很难达到5T以上。您如何看待这一观点？
A:目前主要受算力限制。相关模型训练都基于NVIDIA B300，但NVIDIA B300在国内的数量不多，我估计总量可能只有10万片左右。如果要训练一个5万亿参数的模型，这一数量会比较紧张。
Q:这是否意味着硬件已经对模型参数量形成限制？各大模型厂商会不会不再重点投入预训练，而更多转向后训练？这样是否会使模型能力提升速度更慢、能力上限更低？
A:确实会产生影响，模型能力的上限也会更低。
Q:国内哪些模型厂商的算力相对更充足？例如字节是否更充足？
A:我认为阿里通义千问的情况可能更好一些。
Q:在B卡资源方面，阿里拥有的数量更多吗？
A:在内地，我认为阿里拥有的卡应该更多，但字节可能在海外拥有一些卡。
Q:整体从训练角度看，哪家公司能够调用更多算力资源？
A:整体而言，可能还是字节拥有的卡更多。
Q:国产大模型在训练策略上是否只能使用内地的B卡，很难利用海外算力资源？还是各家仍有办法调用海外资源？
A:目前各家也会调用海外资源，但相对比较困难。
Q:蒸馏对外部教师模型的依赖主要体现在哪些环节？
A:蒸馏主要用于两个环节。第一是SFT，可以在SFT阶段直接使用蒸馏数据，这是最简单且可能见效最快的方法。第二种方法是使用蒸馏数据塑造教师模型。这种方法训练出的模型能力可能更好，但需要投入更多算力，因为模型需要进行更多尝试。
Q:是否做过对照训练，即去掉或替换外部教师数据，在总训练量和算力相同的情况下，对比没有外部教师模型数据时的任务成功率或模型质量？两者差别大吗？
A:差别很大。如果没有蒸馏数据来构建教师模型，完全依靠自身模型，目前的表现可能连60分都达不到。
Q:海外头部模型增加了许多反蒸馏措施，目前是否已经对国内模型训练产生影响？
A:确实已经产生影响。海外模型压缩了思维链，而此前国内模型很依赖思维链数据来提升后训练效果，因此这一环节确实受到了影响。
Q:应如何解决这一问题？
A:目前似乎仍在尝试通过合成数据解决这一问题。
Q:如何评价合成数据的成本、可获得性和数据质量？
A:目前合成数据的质量可能相对较差。
Q:合成数据的质量差距未来能够解决吗，还是会持续处于较差水平？
A:未来有可能解决。如果RSI取得突破，未来本身就需要依靠AI构造数据，不太可能完全依靠人工构造数据。
Q:海外厂商会寻找一线行业人员，获取网上不易获得的跨学科知识、工作习惯等数据。国内厂商是否也会投入相应资金和成本，还是目前主要专注于Coding，不太愿意在其他领域的数据上投入？
A:现阶段，国内厂商可能还不会投入特别多的资源开展这项工作，因为算力相对更加紧迫，也没有太多资金可用于数据投入。
Q:客户调用模型时会产生和积累数据。对于长程任务，客户调用API后，是否可以直接获得这些数据，还是需要采取额外措施？
A:只要用户调用API，就可以获得相应的用户数据。这些数据基本基于对话产生，一次对话的数据会被视为一条较长程的数据。
Q:海外头部模型采取限制措施后，国产模型之间能否互相使用？例如使用表现领先的国产模型作为教师模型。
A:可以，没有特别限制。基本上哪一款模型表现最好，就可以使用哪一款模型作为教师模型。
Q:教师模型越好，对自身模型的提升就越大；如果国产模型的能力都比较接近，提升幅度是否也会相对较小？
A:是的。
Q:在实际操作中，竞争对手是否会将GLM作为教师模型来训练自己的模型？
A:好像也会。
Q:虽然国产模型与海外头部模型的差距正在扩大，但未来一年国产模型之间的实力会越来越接近，还是会形成其他格局？未来一年哪些厂商可能表现得更好？
A:国产模型可能会进入一段瓶颈期，因为现阶段蒸馏确实不太可行，需要重新探索一段时间。各家模型的能力可能会越来越接近，之后比拼的重点可能更多是工程能力。下一阶段可能表现较好的包括阿里、DeepSeek、支付宝和Kimi。
Q:这一排序是您个人深入思考后的判断，还是行业内的普遍看法？
A:这是我个人思考后的判断。
Q:当前模型提升面临的最紧迫问题仍是算力。如果训练所需的B卡非常紧缺，策略上会优先争取B卡用于训练，还是也会在训练端使用国产卡？
A:从训练角度看，仍会优先使用B卡。但目前B卡难以采购，因此只能先使用国产卡补充。
Q:如果确实无法获得B卡，厂商会使用国产卡进行训练吗？
A:国产卡目前仍无法进行预训练，只能承担一部分后训练。
Q:预训练算力不足，后训练数据又遇到瓶颈。综合来看，国产模型未来一年是否会面临较大困难？
A:是的。
Q:从您和同行的角度看，可以考虑哪些方法或思路来突破这些问题？
A:第一，研究新的蒸馏方案和蒸馏数据破解方法；第二，补充核心数据；第三，引入专家参与高质量数据标注。此前标注人员大多是大学生，难以称为真正的行业专家。
Q:国产芯片目前主要用于后训练和推理。现阶段能够调用多少B卡和国产芯片？
A:目前能够调用约1万张B卡，以及十几万张国产卡，其中主要包括H公司的卡。
Q:这十几万张国产卡主要来自哪些厂商，是ST芯片还是其他厂商的产品？H公司和HG公司分别大约有多少？
A:主要来自H公司和HG公司。HG公司可能有3万到4万片，其余应该都是H公司的卡。
Q:这些算力资源是否同时包含自有资源和租用资源？
A:这些卡应该都是租用的，没有自有卡。
Q:国产算力是否也存在紧缺问题？哪些模型厂商能够获得更多国产算力？
A:国内模型厂商中，获得国产算力卡较多的应该是DeepSeek。阶跃和MiniMax获得的国产卡不多，它们主要拥有较多B卡。智谱获得的国产算力也相对较多。
Q:与上一代产品或去年相比，国产卡今年在训练和推理方面是否有所进步？是否测试过或观察到相关现象？
A:国产卡在推理方面有所进步。目前国产卡更多采用以通信换存储的方式，与以前相比确实有所提升；但在训练端仍然难以胜任，因为国产卡普遍存在较大的稳定性问题。
Q:在国产算力卡中，有没有哪家厂商的产品未来2到3年可能用于预训练？
A:如果有可能，应该也只有H公司，其他国产卡可能都不够强。
Q:目前是否有人尝试使用H公司的卡进行预训练？H公司产品面临的主要卡点是什么？
A:H公司的产品主要有两个卡点。第一是芯片自身的发热和制程问题，其制程尚未达到英伟达2纳米、3纳米制程的水平。第二是生态问题，需要专业团队编写算子；H公司自身较少编写算子，算子的质量也不够好。
Q:国产模型完成长程任务时会消耗更多Token，这是由芯片、模型还是两者共同导致的？
A:两者都有影响。芯片精度不足会导致模型推理生成的Token质量略低，可能产生较多冗余内容。
Q:冗余内容较多主要是模型原因，而不是芯片原因吗？
A:更多是模型原因。模型训练时，许多蒸馏数据通过破解其他模型思维链的方式获得，因此数据中存在大量同质化内容。
Q:如果有厂商不使用其他模型的蒸馏数据，而是完全自行训练，理论上是否可以理解为其能力上限会更高？
A:不一定。它们首先需要解决数据问题，因为并没有那么多可用数据。
Q:如果不进行蒸馏，训练数据可以从哪些渠道获得？
A:第一是互联网数据，第二是人工标注，第三是采购数据，例如向相关机构购买。
Q:不进行蒸馏的厂商，其数据量与智谱相比更多还是更少？
A:单纯比较数据量的意义不大。客观而言，它们的数据量不会比智谱少。
Q:训练国产模型的下一代模型需要多大规模的芯片集群？
A:如果使用NVIDIA B300，可能至少需要2万片。
Q:国内NVIDIA B300的总量大约是多少？虽然资源比较紧张，但仍有一定数量，对吗？
A:大约有10万片。虽然资源比较紧张，但仍有一定数量。
Q:国产模型都在比拼Token价格。后续Token成本还能进一步下降吗？主要可以从哪些方面降低？
A:我认为可以继续下降。第一，优化模型架构；第二，优化推理算子，根据基础设施重新编写推理引擎的算子；第三，优化芯片选择，例如使用专用芯片或更先进的GPU。这些措施都可以降低推理成本。
Q:管理层提到将推出Co-work。能否举一个生产环境或客户案例，说明Co-work目前已经能够在哪些场景较好地完成任务？是否测试过实际验收通过率或错误率？哪些步骤仍需要人工接管？
A:例如在法律执行场景中，基本上可以替代律师助理，负责处理他人的问询、填写申请单等。律师事务所中有许多人员负责基础执行工作，例如处理各类申请表和查询法律法规，这些工作基本都可以由机器人完成。
Q:在国产模型中，哪些模型在办公或企业场景中的适配速度更快、表现更好？
A:目前相对表现较好的可能是通义千问或Kimi。智谱主要缺少渠道；通义千问自身拥有大量办公场景数据，因此切入这类场景相对更容易。
Q:公司是否在研发ASIC芯片？
A:是的，[智芯]也在开展相关研发。
Q:该芯片后续主要用于推理，还是也会用于后训练或预训练？
A:主要用于推理。
Q:客户使用Flash模型和GLM 5.3时，是由客户自行选择，还是由平台根据任务进行判断并选择实际调用的模型？
A:由用户主动选择，因为不同模型的价格不同。对于直接调用API的客户，客户选择哪一款模型，系统就调用哪一款模型。
Q:总体来看，国产模型未来一段时间的前景相对偏悲观，需要解决算力和数据问题后才能实现较大突破。您认为这种受限状态会持续1年、2年，还是更短？
A:我认为未来约6个月内，国产模型可能处于没有太多研究成果发布的阶段。厂商可能更多开展工程优化、用户分层和价格优化，但模型能力可能不会出现明显升级。
Q:如果模型能力没有同步升级，是否会影响商业化和营收增长？还是仍可通过提高AI渗透率和订阅率推进商业化？
A:影响不大。Coding在国内的渗透率仍然不高，可以继续向非一线大厂、外向型企业和非编程行业渗透。拓展这些场景时，关键是将价格降到足够低，收入规模仍有继续增长的空间。
以上仅供交流探讨，不构成投资建议