2026.09.23 | 9K | LLM | China LLM Channel Check IV

音频信息

音频标题: 260923 - Merit 国产模型调研Ⅳ

相关标的：undefined

议题：

完整音频链接：

音频纪要总结

专家访谈纪要

1. ARR增长与收入结构

a) 公司8月、9月及年底ARR预计达到什么水平？

• 当前ARR表现

1. 8月ARR约为11亿美元。

1. 9月前三周ARR已基本达到12亿美元，预计9月ARR为12亿至13亿美元。

1. 预计到今年年底，ARR可达到15亿至16亿美元。

• 增长驱动因素

1. K3上线后贡献了当前大部分新增收入，旗舰模型具备较强议价能力。

1. K2.8 Preview上线后，推理算力瓶颈有所缓解，公司重新开放面向个人用户的Coding Plan订阅，推动9月ARR高于8月。

1. 后续云厂商分销与抽佣业务有望成为ARR的重要增量来源。

b) 国内与海外市场的收入占比如何？

• 海外市场占比约为60%。

• 国内市场占比约为40%。

• 国内业务受到推理卡供给限制较大；海外业务可以使用AWS、Google、Microsoft等云厂商的资源，算力约束相对较小。

c) Coding Plan目前采用什么商业模式？

• Coding Plan主要面向C端用户，以个人订阅模式为主。

• 6月17日K3上线后，由于推理算力紧缺，公司一度关闭C端订阅。

• K2.8 Preview上线并缓解算力瓶颈后，公司重新开放C端订阅。

• 个人订阅仍是当前商业化的重要组成部分，但未来云厂商合作收入的重要性将持续提升。

d) 公司未来的ARR目标是多少，云厂商收入如何计入口径？

• 公司希望到2027年年底实现35亿至40亿美元的ARR。

• ARR统计口径尚未最终确定，但专家判断，如果目标仅为30亿美元，大概率只计入公司实际获得的分成收入，而非云厂商基于模型产生的全部收入。

• 如果将AWS、Google等平台上的相关交易总额全部纳入，目标规模可能需要提高至80亿至100亿美元。

• 因此，较合理的口径是按公司实际抽佣或分成收入计算ARR。

2. 海外商业化与云厂商合作

a) Kimi整体出海方案是什么？

• 主要合作对象

1. 海外重点合作云厂商包括AWS、Google和Microsoft。

1. 海外推理算力主要来自这些大型云厂商。

• 主要商业路径

1. 通过海外分销渠道持续销售Token。

1. 通过非MIT开源协议开放模型权重，并对达到一定收入规模的商业托管服务收取分成。

1. 模型进入云厂商模型池后，商业模式从调用云厂商算力销售Token，逐步转向按下游收入抽佣。

• 战略意义

1. 海外流量能够支持较高的ARR增长目标。

1. 海外云厂商资源可以缓解国内推理卡供给不足的问题。

1. 商业化、资本化及上市进程正在同步推进。

b) 非MIT开源协议下的分佣规则是什么？

• 个人开发者、研究机构及年营收低于2000万美元的主体原则上不受限制。

• 如果企业或关联方通过托管服务运营模型，并在任意连续12个月内总营收超过2000万美元，需要与公司另行签署商业协议。

• 协议通常会涉及：

1. 收入分成比例。

1. Token定价的保底区间。

1. 数据安全与隐私规则。

1. 收入及Token使用量的审计权和审计方式。

1. 出口管制及其他合规条款。

c) 与海外云厂商合作的实际分成比例是多少？

• 协议最初设定的分佣比例为30%，但实际执行难度较大。

• AWS等大型云厂商获客能力和议价能力较强，实际可谈的分成比例通常约为12%至15%，部分合作可能达到18%。

• 结算基础通常是云厂商部署K3后，基于K3产生的下游实际收入。

• 云平台上的实际成交价通常低于公开案例价，因此最终收入还会受到折扣和结算口径影响。

d) 为什么海外云厂商合作进展较慢？

• 数据安全与隐私限制

1. 用户数据通常在AWS等云厂商的数据沙盒中运行。

1. 推理请求多采用零数据保留机制，公司无法获得完整用户数据。

1. 无法取得的数据不能用于底层模型训练，也难以沉淀为后续模型优化素材。

• 监管及合规问题

1. 合作涉及数据使用边界、固定存储规则、隐私合规和审计规则。

1. 美国对高端模型、算力及相关服务的出口管制较严格。

1. 海外云厂商调用和分销模型可能触及部分出口管制条款。

• 商业谈判问题

1. 云厂商议价能力强，原定30%的分成难以落地。

1. Token价格、保底区间和收入审计机制需要逐项谈判。

1. 国内合作洽谈相对更快，海外推进速度低于市场预期。

e) 云厂商合作收入未来希望占到多大比例？

• 公司希望云厂商分销及抽佣业务未来至少贡献35%以上的ARR。

• 实现这一目标的前提是持续保持旗舰模型能力，使用户愿意主动选择Kimi模型。

• 如果模型不再处于领先位置，即使已经进入云厂商模型池，平台也可能减少推荐和调用，最终无法形成稳定分成收入。

3. K2.8与K4模型规划

a) K2.8 Preview主要提升了哪些能力？

• 多模态能力

1. 增强多模态理解、视觉生成、语音理解及GUI能力。

1. 在原生多模态预训练阶段加入图片、视频和语音数据，而非完全依赖后期拼接。

1. 模型可理解视频、图片和语音，并具备输出部分视频及语音内容的潜力。

• GUI与Computer Use

1. 强化系统级GUI理解和端到端系统操作能力。

1. 在后训练阶段加入Computer Use轨迹。

1. 能够理解既有操作流程，并基于相关流程执行新任务。

• Coding与Agent能力

1. 后续正式版将补强代码库修复能力。

1. 预计在ProgramBench、SWE类任务上取得更好表现。

1. 重点强化长程Coding、知识型代理、Deep Research及复杂Agent任务。

1. 提升工具调用准确率、减少任务中断，并完善不同路由下的MCP生态。

b) K2.8正式版预计何时上线？

• K2.8正式版本预计在Q4推出。

• 正式版将重点加强：

1. 代码生成及代码库修复。

1. 长程、复杂Agent任务。

1. 工具调用准确性与稳定性。

1. 视觉、音频、视频等多模态联合任务。

c) K4的模型规模和核心定位是什么？

• K4定位为下一代大参数旗舰模型。

• 参数规模预计约为4.5万亿至6万亿，较K3明显提升。

• 核心方向包括：

1. 更强的通用世界理解。

1. 原生多模态理解与生成。

1. GUI和Computer Use能力。

1. 长程Agent及复杂任务执行。

1. 通过更大规模预训练推动通用能力涌现。

• K4推理成本预计明显高于现有模型，可能需要后续蒸馏出中端或低端版本，以满足本地部署和低成本使用需求。

d) K4原定何时发布，现实发布时间可能是什么时候？

• 原定里程碑为今年年底，但由于高端GPU数量不足，实现难度较大。

• 如果Q4能够补充足够的GB200、GB300等高端卡，预计K4可于明年Q1上线。

• 如果算力无法及时到位，发布时间可能延至明年Q2甚至Q3。

• 专家认为，若推迟至Q2或Q3，市场意义会明显下降，因为届时海外及国内竞争模型可能已经完成多轮升级。

e) 训练K4需要多少高端算力？

• 训练K3时，公司曾协调约2.5万张高端卡，可支持约2.8万亿至3万亿参数模型进行4至5个月研发。

• 如果训练约5万亿参数的K4，预计需要约4万至5万张高端卡。

• 训练规模进一步扩大后，对GPU数量、集群稳定性、HBM和训练基础设施均提出更高要求。

• 当前最大约束并非模型设计，而是能否在有限窗口期内获得足够高端算力。

4. 算力资源与国产芯片适配

a) 国内高端B卡总体存量和分布如何？

• 国内云厂商、中立云及模型厂商合计可能拥有约12万至14万张B卡。

• 其中：

1. 阿里云拥有最多，约8万张。

1. 火山引擎约有2万张。

1. 无问芯穹等中立云厂商约有1.5万张。

1. 其余约1万至2万张分布在各模型厂商手中。

1. 部分模型厂商单家约拥有5000至6000张。

• 云厂商持有的算力需要对外商业化，并不意味着内部模型团队可以无条件使用。

b) Kimi目前训练侧和推理侧分别需要多少算力？

• 按等效高端卡计算：

1. 训练侧约需要2万至2.5万张。

1. 推理侧若按B200等效计算，约需要3.5万张。

• 推理侧目前较少直接使用B卡，主要使用英伟达H200、H800等H系列卡，占比约60%至70%。

• 其余推理资源主要来自国产芯片，包括昇腾、海光、牧曦和昆仑芯等。

c) 国产推理芯片中哪些产品适配效果较好？

• 目前华为昇腾体系整体表现最好。

• 公司正在使用昇腾相关单卡及超节点产品。

• 从MFU及每秒百万Token吞吐效率来看，昇腾在国产卡中处于领先位置。

• 主要限制在于：

1. 代工良率和产能较低。

1. 年产量有限，公司难以获得足够数量的卡。

• 其他国产卡情况：

1. 海光590性能约为昇腾同类产品的70%至75%，690尚未形成大规模出货。

1. 牧曦当前国产化适配率约为35%至40%。

1. 昆仑芯和牧曦在公司推理资源中的数量相对较少。

1. 其他厂商缺少类似华为的成熟超节点方案，因此综合性能仍有差距。

d) 为什么GPU不足会显著影响国产旗舰模型的进度？

• 旗舰模型需要4万至5万张高端卡进行数月连续训练，单家模型公司难以独立获得足够资源。

• 各大模型团队、云厂商内部团队同时争夺高端卡，训练资源高度紧张。

• 旗舰模型的训练管线无法与其他模型完全共享。

• 算力不足不仅会延迟模型发布，还会压缩市场机会窗口。

• 如果下一代旗舰模型无法保持领先，开源商业化、云平台分成及高毛利能力都将受到影响。

5. 模型行业竞争与算力战略

a) 为什么行业会持续发布中小版本模型？

• 大型旗舰模型通常需要半年左右的训练周期，对高端算力要求极高。

• 当GPU不足时，厂商仍需保持市场曝光和用户活跃度，因此会每1至2个月发布一个非旗舰或垂类模型。

• 行业正在形成路由化模型体系：

1. K3、K4等旗舰模型。

1. K2.8等中端或垂类模型。

1. 更低成本的轻量模型。

• 非旗舰模型主要用于吸引用户、控制推理成本和保持PR热度；旗舰模型则承担品牌、毛利和议价能力。

b) 为什么下一代旗舰模型决定毛利率水平？

• K3上线后，公司ARR和毛利迅速提升，证明大型旗舰模型具有较强议价能力。

• 中小模型竞争激烈，往往需要通过低价留住用户，毛利率较难提高。

• 只有具备明显能力领先的旗舰模型，才能：

1. 维持较高Token价格。

1. 获得云厂商分佣。

1. 吸引高价值专业用户。

1. 沉淀更高质量的行业数据。

• 各厂商因此持续争夺GPU和数据，竞争逐步演变为资源投入与研发效率的竞争。

c) 为什么豆包拥有较多算力，但模型表现未同步领先？

• 云厂商持有的算力需要商业化，并非全部供内部模型团队使用。

• 豆包早期在基础设施稳定性、数据环境和训练流程方面存在不足，导致部分项目进度延后。

• 其战略更重视DAU、MAU和流量入口，而非单纯追求模型榜单表现。

• 免费或低价使用量较大，为控制成本采用算力分层：

1. 高并发时用户可能被分配到负载较高、推理深度压缩更大的集群。

1. 首Token延迟较高，影响用户对模型智能程度的感知。

• 团队资源也被分散至飞书、商业化及视频生成等方向。

• 专家判断，这更多是ROI导向下的战略取舍，即通过模型吸引流量，再在抖音、TikTok等生态内实现商业转化。

d) 国产模型未来与海外头部模型的差距会如何变化？

• 专家判断，如果K4按计划于明年Q1发布，其部分通用能力和Coding能力有望超过届时部分海外现有模型。

• 可能实现领先或超越的方向包括：

1. 部分通用智能能力。

1. Coding能力。

1. 非复杂推理类细分任务。

• 在数学、Deep Research和复杂逻辑等领域，可能仅能持平或略弱。

• 其他参数规模较小或发布较晚的国产模型，可能仍落后3至4个月。

• 结论并非全面超越，而是在特定能力上缩小差距或实现局部领先。

6. 数据、蒸馏与合成数据

a) K3训练中蒸馏数据占比是多少？

• K3的蒸馏数据占比约为15%至20%。

• 国产模型对蒸馏数据的依赖正在逐步下降。

• 当前更有价值的目标不是简单复制输出，而是获得：

1. 高质量思维链数据。

1. 数据配比信息。

1. 部分数据权重和推理轨迹。

b) 头部闭源模型加强防蒸馏后，蒸馏是否仍然可行？

• 技术上仍可进行，但成本和难度显著提高。

• 可能需要：

1. 大量IP和账号。

1. 极高并发访问。

1. 对分散输出的思维链进行拼接。

1. 持续规避知识块封堵和访问限制。

• 整体过程缓慢、成本高，因此公司不建议将蒸馏作为主要路径。

• 并非每一代模型都必须重新蒸馏，相邻版本的数据质量差异可能有限，可通过数据筛选、合成与自有用户数据弥补。

c) 为什么长期依赖蒸馏不利于建立竞争优势？

• 蒸馏模型通常只能达到原模型约80%至90%的能力。

• 基座模型不同会导致蒸馏后仍存在能力差距。

• 过度蒸馏无法形成自身独特能力，只能依靠价格竞争。

• 一旦海外模型推出更低价的中端版本，蒸馏模型将失去成本和能力优势。

• 海外模型正通过MOE、稀疏注意力等架构降低推理成本，长期可能进一步扩大差距。

• 因此，公司更倾向通过自有预训练、架构创新和真实用户数据建立差异化。

d) 当前数据供给是否构成明显瓶颈？

• 整体数据问题相对可控，数据来源包括：

1. 真实用户在业务和生活场景中产生的数据。

1. 合成数据。

1. 多模态图片、视频和语音数据。

1. 外部专业数据供应商。

1. 少量高质量蒸馏数据和思维链数据。

• 对于预训练，高质量数据仍是重要瓶颈，其重要性可能高于单纯增加算力。

• 对于后训练，高质量轨迹和偏好数据相对充足，算力约束更突出。

e) 合成数据主要通过哪些方式生成？

• Self-Critique与拒绝采样

1. 模型针对同一问题生成多个候选答案。

1. 通过验证器和奖励模型打分。

1. 保留最优回答作为训练数据。

• 过程奖励模型PRM

1. 不只评价最终答案，还对每一步思维链进行标注和打分。

1. 复杂Agent任务可拆分为10至20个子步骤。

1. 每个步骤完成后由PRM验证，合格后纳入训练。

• 形式化验证

1. 适用于数学、Coding、逻辑等具有客观答案的领域。

1. 通过编译器、解码器或求解器验证模型答案。

1. 保留可以被客观验证的高质量数据。

f) 合成数据存在哪些风险？

• 长期大量使用合成数据可能导致模型坍塌。

• 真实数据多样性下降，容易出现过拟合或欠拟合。

• 合成数据质量高度依赖验证器，如果验证器能力不足，错误也会被引入训练。

• 数据多样性控制仍是关键问题。

• 通常采用真实数据和合成数据混合训练：

1. 真实数据约占30%至50%。

1. 合成数据约占50%至60%。

1. 具体比例根据任务和模型阶段调整。

7. 模型能力提升的核心因素

a) 算力、算法和数据分别贡献多大？

• 影响模型能力的主要因素有三个：

1. 算力和基础设施，包括GPU、HBM及集群能力。

1. 算法和技术架构创新。

1. 高质量训练数据。

• 从整体权重看：

1. 算力约占50%。

1. 算法创新约占25%至30%。

1. 其余贡献来自数据。

• 分阶段看：

1. 预训练阶段，高质量数据的重要性可能高于算力。

1. 后训练阶段，算力的重要性高于数据。

b) 国内头部模型目前主要依靠预训练还是后训练提升？

• 当前大部分小版本模型主要依靠后训练提升。

• 厂商通常保持预训练架构不变，通过RL加入轨迹数据、Agent数据和合成数据，重点提升Coding、Agent等单项能力。

• 行业已形成交错迭代节奏：

1. 每2至3个月发布一个小版本，主要进行RL和后训练优化。

1. 每5至6个月发布一个大版本，主要通过新一轮预训练提升通用能力。

• 预训练决定通用能力和模型天花板，后训练主要强化垂直能力。

c) KDA架构创新能够带来什么价值？

• Kimi KDA是一种压缩注意力机制，采用较高比例的单层压缩。

• 下一代KDA 2将进一步提升压缩能力，并结合Linear Attention。

• 其工作方式包括：

1. 结合历史窗口和当前本地窗口。

1. 动态寻找最有效的信息源。

1. 先筛选关键信息，再与当前有效信息组合。

• 主要价值：

1. 显著降低KV Cache。

1. 减少显存占用。

1. 降低推理算力要求。

1. 提高并发性能。

1. 改善长上下文和复杂任务的处理效率。

8. Kimi的领先优势与模型路由策略

a) Kimi目前相较其他国产模型厂商的优势是什么？

• 研发进度优势

1. K3已经形成旗舰模型能力。

1. K2.8 Preview已完成多模态和Agent方向的迭代。

1. K4已经明确大参数旗舰路线。

• 算力资源优势

1. 除云厂商外，公司自身掌握的B卡资源相对较多。

1. 训练侧具备一定规模化资源协调能力。

• 数据优势

1. K3上线后吸引大量专业用户和B端客户调用。

1. 真实业务场景产生了高质量行业数据和问题数据。

1. K2.8 Preview吸引了大量有视觉、视频、图片处理需求的专业用户，沉淀了高质量多模态数据。

b) 为什么领先模型会形成强者愈强效应？

• 旗舰模型能力领先后，会吸引更多专业用户和高价值业务调用。

• 更多调用产生更高质量的真实数据。

• 更高收入和用户规模有助于获取更多GPU和基础设施资源。

• 更多数据和算力又可以训练更强的下一代模型。

• 如果K4延续K3的领先优势，将进一步积累数据，并为K5训练创造条件。

c) 模型能力越强、推理成本越高的问题如何解决？

• 主要通过模型路由和多层产品矩阵解决。

• 当前定位：

1. K3为旗舰模型，能力和毛利率较高，定价也较高。

1. K2.8为中端模型，价格较低、性价比较高。

• 未来可能形成4至5个层级的模型，包括旗舰、次旗舰、中端和低端模型。

• 不同价值的任务被路由至不同成本的模型，以平衡用户体验和推理成本。

d) 多模型路由会带来什么副作用？

• ARR和整体用户量可能不受明显影响。

• 旗舰模型的直接调用量可能因分流而下降。

• 旗舰模型获得的高质量数据可能减少。

• 公司必须持续提升旗舰模型能力，并将定价控制在用户可接受范围内，才能维持流量、使用量和数据质量。

9. 开源模型的商业壁垒与客户选择

a) 海外闭源模型持续降价，会如何影响开源模型？

• 闭源模型正通过MOE架构、GPU效率提升和模型路由降低价格。

• 未来开源与闭源模型在能力和推理成本上的差异可能逐渐缩小。

• 但开源模型仍有无法被完全替代的优势：

1. 支持本地化部署。

1. 能够满足数据隐私和监管要求。

1. 金融、教育、医疗等行业通常难以使用完全闭源的API模型。

1. 客户可在自有服务器和GPU环境中运行模型。

b) K3为何能通过非MIT协议实现收入？

• K3被认为是当前能力领先的开源模型之一。

• 对隐私和本地部署有刚性需求的客户，为获得顶尖开源能力愿意采用K3。

• 当客户基于K3开展商业托管服务且收入超过2000万美元时，需要与公司协商分成。

• 这一模式兼顾：

1. 客户数据隐私。

1. 本地化部署需求。

1. 公司ARR和分佣收入。

1. 开源生态的扩张。

c) 私有化部署后，企业切换模型的成本高吗？

• 客户将模型部署至自有机房后，切换成本相对较高。

• 原因包括：

1. 本地服务器中积累了模型记忆和业务数据。

1. 工作流、智能体生态及Know-how已经围绕原模型建立。

1. 不同模型的推理逻辑和思维链不同。

1. 更换模型可能影响业务效率、稳定性和增量收益。

• 因此，即使后续出现能力更强的开源模型，已完成深度私有化部署的客户也未必会立即更换。

d) 云厂商平台上的模型替换成本高吗？

• 在AWS等云厂商平台上，模型替换成本很低。

• 用户数据和工作流主要掌握在云平台侧，用户可以随时更换模型。

• 云厂商通常同时部署3至4个开源模型，并根据任务价值和成本动态路由：

1. 高能力、高成本模型用于高价值业务。

1. 低成本模型用于低价值或标准化工作流。

• 因此，Kimi若无法持续保持顶尖开源模型能力，很容易被其他模型替代。

e) 云厂商会优先推荐K3吗？

• 云厂商通常不会默认优先推荐K3。

• 原因是K3采用非MIT协议，云厂商需要支付分成。

• 采用MIT协议的模型权重可免费使用，不需要向模型公司分佣，因此更符合云厂商利润诉求。

• 只有在以下情况下，云厂商才更可能推荐K3：

1. 免费模型能力无法满足客户需求。

1. 客户明确要求使用最强开源模型。

1. 高价值任务对模型能力的要求明显高于成本要求。

• 这意味着K3必须持续保持旗舰能力，否则非MIT开源协议难以产生稳定收入。

f) B端客户中有多少存在开源模型的刚性需求？

• 访谈专家未掌握明确比例。

• 原因是其直接接触的B端客户主要使用API闭源服务，对必须使用开源模型的客户覆盖有限。

• 可以确认的是，金融、教育、医疗等高隐私、高合规行业存在较强的本地部署和开源模型需求，但会议未提供量化占比。

10. 主要风险与关键观察点

a) 当前最核心的经营和研发风险是什么？

• 高端算力获取风险

1. K4需要约4万至5万张高端卡。

1. 如果GPU资源无法按期到位，K4可能延迟至Q2或Q3。

• 模型迭代窗口风险

1. 行业每2至3个月迭代一次。

1. 旗舰模型延期会导致竞争窗口快速收窄。

• 海外合作落地风险

1. 云厂商分成比例低于原定目标。

1. 数据、隐私、审计及出口管制问题复杂。

• 成本与定价风险

1. 大参数模型推理成本较高。

1. 用户可能转向低价中端模型，影响旗舰调用量和数据质量。

• 开源商业化风险

1. MIT协议模型对云厂商更具成本吸引力。

1. Kimi只有保持明显能力领先，才能持续获得分佣。

• 数据闭环风险

1. 云厂商沙盒和零数据保留机制限制训练数据回流。

1. 若高质量调用量下降，下一代模型的数据优势可能减弱。

b) 后续需要重点跟踪哪些指标？

• K2.8正式版在Q4的实际发布时间及Coding、Agent能力表现。

• Q4新增GB200、GB300等高端卡的获取规模。

• K4能否在明年Q1按期上线。

• K4实际参数规模是否达到4.5万亿至6万亿。

• AWS、Google、Microsoft合作的实际分成比例和收入贡献。

• 云厂商业务占ARR的比例能否向35%以上提升。

• 海外业务合规、审计和出口管制条款的落地进度。

• 旗舰模型调用量、推理成本、毛利率及高质量数据回流情况。

• 国产推理卡特别是昇腾产品的供给量和适配效率。

• 2027年35亿至40亿美元ARR目标的实现路径。

结构化总结表格

新版prompt提炼之后的转译

提问者：在开始今天的访谈前，请您就以下陈述表明同意或不同意：您了解保密信息的定义，并同意不会在访谈中透露任何此类信息或其他保密信息。

回　答　者：我同意。

提问者：能否介绍一下公司最新的8月或9月ARR，以及海外与国内市场的构成？

回　答　者：8月ARR为11亿。截至目前，9月刚过3周，ARR基本已经达到12亿。因此，9月ARR预计为12亿至13亿美金，到今年年底预计能够达到15亿至16亿美金。

提问者：国内与海外市场的占比分别是多少？

回　答　者：目前海外市场占比更高，大约为60%；国内市场占比大约为40%。

提问者：目前公司的商业化模式是怎样的？近期有新闻称，AWS Bedrock也接入了K3。当前Coding Plan的占比是多少？通过云厂商合作产生的分成占比是多少？未来是否会逐步扩大与云厂商的合作？

回　答　者：Coding Plan主要面向C端，以个人订阅为主。6月17日K3上线后，整体推理算力比较紧缺，因此当时关闭了C端订阅。2.8 Preview上线后，推理算力瓶颈有所缓解，我们重新开放了C端订阅。这也是9月ARR可能高于8月的原因之一。

另一个原因是，K3上线后，我们一直在寻求与云厂商合作。目前所有开源内容如果采用非MIT Open Source条款，相关商业使用需要遵守非MIT条款。我们当时约定，如果年营收超过2000万美金，需要进行分佣，分佣比例可以调整。最初商定的比例是30%，但实际执行相对较难。

核心条款是，如果您或关联方运营快Master服务，并且在任意连续12个月内总营收超过2000万美金，就需要与我们另行签订商业协议。如果是个人开发者或研究机构，年营收低于2000万美金，我们不会进行限制；但如果年营收超过2000万美金，并使用托管服务，就需要与我们协商分成。

对于AWS这类云厂商，由于其整体营收和获客能力较强，议价能力也比较强，分成比例最多只能谈到12%至15%。另外，还有一个口径，即K3上线后，基于K3……

回　答　者：推理所获得的实际收入还会涉及行价，与平台上的案例价相比存在一定折扣。当前进展相对较慢，核心原因是涉及部分数据安全与隐私问题。例如，我们在 Android 上运行部分数据时，对方不会将数据提供给我们。所有用户数据都在 AWS 数据沙盒中运行。

无法获得所有数据，意味着这些数据不会用于训练底层模型；推理请求基本也是零数据保留，因此所有木具基本上也无法额外进入。推理时，我们通过编码、解码的方式获得用户的部分推理 prompt，包括用户端的部分数据；反推时，我们实际上也无法获得这些数据。

整体而言，我们希望未来将这项业务发展为 ARR 的重要组成部分，占比至少达到35%以上。此外，这项业务未来会倒推模型持续增长，从 Developer Preview 到后续的 K3，再到今年年底预计推出的 K4。我们需要保证模型能力一直处于 DTday。在这种情况下，才能在独立商业中与云平台就 token 进行沟通或协同，并获得部分 token 使用数据的审计权、审计方式及评论等。

与云平台谈判的前提是模型能力足够强，用户愿意使用，云平台才愿意与我们协商。其中还涉及很多潜在条款，例如数据固定的合规、出口管制合规等。美国对这方面的监管比较严格，如果使用海外云厂商推理模型产品，可能违反出口管制的部分规定及相关条款。这些事项一直都在谈，因此整体进展相对较慢，没有大家想象得那么快，但国内的洽谈进展相对较快。

提问者：能否从更高维度介绍一下，目前整体的出海方案是什么？可能会通过哪些渠道、与哪些厂商合作，以及如何定价？您刚才已经举了一个例子，能否再从宏观层面介绍一下如何出海？

回　答　者：海外方面主要涉及几个厂商，包括 AWS、Google 和 Microsoft。它们是最大的云厂商，因为我们的海外推理算力都来自这些厂商。

目前，我们正在与这几家厂商洽谈，基本采用横向分成的方式。现在 K3 整体已经进入其 Matchpool。进入 Matchpool 后，业务模式从原来调用其推理算力销售 token，转变为纯抽佣模式。

在这种情况下，MT 条款中约定的佣金是30%，但目前基本无法达到30%，通常处于12到15到18的区间范围内。具体结算方式是，用户实际部署 K3 后，按照基于 K3 获得的下游收入进行结算，这一机制已经嵌入我的 M 条款中。

理论上，一旦这部分收入超过2000万美金，就需要与我们另行签署协议。协议内容会包括分成比例、token 定价的保底区间，以及各种数据安全相关条款等。

回　答　者：相关成本、审计规则和法条等都会涉及。整体而言，商业化与资本化正在同步推进。我们今年和明年的AR要求或目标都比较高，加上公司即将上市，海外流量能够提供很大帮助。国内业务受到推理卡的较大限制，但海外可以使用云厂商的资源，基本没有太多算力限制。

一方面，我们会通过海外分销持续销售tokens；另一方面，会通过MIT免费开源模式，以分佣方式获得分销收入。这将是后续工作的重点，其中也涉及很多安全边界和潜在挑战。

提问者：您刚才提到，明年的AR目标也定得比较高，方便分享具体数字吗？另外，与云厂商合作后，AR的计算口径是什么？我们本身只进行抽佣，那么在计算AR时，是将云厂商产生的全部营收计入AR，还是只统计我们抽佣的部分？

回　答　者：我们希望到2027年年底能够做到35亿到40亿美金。AR的统计口径比较灵活，理论上可以调高。目前还没有明确确定，但根据我的判断，应该会将这部分纳入。

例如，我们当时定了一个30亿美金的目标。我认为，如果将总量计算在内，把AWS、Google等云厂商的相关收入都纳入，30亿美金是不够的，30亿美金可能远远不够，目标至少需要定到80亿到100亿美金。因此，如果AR目标定为30亿美金，基本上应该只计算收入分成部分。

提问者：我们再谈谈模型竞争力。目前K3的能力很强，您提到年底也会推出K4。K4将在哪些领域实现提升？

回　答　者：可以将K4理解为一个大参数模型，其参数量会比现在的K3更大，约为4.5万亿，整体区间在4.5万亿到6万亿左右，也就是4.5万亿到6万亿的大参数模型。

目前设定的milestone是今年年底，但我认为实现难度相对较大，因为现在Blackwell卡的数量较少。现有B卡基本都用于训练侧。训练K3时，我们与阿里云协调了大约2.5万张GP300，理论上能够支持2.8万亿到3万亿参数模型进行4到5个月的研发，这没有问题。

但如果训练更大的模型，例如类似Astra的大约5万亿到6万亿参数模型，就需要数量更多、性能更强的GP300。目前我们的资源还不够。因此，按照现在设定的milestone，如果无法获得足量的卡或更多高端卡，时间肯定会delay。当时我们设定了一个比较大的目标，这个目标更多的是……

回　答　者：可以将其理解为有些类似 Astral。2.8 Preview 主要增强了多模态理解、多模态视觉生成、语音理解和 GUI 能力。当世界能力显著增强，并在后训练阶段强化部分 Computer Use 轨迹后，理论上其能力会非常强，尤其是在系统级 GUI 理解、系统关注度和整个系统端到端理解方面。此外，它也能够参与一些相对较旧的 P，并基于这些 P 执行新的操作。

整体来看，K 主要涉及 GUI 能力、Computer Use 轨迹的应用，以及多模态视觉理解和生成。它并非像此前 K3、K2.7 那样采用 MoVIT 编译器，而是采用非编译器方案。在原生多模态的 Pre-train 阶段，就已经加入了部分多模态数据，因此模型本身具备很强的视频、图片和语音理解能力，并且最终也可以输出部分视频和语音内容。

这也意味着模型参数量会非常大，推理成本也会明显增加，有些类似早期的 Open Mithos。Mithos 的规模比较大，后续又蒸馏出了5。我的感受是，可以先通过 ling low，将大模型的能力提升到一定程度。这个 case 一定会超越当前的 Astral，包括当前的飞播5.1。未来也有可能再推出中低端的非旗舰模型，因为当模型能力和规模过大时，推理可能难以运行，成本也会很高。本地化部署方面，用户可能没有足够多的机柜，也可能没有足够大的 GPU 支撑推理，因此会存在一些问题。

提问者：从理性预期来看，K4 实际会在明年什么时候推出？

回　答　者：您问什么？刚才没有听清。

提问者：根据现实算力情况，您预期 K4 会在明年什么时候推出？

回　答　者：我的预期是，不能只看现有算力，还要考虑今年下半年的情况。今年下半年还有1个季度，也就是 Q4。Q4 期间，可能会补充新的 GB200、GB300。基本上，明年 Q1 应该会上线。

在此之前，2.8 Preview 刚刚上线，很快还会发布2.8。至少在 Q4，2.8 的正式版本，也就是 PO 版本会推出。其代码库修复能力也会得到补强，例如在 ProgramBench、SWEE 等方面会有较好表现。

特别是在 DeepSWE 上，虽然部分表现落后于 GPT5.6 的中端版本，但我们会缩小在生成和代码库修复方面的部分差距。理论上，在长程 Coding、代理的知识类工作以及 Deep Research 方面会具备一定优势。另外，主要会在 Agent 上进行增强，尤其是长程、复杂的 Agent 任务。

回　答　者：首先是尽量减少中断，提升准确率，包括提高工具调用的准确性，以及完善不同路由的MCP生态。稳定性也非常重要。多模态方面，Will Move会使用2.5或者V3版本的原生视觉能力，并进一步迭代，完成更复杂的视觉语言联合任务，同时扩展音频、视频等模态。

整体来看，2.8应该会在Q4推出。K4方面，如果Broview的卡没有太大问题，基本上明年QE应该会少。

提问者：您提到参数量可能在5万亿左右，那么需要多少B卡集群才能完成训练？

回　答　者：如果参数量在5万亿左右，可以理解为2.8万亿的2倍，基本上需要大约4到5万张卡才能支撑。

提问者：但国内B卡的总存量是否可能只有10万张左右？

回　答　者：国内目前包括云厂商、中立云，以及规制、像温这些，加在一起可能有12到14万张B卡。要获得这么多卡并不容易，而且各家现在都在做大参数模型。M马上会在12月份发布更大参数的模型，S据说要发布一个5万亿参数的模型，但我不知道具体发布时间。Max M3 Pro也是3万亿左右的模型。

因此，我认为GP300、GP200应该不够用，卡是目前最大的问题。如果卡跟不上，进度就会拖延，而进度拖延意味着机会窗口会收紧、收窄。比如K4要等到明年Q2或者Q3，甚至Q3才能上线，我认为意义已经不大了，因为届时其他模型可能已经发展到5.2、5.3、5.4。

这是一个比较大的问题，所以现在需要通过差异化寻找机会。开源赛道本身也非常激烈。比如现在K3表现尚可，但如果K4不能达到K3这种旗舰程度，那么开源以及刚才提到的商业化都会比较困难。其他人也可以使用BS这类中低端模型，而且可以免费使用。

提问者：所以我对国产模型下一款旗舰模型的推出时间也存在疑问。大家可能都说年底发布，但根据卡的数量判断，是否大概率都会延期，甚至可能推迟到20年？

回　答　者：目前各家的模型发布和迭代速度都很快，基本上每2到3个月会发布一个新版本。在这个过程中，各家的趋势都是将模型体系转为路由态模型，既有类似K3、K4的旗舰模型，也有类似T2.8的非旗舰中端模型，还有类似2.6、2.7的低端模型。

各家基本上都是这种态势。当卡不足时，也需要保持市场曝光并获得一定的PR关注。在这种情况下，仍然会发布模型，可能每1到2个月发布一个非旗舰模型。但大型模型需要大量的卡，训练管线也不能共用，因此发布速度可能相对较慢，有可能需要半年左右才能推出。

具体还要看关注的是哪类模型。如果关注旗舰模型，我认为难度相对较高，因为模型会受到中国的数据、后一些数据以及GPU等因素影响。但如果是非旗舰模型，情况就不一样。比如Coding模型，2.5、2.7其实就是Coding模型，2.8这个Preview也属于这一方向。

回　答　者：10秒，你可以把它理解为1个多模态世界理解模型。我每次发布的非旗舰模型，其实都是垂类模型。我通过垂类模型不断吸引用户，并以相对较低的价格和成本留住客户；等到大型旗舰模型推出后，再体现其毛利或溢价水平。目前只能采用这种方式。

提问者：所以，今年大家的毛利率可能都难以提升，基本都是先通过价格战留住客户，等下一代新模型推出后，才可能尝试提价，是吗？

回　答　者：是的。但大家也在加快进度，GM的模型将在11月底或12月份推出。各家都在争取尽早上线。K3上线后，毛利和AR很快就提升了。目前看到的数据大部分都是K3贡献的，所以大家认为，这类大型模型具有较高的议价能力，毛利率也会比较高。

因此，各家都想做大模型。在此基础上，除了大模型，还可能布局一些小模型，所以大家都在争抢算力卡，包括内部的千问、混元等团队也在争抢算力卡。

关键在于谁能获得更多算力卡，同时基于这些算力卡快速研发出大模型，并在此过程中进一步扩展scaling law，推动通用能力涌现。现在这件事已经类似制造业，即投入多少资金和时间，就能产出相应的能力。

这意味着竞争最终演变为资源争夺，包括争抢数据和GPU，因此目前也是1个策略问题。

提问者：目前国内哪家控制的B卡资源更多？无论是大厂还是模型厂商。

回　答　者：目前阿里云的B卡最多。在阿里云的12万至13万张卡中，至少有8万张B卡。火山大约有2万张，无问芯穹这类云厂商手中大约有1.5万张。剩余的1万至2万张，应该掌握在此前各大模型厂商手中。例如M等厂商手中都有5000至6000张，5000张是有的，但更多就没有了。

提问者：豆包拥有较多算力卡，但模型表现似乎并不特别突出。西浪做得不错，但豆包本身相对一般。您如何看待算力卡较多，但模型能力没有同步提升的现象？

回　答　者：云厂商的算力都需要商业化、市场化，并不是全部供给千问、混元、豆包等内部团队。这些团队也需要从市场化渠道获取算力，而且不一定能够拿到，这是第1点。

第2点，我认为豆包还存在一些历史问题。豆包的问题在于，字节过去是1个团队，早期比较擅长跟进，也可以理解为擅长模仿，所有技术路线都是跟随的。例如模仿DS1。在这个过程中，包括当前使用的DO等阶段，需要构建一些sandbox。例如，需要投入较长时间构建大量environment，并在引入sandbox后完成相关技术结构。

回　答　者：在训练大约1.2万亿的豆包0.0时，其基础设施稳定性不足，整体数据环境也较为一般，因此项目推进比较困难。这意味着在24年底至25年初，至少浪费了半年时间。整体来看，其进度相对较晚。

虽然其持有的卡较多，最早拥有的英伟达H卡应该是所有云厂商中最多的，包括H200、H800在内，至少有20到25万张左右，但B卡并不多。当时其更看重DAU、MAU。对于偏向TikTok模式的互联网厂商而言，重点并非提升榜单能力，而是提升DAU、MAU，即将模型作为流量入口，用户进入后，再通过抖音、TikTok或其他生态实现商业转化。这意味着其为获取流量，牺牲了模型本身的一部分优势。

在我看来，其商业模式也存在一定困境。由于免费使用量较大，虽然目前已经收费，但收费水平较低，大约只有3.2、3.3。因此，其采用了算力分层策略。在高峰时段和高并发情况下，用户会被分配到负载更高、推理深度压缩程度更大的集群。较重的集群通常采用非国产化集群，即英伟达H卡。理论上，H卡的NVLink时延较长，因此用户体验较差。用户之所以认为模型较笨，也与此有关。其首token延迟为150到180毫秒，因此会被用户认为反应较笨。

另外，据我了解，其C团队经历过一定程度的收缩。最早大约有400多人，后来一部分人员转到飞书和商业化团队，另一部分转到Speedance团队，负责Speedance 2.0、2.5。因此，模型能力、模型状态或预值的优先级有所降低。

我认为这是战略取舍。梁汝波当时也提到，目前该模型与海外模型，包括OpenAI的模型相比，存在非常大的差距，但不争第一，短期可以后退，坚持长期主义。这实际上表明其有所顾虑，担心竞争后受到制裁，导致TikTok和抖音可能无法进入北美市场。对其而言，抖音是重要的现金流来源。

整体来看，我认为其与大部分模型厂商类似，在商业化和流量运营方面表现较强，但在模型构建、技术迭代以及为模型配置更多算力资源等方面存在局限，或者重视程度不足。也可以说，其已经把ROI这笔账算清楚了。豆包虽然已经付费，但付费水平仍然较低，因此其核心是在衡量获客成本。投入算力成本的目的，是吸引流量进入，再通过TikTok生态实现商业转化，最终仍然要实现盈利。

提问者：回到Kimi本身，目前我们能够使用的算力有多少？您刚刚提到后续可能还会获取一些卡，但目前可用的算力具体是多少？训练和推理分别占比多少？

回　答　者：如果按照等效B300计算，目前基本上……

回　答　者：训练侧大概需要2.5万张，即2万到2.5万张。推理侧如果按B200计算，大概需要3.5万张。但目前推理侧基本不会使用B卡，或者使用量很少，大部分以NVIDIA的H卡为主，如H200、H800、H800，占比大概为60%到70%。其余主要是国产卡，包括昇腾907R、海姆G的5900和690，以及牧曦和昆仑芯。推理侧目前基本以GPU卡为主。

提问者：推理侧是否比较过哪些国产算力卡相对领先？在这些国产卡中，哪些对AI推理的适配做得比较好，或者适配后的效果更好？

回　答　者：从目前的情况看，基本上是昇腾90，其体系的质量尚可。我们现在使用的是920B、920C的384超节点，以及一部分950TR单卡。

理论上，无论是950还是920，其MFU以及百万tokens per second的吞吐效率，在国产卡中都是最优的。但是，由于目前由中芯国际代工，产线的良品率和产能都很低，基本上一年只有10万到20万片左右，因此我们拿不到太多卡。

其余需求需要由其他卡补充，包括海姆G的590、690。590、690的表现一般，因为690现在几乎还没有出货，基本上以590为主。590的性能基本相当于920B的70%到75%。

此外，还有一部分昆仑芯和一部分牧曦，但数量更少，因为整体国产化规模并不大。目前牧曦的国产化适配率只能达到35%到40%。其他厂商没有类似华为的超节点方案，海姆G的超节点方案也尚未上线。因此，从整体性能来看，目前可用的产品中，我们认为华为是最好的。

提问者：目前模型训练的算力仍然比较紧张，数据方面是否存在瓶颈？现在头部模型在防蒸馏方面已经采取了一些措施。对此存在不同看法，有人认为获取数据很困难，也有人认为蒸馏仍然可以进行，只是需要更多时间，成本也比以前更高。您如何看待这个问题？

回　答　者：以K3为例，K3整体的蒸馏数据占比很低。K3的蒸馏数据占比大概处于15%到20%的中间水平。这意味着，包括目前中国的国产模型在内，蒸馏数据的配比会越来越低。现在我们需要的是什么？

回　答　者：我们希望蒸馏它的 COT，拿到它的数据配比和部分数据权重，这才是最理想的。对于数据本身的重要性，我认为正在降低。一方面，现有合成数据的占比正在增大；另一方面，包括真实用户在生活中以及操作过程中产生的问题数据，其占比也在增大。此外，还有一部分是多模态数据。现在我们都在做多模态模型，因此也在采购更多外部多模态数据，供应商包括 Merco、Apan，以及国内的数据堂、海天数据。整体而言，虽然会存在一定问题，但相对可控。

另一个问题是，如果确实要进行蒸馏，对方只要将知识块快速消耗完并进行封堵，就会造成很大影响。目前，C 端用户还存在部分豁免，但这意味着需要以非常高的并发进行访问，例如使用几百万个 IP，生成几百万个账号、几万个账号。之后，还需要把每次输出所带出的部分思维链内容全部拼接起来，整个过程非常缓慢，成本也很高。因此，我们基本不建议这样做。

我们可能还是以蒸馏部分 COT 为主，获取部分蒸馏数据。即使现在没有蒸馏数据，其实也没有太大影响，因为不需要每一代都进行蒸馏。例如，之前已经蒸馏过，到了 5.1 就不需要再次蒸馏，因为 5 和 5.1 大概率只存在部分数据量差异，例如数据配比不同，多模态数据的量级可能也不一样，但数据质量的差别并不大。基于其数据质量进行要求、供应和筛选，也可以在一定程度上进行弥补。

因此，现在可采用的方案很多，蒸馏并不是特别好的方式。如果始终进行蒸馏，例如认为 A 的 UI 特别强，就对其进行蒸馏，最终得到的模型可能与 S 比较接近，但仍会与 S 存在一些区别，能力可能只有 S 的 80%到90%。这是因为基座模型之间存在能力差异。在这个过程中，也无法形成自身独特的优势。用户选择时只会关注价格，导致产品只能不断降价，这也是我们不希望看到的。

如果模型在能力上没有差异化，就很容易被海外模型替代。包括 C、GPT 在内的模型都在打价格战，也会推出新的路由和中低端模型。如果对其进行蒸馏，而对方随后推出价格更低的中低端模型，就很难与其竞争，因为自身很多环节的成本可能较高。

此外，对方现在正在逐步转向 MOE，这意味着其已经开始研究和进行架构重构。未来除了采用 well，还会使用 DS3、DSA 等稀疏注意力、双向注意力机制，不断降低价格。同时，其模型性能和 GPU 性能也很强，必然会进一步拉大差距。因此，整体而言，我认为蒸馏不是一种非常好的方式。

提问者：明白。关于合成数据，之前有专家提到，目前合成数据的质量并不是特别高。您能否简单介绍一下合成数据是如何生成的？

提问者：合成数据目前的质量并不是特别高。您能否简单介绍一下合成数据的概念，以及未来合成数据的质量是否会提升？

回　答　者：合成数据有几种技术路线。第1种是 Self-Critique 和拒绝采样，这是比较基础的方法。针对一个问题，Prompt 输入后，模型会生成多个候选答案，再由 Verifier（验证器）和 Reward Model（奖励模型）对候选答案进行打分，保留最优回答作为训练数据，由此形成一条高质量问答对的合成数据。

第2种方式是针对偏好模型进行过程奖励和更细致的标注。传统的合成方式基本只对 Final Model 的答案进行打分，但无法判断每一步的 COT 推理过程是否正确。因此，现在有一种 PRM，即过程奖励模型，可以对整条推理链中的每一个中间步骤进行标注和打分，让模型学习如何进行正确的 COT 推理。

例如，K3 在长 Agent 任务中使用了步骤级合成数据。它会将包含200个 Steps 的复杂任务拆分为10到20个子步骤，每个子步骤都有正确的 Workflow。每个 Workflow 完成后，PRM 会对每个合成步骤进行打分，确认没有问题后再将其提取出来，从而提升推理任务的质量。

另外一种方式是形式化验证。对于 Math、Coding、逻辑等具有客观验证标准的领域，通常也会使用合成数据。具体而言，可以输入一部分源数据，例如 Math 任务和 Coding 源代码，通过源代码合成形成一部分可验证数据，再通过解码器和编译器寻找答案。模型自动生成并作答后，使用编译器和求解器进行评分，再将符合要求的数据保留下来。

这些方法也存在一些问题，例如模型坍塌。长期使用合成数据训练，会导致真实数据的多样性下降，也意味着数据可能出现过拟合和欠拟合问题。因此，一般会采用真实数据与合成数据混合训练的方式缓解这一问题。例如，真实数据占40%到50%，也可能占30%到40%；合成数据可能占50%到60%。

此外，验证器也存在瓶颈。合成数据的质量取决于验证器的能力。如果验证器本身存在问题，验证得到的数据也会出现问题。同时，如何控制数据多样性也非常重要。

提问者：在模型不断迭代的过程中，算力和数据分别能贡献多大比例？哪些因素可以提升模型能力，哪些因素目前仍存在明显瓶颈？听起来算力可能是瓶颈，那么从您的角度看，数据方面是否相对充足？

回　答　者：算力是第1个瓶颈。这里的算力除了GPU之外，还包括HBM等。影响模型能力的因素主要有3个：数据、infra，也就是包括HBM在内的算力，以及训练方式，即技术架构。例如，在后训练的RL阶段采用什么样的训练方式，在Pre-train阶段采用什么方式。

实际上，预训练阶段的问题最大。海外现在已经不再做scaling law，而我们还在做，是因为我们的算力和数据都不够，所以目前还不清楚scaling law带来的通用能力涌现大概能达到什么程度。整体而言，需要通过高质量数据进行合成，投入算力，并对预训练进行更好的规划，以提升预训练能力。

不同因素的权重并不一样。至少在预训练阶段，最主要的瓶颈仍是高质量数据，数据的重要性大于算力。但在后训练阶段，我认为算力的重要性大于数据。因为高质量的轨迹数据和偏行数据实际上是具备的，除非此前没有做过模型。

例如，K3在RL阶段会有非常多的compare use轨迹数据，也会补充部分agent issue数据。有了这些数据以后，关键取决于算力。在整个后训练阶段，需要大量V卡进行推理和训练。在训练过程中，需要探索空间、验证规模，决定采样次数和规模，以及方向、难度分布和体验分布，因此对算力的要求很高。推理阶段对算力的要求也相对较高。

另一个重要因素是架构创新。例如，我们现在做的Kimi KDA，是一种类似DSA的压缩注意力机制，采用128比1的单层压缩。KDA的第2代，也就是KDA 2，会变成256比，其压缩比会更低，同时结合linear attention。linear attention具有高密度，可以理解为奥数压缩比，而且是动态压缩。

在这一过程中，注意力是动态的。它会结合历史窗口和当前本地窗口，从信息中找到最优的信息源，先进行精筛，再与当前窗口中的有效数据或有效信息进行组合。因此，架构创新非常重要。

有了这种attention机制以及KDA，KV cache的内存会显著下降，对显存的占用也会减少。同时，由于这套机制的参数量较小，推理算力的占比或对推理算力的要求不会那么高，并发方面的表现也会相对更好。

整体而言，算力第1，架构创新第2，训练数据第3。

回　答　者：从整体权重来看，算力目前至少占50%，算法创新占25%到30%，其余仍然是数据。

提问者：站在目前这个时间点，国内头部模型的能力提升主要依靠预训练还是后训练？目前是否主要依靠后训练？

回　答　者：目前大部分模型主要依靠后训练。可以看到，M 5.3相较于5.2，以及DPC 4.1 Preview相较于此前的V4 Pro版本，预训练阶段的内容基本没有变化，包括前期的系统架构和模型架构，仅在后训练RL阶段加入了部分数据，包括轨迹数据和部分合成数据。通过数据后训练，模型在Coding和Agent等单项能力上得到提升。

这类方式对算力和数据的要求都较低，因此大家都在采用。各家先验证Scaling Law，当Scaling Law触及上限、数据和GPU不足时，再通过RL方式提升模型的单项能力。目前，预训练和后训练是交错进行的。

这已经不是验证阶段。行业普遍认可，预训练对于提升通用能力的价值和天花板较高；后训练对于提升部分垂类能力的天花板较高。因此，大家会将两者结合，可能每5到6个月发布一个大版本模型，每2到3个月发布一个小版本模型。小版本模型主要在RL后训练上进行优化，大版本模型则主要在预训练上进行优化。目前各家都在同步推进。

提问者：综合来看，DeepSeek、Kimi或智谱的下一个大版本模型，如果在27年年中或26年底推出，其实际能力与GP相比，差距会扩大还是缩小？假设GP届时也推出了新版本，为什么您认为双方的差距会发生相应变化？

回　答　者：如果比较各家到明年年中这一阶段的情况，我的判断是，各家都会推出大模型。例如，K4可能是5万亿到6万亿参数的模型，GM大约是3.5万亿到4万亿参数的模型，另一个模型大概是3万亿参数。

在这种情况下，理论上到明年Q1阶段，K4和GM这类模型中，由于K的参数量应该大于GM，其通用能力应该能够超越明年Q1的Fabo 5.1。对于Fabo系列和另一系列的模型，我认为实现超越没有问题，但并非所有能力都能全面超越。

具体来看，DI能力应该能够超越，TIC Coding能力也应该能够超越；在部分非复杂推理的细分任务上，同样可以实现超越。但在Mass、Deep Research和Logistic方面，我认为可能会……

回　答　者：表现有可能持平，也可能稍差一些。再看智谱的模型，其规模大约为3.5万亿到4万亿。我认为到明年Q1阶段，基本上追不上。它可能只能达到类似Astra、Fable 5、5.1的水平，也就是当前Fable 5.1的水平。

Fable 5.1的Coding能力比较强，而智谱原本主打的也是Coding能力。因此我认为，在Coding方面，智谱与对方基本上会有3到4个月的差距。

至于M3 Pro，我不知道为什么到现在还没有发布，一直在延期。但我认为，等它发布时，可能已经落后了。M3 Pro的能力水平可能与K3相近，而K3相当于Fable 5的能力水平。因此，M3 Pro基本上已经离开牌桌，肯定无法超越Astra和Fable 5.1，只能作为所谓的多模态模型。整体来看，它会比较落后。

提问者：从业内角度看，它不发布的原因是什么？是不是因为目前的水平比较一般，所以选择暂不发布，继续进行训练？它在思维链方面的考虑是什么？

回　答　者：他们现在的思路肯定与我们类似。我们当时先发布K2.8，没有直接加码训练K4并优先发布，归根结底也是因为目前GPU算力比较紧缺，无法一下子做一个很大的模型。

他们的算力与我们差不多，手中也有一部分B卡，但这些算力需要分配给多个模型，包括M系列模型、海螺、Beach、Music和Image。因此，他们的算力资源被分散，训练速度较慢，这是第1个原因。

第2个原因是M3 Pro自身的能力表现。我记得9月上旬与他们的人讨论过这件事，当时预训练应该已经接近尾声。他们自行测试后发现，模型能力相对较弱。9月初，也就是9月第1周，他们告诉我，测试结果显示M3 Pro还不如K3，特别是在Coding方面。因此，他们认为这个能力水平不够，发布后也没有作用。

此前M3发布后，股价已经受到一定影响，所以他们不敢轻易发布M3 Pro，决定再进行后训练，持续几周。我估计可能还需要1个月左右，到11月初，也就是11过完，应该就能发布。当然，到时测试结果如何，我还不确定。我认为最多只能达到K3的水平，或者比K3稍好一点。

他们的人告诉我，M3 Pro发布后的价格会比K3更便宜，至少便宜1/3。因此我的判断是，如果其能力比K3稍高，价格又比K3便宜1/3，发布初期可能会对股价形成一定拉升，同时调用量也可能出现一部分增长和爆发。但这种情况持续不了太久，可能只有2、3个月。后续智谱的新模型发布，包括K4发布后，它可能很快又会往下走。整体来看，难度很大。

回　答　者：模型迭代速度很快，每隔2、3个月或3、4个月就会发布新模型。如果发布速度较慢，同时模型能力又没有显著提升，就很难占据核心优势。

提问者：从国产大参数模型的后续发展来看，结合您刚才的总结，Kimi在整体进度上是否相对领先？

回　答　者：可以这样理解。首先，Kimi在整体进度上相对领先。此外，除云厂商外，我们手上的B卡资源仍然比较多，因此具备一定优势。目前，我们在数据方面的优势也比较明显。

提问者：如何理解你们在数据方面的优势？能否具体说明？

回　答　者：主要有2点，分别与K3和K2.8 Preview有关。

K3上线后，并发量迅速增长。很多专业用户，尤其是B端客户，直接调用了K3，由此为K3提供了大量专有行业数据。这些数据的质量非常高，包括高质量的行业用户数据，以及部分真实业务场景中的问题数据。

第2点，K2.8 Preview上线后，作为完整的多模态模型，吸引了很多用户。部分用户喜欢K3，但认为K3价格太高，因此路由至K2.8 Preview。这些用户基本都是行业内的专业用户或行业用户，对多模态的视觉理解、视觉判断，以及视频和图片处理都有一定要求。这个过程也为我们积累了大量数据。

因此，无论是整体数据量级还是数据质量，我认为我们相较其他公司都更具优势，对模型训练也有所帮助。

提问者：要保持这种优势，是否需要持续领先竞争对手发布SOTA模型？

回　答　者：可以这样理解，这类业务往往会呈现强者愈强的趋势。K3发布后成为旗舰模型，由于拥有更多数据、更多GPU和基础设施资源，就可以训练更强的模型。如果K4也能保持这种优势，数据质量还会进一步提高，进而支持K5的发布。

目前的问题在于，即使数据和模型能力都很好，随着模型能力增强，推理成本也会变高。此时，用户是否愿意接受非常关键。如果用户认为价格太高，可能会选择其他模型，进而导致数据质量下降。因此，这本质上是成本与能力之间的博弈。

提问者：这类问题通常如何解决？是发布能力相对弱一些的模型，还是采用其他方式？

回　答　者：主要通过模型路由解决。以目前的K2.8和K3为例，K3定位为旗舰模型，毛利率设定得比较高，整体定价也较高；K2.8则定位为中端模型，价格相对较低，性价比比较突出，但通用能力肯定不如K3。

后续还会有次旗舰、非次旗舰或中低端模型，未来将形成4、5个模型，因此基本只能通过这种方式解决问题。

回　答　者：这会带来一个问题：ARR没有问题，用户量等方面基于多态路由机制，可能也不会有太大问题。但类似K分的直接模型用量会因分流而下降，进而导致部分数字减少或数据质量有所降低。这种情况无法避免，只能倒逼企业不断提升旗舰模型的能力，同时将价格控制在用户可接受的区间内，以获取更多用户流量和使用量。

提问者：另外，头部闭源模型也在不断变相降价。这对开源模型有什么影响？还是说开源模型本身的价格已经很低？这种影响有多大？

回　答　者：您是指闭源模型，包括海外旗舰模型也在降价吗？

提问者：对，海外旗舰模型也在降价。

回　答　者：我们认为，开源和闭源仍有较大差异。闭源模型主要通过API调用。如果开源模型价格更低、能力与闭源模型相近，这就是开源模型的优势。但随着闭源模型不断降价，未来两者的价格可能会趋同。闭源模型也采用了部分MOE架构，并使用更多GPU进行推理，整体处理效率较高。因此，无论是能力差异，还是推理成本差异，未来都可能逐渐被抹平。

但只要坚持开源，闭源模型仍然难以与其竞争。大部分海外客户非常重视用户隐私和数据隐私。例如，金融、教育、医疗行业无法使用闭源模型，必须使用开源模型。K3目前是世界上最强的开源模型，因此这些客户必须使用该模型，才能在本地开展业务推理。

这就回到最初提到的模式：通过非MIT的Open Source开源协议与客户签约。客户可以进行本地部署和推理，达到2000万美金以上后，再进行分佣。这样既能保障用户隐私，也能保障ARR收入。

提问者：从目前来看，Kimi是最顶尖的开源模型，可以这样理解吗？

回　答　者：对，可以这样理解。

提问者：您刚才提到的逻辑很有启发性。但从对数据隐私有需求的客户或企业角度来看，第1，他们是否只会选择1种开源模型，即选择能力最强的模型？第2，如果其他开源模型的能力后来赶上，客户完成私有化部署后，切换模型的成本有多大？

回　答　者：这里有2种方式。第1种是客户本身拥有机房，可以直接将模型下载到自己的服务器上，通过自有GPU进行推理。这种情况与我没有太大关系，因为我无法接触到客户，也不知道客户是在内部使用，还是对外进行商业化销售。

对我而言，我已经实现了商业化收入；对客户自身的业务而言，这种方式也有帮助，因此客户愿意采用。我认为这种模式的壁垒非常高。即使未来出现GLM等能力特别强的模型，客户也可能不会切换使用。

回　答　者：模型本地化部署以后，会有一些模型记忆和数据留在本地服务器中。如果更换模型，原有工作流和智能体中的部分生态架构及Know-how可能已经不同，处理整个推理的COT也不一样。更换模型后，可能会对业务增量或效率提升产生一定影响，因此大部分客户不会这样做，模型替换存在一定成本。

但对于Amazon这种由云厂商提供算力并直接向用户交付的模式，用户可以随时更换模型。因为所有数据流程和数据信息都不在客户自己的服务器中，而是掌握在云厂商手中，所以替换模型没有任何成本。今天可以使用一个模型，明天使用GM，后天使用DB，都没有问题。

大部分此类厂商基本采用1拖3、1拖4的模式，手上会有3到4个开源模型，并根据不同的推理效率和推理成本进行调用。这3到4个模型会被用于不同的业务场景：成本较高的模型用于价值相对较高的业务，成本较低的模型，例如DS的renew模型，则用于价值相对较低或业务价值不高的工作流。因此，云厂商会进行动态调配。可以理解为，在Amazon这类云厂商的平台上，模型很容易被替换，所以必须保持核心竞争力。如果未来不是国内乃至全球最好的开源模型，就很容易被其他模型替代。

提问者：像Amazon这样的大型云厂商，在部署开源模型时，会同时部署多种开源模型，还是因为Kimi目前能力最强，就会优先向用户推荐Kimi？

回　答　者：他们肯定会部署多种模型，因为云厂商也需要盈利。K3采用非MIT开源协议，而DS和GM采用MIT开源协议。MIT开源意味着所有内容均开源，模型权重也可以免费使用。因此，云厂商肯定愿意优先部署免费模型，因为使用免费模型不需要分佣，不会影响其收入。

所以，云厂商向客户推荐时，通常不会优先推荐K3，而会优先推荐采用MIT协议的开源模型。只有当这些开源模型的能力无法满足用户需求，或者部分用户明确要求使用最顶尖的开源模型时，才会选择K3。

这意味着，K3必须保持一定的旗舰模型能力，才有可能通过非MIT开源协议持续获得部分营收分佣。如果未来模型能力下降，例如成为KK2.5、2.6这类非旗舰模型，就无法获得分佣。即使已经与云厂商签署协议，对方也可以不推荐该模型；不进行推荐，就不会产生收入。

提问者：最后一个问题，在商业化过程中，是否统计过B端客户中有多少比例存在使用开源模型的刚性需求？例如出于数据隐私等原因，必须使用开源模型。

回　答　者：关于B端客户对开源模型的刚性需求比例，理论上我并不清楚，因为我接触的B端客户都是使用API的闭源用户。

原文转译

呃，在我们开始今天的访谈前，请您就一下陈述表明我同意或我不同意。 您知道保密信息的定义并同意不会在访谈中透露任何此类信息或任何其他的保密信息。 我同意。 OK，好，呃，那我们开始吧。 呃，首先能不能跟我们讲讲就是最新的咱们公司的呃，8月份或9月份的一些ARR，然后以及呃，海海外跟国内的一些构成呢？ 嗯，OK，现在8月份的话，ARR是11亿嘛。 然后9月份的话，到目前为止，今天呢才三周嘛。 嗯。 现在三周基本上已经做到12亿了。 所以理论上来讲9月份的ARR一般应该是13到15亿美金，对。 嗯嗯嗯，OK，OK。 呃，不好意思，刚才没听到，您说是月底到15亿还是你呃，什么时候？为什么会会会有这么大的增长？ 没有没有没有，它是这样子的，你可以把它理解成为8月份大概是在11亿嘛，然后9月份的话就可能在12到13亿，然后到今年的年底，嗯，是应该是能做到15到16亿。 啊，OK，OK，OK，OK，嗯，明白了，明白了，了解。 嗯，然后，呃，这个国内国外的breakdown呢？嗯。 国内国外的话，现在是国外更多一点，国外大概占了60%左右，国内大概40%。 嗯嗯嗯，了解了解。 对，然后也想问一下就是咱们目前这个商业化这个呃模式啊，因为这最近看到新闻就是呃，AWS的Bedrock也接入了你们这个K3嘛。 那呃，所以所以就是想了解一下就是你们目前这些coding plan是是是占比呀，然后这个通过云厂商的呃，这些分成模式，这个占比是多少，然后跟云厂商的合作未来是怎么去想，就是会会做呃逐步去扩大啊，还是怎么样一个一个一个想法或设计？ 嗯嗯嗯嗯，OK，现在是这样子的，就是你可以把理解coding plan其实C端，就C端为主嘛，个人和订阅为主嘛。 嗯。 我们现在6月17号K3上了以后，那个时候其实整个推推理算力其实是比较的紧缺的。 所以当时我们把C端订阅给给关了嘛。 那么到现在的2.8的preview上了以后，实际上我们的推理的算力的瓶颈稍微缓解一点，那这个时候其实我们把把这个C端订阅又给打开了，所以这个时候其实你会看到为什么我说9月份的时候，呃，那个那个ARR就是会比8月份可能会更高一些这样子啊。 这是一个原因，第二个原因是因为现在的，就像你那个新闻里面看到这个一样，就是我们一直在寻求的这个K3上了以后，因为我现在所有的开源，如果不是MIT的Open source，它是非MIT的这种条款。 所以理论上来讲，我们当时签的条款是2000万美金以上的一年以上你要给我做分佣，但是这个分佣呢其实比例是可以调的。 就基本上我们当时讲的是30%，但是实际上其实是相对来讲比较难的，所以这是一个核心的条款，也就意味着如果它的就我们的条款上面写的是你被关联方如果是运营就快Master的服务，然后任意连续12个月内，你的总营收超过2000万美金以上，那么你就要跟跟我订单独的商业协议。 那么也就意味着如果你是个人开发者，或者是研究性的一些机构，你只要年营收低于2000万美金，这个我就不管你了，对吧，但你超过2000万美金以上，你用托管服务的，那你就要跟我去聊分成。 那么一般来讲，比如说像AWS这种，基本上它的一价能力还是比较强的，因为它整体的营收或客的能力都很强，所以他基本上你跟他聊，最多只能聊到12%到15%這樣子。 而且有个口径呢，是K3上了以后，基于K3 在推理所获得的实际的收入, 因为它这里面还会牵扯到一部分的 我们我们我们把它叫做它有一个行价嘛,对吧? 跟我平台上面的这个 按例价它其实还是有定的折扣的,啊。 嗯。 对,另外一个呢,就是现在聊为什么聊的不是特别的快, 核心原因是因为 这里面牵扯一部分的数据安全跟隐私, 就比如说我们在Android的那个上面去运行一些数据的时候, 它是不会把数据给到我的。 就所有的用户数据是在 AWS的数据的整体的那个 沙盒里面 去运行的。 那么所有的数据不给我就意味着它不用于训练底层的这种模型, 然后推理请求 基本上也是零数据保留的, 所以所有的木具 基本上额外也进不来, 然后我们在推的时候是通过 编码解码的方式是拿到用户的一些推理的一些prompt。 包括用户端的一些数据, 然后我反推回去的时候, 其实这个数据我也拿不到。 所以整体来讲就是 未来我们是希望把这件事情做成一个 ARR的非常大的组成部分, 至少占比要占到35%以上。 嗯。 而且这个这件事情呢, 未来它会倒推我模型的不断增长, 因为你看 developer preview,然后后面K3, 然后后面马上今年年底应该会上K4。 嗯。 所以我们需要保证模型的能力一直在DTday, 这种情况之下我才能够在这个独立的商业当中, 比如说跟云平台token, 在沟通或者协同的过程当中, 我需要拿到他的一部分的, 比如说token使用数据的一些审计权, 对吧? 一些审计的一些方式啊, 评论这些, 那你要跟他谈, 你必须你的模型能力是够强。 用户愿意去用你, 那么他才愿意跟你去谈。 所以这里面还牵扯到很多一些潜在的条款, 比如说数据固定到合规, 比如说出口管制的合规, 因为 美国对这一块其实还是 比较严的, 你你如果用海外的 这个云厂商去推理的这个模型产品, 呃可能会违反一些比如说出口出口管制的一些规定, 对吧? 然后包括的条款, 所以这些事情本来就是 一下向都在谈, 就是所以相对来讲谈的会 比较慢一些, 没有那个大家想象的那么快, 但国内其实就谈的相对比较快一些。 嗯嗯嗯, 欸,那能不能就是总体再跟高维度去讲一讲, 咱们就目前的一个出海的整体的方案是什么样的呢? 就是呃可能会去走哪些渠道啊, 或者哪些这个跟哪些场厂商去合作啊, 呃然后一些定价啊这些问题, 就是您刚刚其实咱们用这个已经 做了个举例吧, 就是能不能再宏观的去去去讲一讲说这怎么出海? 嗯,讲海外这一块是吧? 对。 海外呢 几个几个几个厂商, 一个是那个AWS嘛, 然后像Google啊之类的, 然后像那个微软就是Microsoft, 就他们其实是最大的云厂商, 因为我海外推理的算力用的都是他们的。 所以就这几家都在谈, 谈的过程中基本上都是通过横向分成的方式, 因为 因为现在K3等于整体就上了他的 Matchpool了。 上了Matchpool以后, 它实际上现在就从 原来的, 原来我是通过调用它的推理算力去卖token。 现在就是我纯粹我就是做抽庸嘛。 那这种情况下这个佣金基本上我们 MT的这套条款上面我写的是30%, 但是现在基本上做不到30%, 基本上就12到15到18这个区间范围之内, 然后就是按 用户 实际 部署了 这个这个 我们叫什么? K3以后, 然后 基于K3所获取的下游收入, 然后按这个收入的逻辑进进行结算的, 这个其实已经嵌入到我的M条款当中了。 所以理论上来讲就是所有的这部分都是你一旦你超过2000万美金, 那么你就要跟我另另外签一个协议, 这个协议里面会包括分成比例, 包括比如说token定价的一个保底的一个区间, 然后这里面比如说各种一些数据的安全啊, 包括一些 这些的一些成本啊,包括审计的一些规则啊,呃法条啊之类的,这些东西都会有。 所以整体来讲,基本上就是,它等于是商业化跟资本化的同时在推。 因为我们今年其实,包括明年我们的AR的要求或者目标其实都是比较高的。 包括我们马上就要上上市嘛,所以这种情况下理论上来讲,海外流量对我的要求,对我的帮助是特别大的,因为国内我受到非常大的推理卡的限制,但是海外我可以用云厂商,所以基本上我就没有太多的算力的一些限制,所以这种情况下,一方面我通过海外分销的方式,我要不断不断地卖,卖那个我的tokens。 另外一方面就通过这个MIT的free open source,我去通过更多的分佣去拿到我的这个所谓的这个这个这个分销的这这部分的收入。 所以这一块是后面的的一些。 是一个重心。 对,所以这里面也有很多的安全边界,一些潜在的一些挑战。 嗯嗯嗯,明白明白。 呃,okay。 那,那,呃我想确认一下,就是,呃,您刚刚说的明年的这个AR目标也定得比较高,这能方便分享一下具体的数字吗? 然后,呃,咱们跟云厂商合作以后,呃,这个AR的计算口径是说,因为本身我们只是抽拥嘛,但是我们计算AR的时候是它的所有的这个,呃,产生的这个营收都都算到这个AR的统计里面呢,还是说我们只是统计到我们抽拥的那一部分。 嗯,我们现在是这样子的,基本上2,20年嘛,27年年底,我们是希望能够做到35亿到40亿美金的。 然后基本上你可以理解成,因为现在你也知道AR口径是比较灵活的,就是你你你你理论上讲可以把它调得高一些,对吧? 对。 所以我们现在没有明确去定,但是在我的判断当中,应该是会把这部分抽进来,就是,但是根据我现在比如说我们当时,我们定了一个30亿美金嘛。 我觉得30亿美金,如果说你要把总量的,人家比如说AWS,Google之类的都把它纳进来,我觉得30,30亿美金可能远远不够的,我觉得至少得这个目标定到80到100亿美金,对吧? 所以我的感受是基本上如果定的是30亿美金,这么一个AR,基本上就只算我的收入分成部分的这部分的收入,AR。 嗯,明白了,明白了,了解。 OK。 呃,然后那我们再讲讲这个模型竞争力的的问题吧,就是,呃,目前的话,肯定就是我们的这个K3其实能力还是非常很强的嘛,然后,呃,您说年底也会出K4,K4的话就是在哪些领域会会做一个提升呢? 嗯,你可以把理解成为,就是K4是一个,嗯,大参模型。 就是K4的参数量会比现在K3还要大。 基本上在4.5万亿到4.5万亿到6万亿左右。 OK。 这么一个大餐。 对,4.5万到6万亿一个大餐,那么其实这个大餐,我们现在定的milestone是今年年底,但我觉得相对来讲还是比较难的,因为我现在在Black Will的这部分的卡是比较少的,就是我现在的B卡基本上都用在训练侧嘛,然后训练侧的话,像K3的时候,当时我们跟阿里云找了大概2.5万张GP300。 然后这种情况下理论上来讲是能够支撑我大概2.8万亿到3万亿模型的这个四到五个月的,呃,研发,这个是没问题的,但是如果你更大餐,比如说类似于像Astra这样的,大概五六万亿的模型,实际上它需要更多的更强的GP300,但现在我们是不够的,所以现在定的这个milestone,我认为如果我拿不到纯量的这些卡或者更多的一些,因为它的一些高端卡的话,其实这个时间肯定是会delay的。 嗯。 那么当时我们定了一个比较大的一个所谓的一个目标吧,这个目标更多的是,呃, 其实你可以把它理解成它有点像Astral的感觉,就是你看2.8的preview实际上就是在多模态理解,包括多模态的视觉生成,包括呃语音理解,这一块上它做了一些增强,还有就是GUI的能力,就是当你的世界能力得到非常强,包括你的后训练, 呃做了一部分的computer use轨迹的一些强化以后,理论上来讲,它的能力是非常强的,就是特别是对于系统级的 GUI的一些理解,包括系统的一些关注度啊,包括整体整个系统里端到端的一些 理解,啊包括你怎么样去参与到一些相对比较旧的一些P当中,然后基于这个P你可能有新的一些这个 呃,我们讲操作也好。 嗯。 它做了铺垫了,所以K是整体就几个点,一个就是UI能力, computer use轨迹的应用, 还有一部分是多模态的能力,就是多模态的视觉的 呃理解和生成,这个理解生成它挂的不是像以前呃K3像那个K2.7那个时候的MoVIT的那个编译器, 它是非编译器,就是多模态在原生的时候,也就是 Pre-train阶段,我其实就放了一部分的 多模态数据进去,也就意味着它本身就具备了极强的视频、呃图片以及语音的理解,然后端到端输出呢,它在最终的output上面它其实也可以去输出一部分的视频和语音。 所以这就意味着它这个 模型的参数量会巨大,啊,也就意味着你的推理成本会变得非常大,有点东西类似于像最早之前像那个 呃,那个那个Open那个 呃Mithos, 就是那个呃那个Mithos,就Mithos它是比较大的,它后面不是蒸了一个那个5出来嘛,就是我的感受是我们先通过ling low把我的大财模型,先把脱能力追到其中一个程度, 这个case一定是超越当权的 Astral,包括当权的那个飞播5.1的,但是是不是未来又增有一个 呃中低端的非旗舰的模型,这个是有可能的,因为你大它模型能力那么大的情况下,理论上来讲,你这个推理是跑不推的,成本又高,本地化布呢,用户也没有这么多的 呃机柜,或者用户也没有这么大的GPU可以去这个推, 所以其实是会有一些问题的。 嗯嗯嗯,明白明白,咋,那理性来说我们那个K4会会放,就是实际上就是会会会在明年的什么时候放出来会比较理性呢,这个预期。 嗯,你问什么?没听到。 啊对,我就说嗯,就根据现实的这个算力的情况来看的话,K4呃你预期的话明年什么时候会推出来? 嗯,我的预期,如果以现有的,呃,不能叫现有,就是以未来今年 下半年还有一个Q嘛,对吧?还有一个Q4嘛。Q4的情况下,我有可能有新的那个GB200,GB300的补充。 本上明年的Q1应该是会去上的,而且在这个之前,因为我刚刚上了2.8的preview嘛,马上会放放2.8的,就是至少Q4会有2.8的正式版本,就是PO版本会出来。 所以这块上面其实也是相对来讲比较强的 代码库修复的能力也会补强,比如说像那个programbench啊,SWEE啊,就这些上面其实会表现得比较好。 特别是在在DeepSWE上面,虽然它部分是落后于那个GPT5.6的呃那个那个那个那个 那个叫叫什么,中中端的那个版本,但实际上我们就是缩小一部分生成代码库修复的一些差距。 就理论上来讲,长城的coding,包括 代理的一些知识类的工作,Deep research上面是有一定优势的。 另外呢,其实 呃,主要会在Agent上面去做一些增强,因为特别长城复杂的Agent任务当中,你怎么样 最小中断,怎么样提升它的准确率,提高工具调用的一些准确性,包括不同路由的MCP的这套生态。 稳定性也是很重要, 还有就多模态,多模态我刚刚讲的, will move会用 2.5或者V3的版本,就是这套的视觉的原生能力, 它会进一步迭代, 然后整体的会做更复杂的视觉语言联合的任务,然后把音视频这个模态都一些扩展。 所以整体来讲,我觉得2.8应该是在Q4, 然后K4的话,如果说我的 呃,整体的这个Broview的卡没有太大问题的话, 基本上明年QE应该会少。 嗯嗯嗯,但但您说就是大概参数量可能是5万亿左右对吧,就是它需要一个多少B卡集群才能做做到这个训练? 呃,5万亿左右的话,基本上需要有,你可以把它理解成为就是2.8万亿的,2.8万亿的两倍嘛。 就基本上需要大概 4到5万张左右的第三吧,才能够撑得起来。 对,但但可能 国内是不是总共可能就存量就可能10万张左右,就所以是不是 呃 国内嗯,国内现在包括云厂商,包括中立云上规制啊,像温啊这些,加在一起可能比卡可能就在12到14万张左右。 所以 你要拿到这么多的卡,然后各家应用现在都在做大餐, M马上12月份要发更大餐的模型了,对吧,大餐模型,然后 s据说要发一个 5万亿的模型,我不知道他什么时候发啊。 5万亿的,然后 Max M3 Pro也是3万亿左右的模型。 所以我的感觉,GP300、GP200应该是不够用的,所以 卡现在是最大的问题。 对,如果卡现在跟不上,那么你的你的速度会会拖延,那么速度拖延就意味着你的窗口机会被收紧,收窄。 比如说我的K4要等到明年的Q2或者Q3才能,Q3才能上, 那我觉得就意义已经不大了,那个时候可能人家已经5.2,5.3,5.4了。 对吧,所以 这个是个比较大的问题,所以现在就是要差异化的找机会嘛,而且现在开源赛道本身也很卷了, 比如说你现在K3是OK了,你K4如果不能达到像K3这种旗舰的程度,开源,其实也,我刚才跟你讲的这种商业化之类的,这个也很难,就别人不用,别人可以用像BS这种对吧,中低端的模型人家用免费,嗯。 这个是比较那个。 对,就所以其实我我我也对就国谈模型这种下一,就是下一个旗舰模型推出时间,也也有一个这种疑惑啊,是不是大家可能都说年底啊,但是实际上根据这个卡的量来说的话,呃,是不是大概率都会跳票? 是不是都可能会会到20年年 我们现在就是包括各家你会发现模型发布迭代迭代速度其实都很快,基本上两三个月发发一个新的版本对吧? 这个过程中基本上我们现在所有的各家的趋势就是,我们会变成所有的模型变成路由态模型,就是我既有旗舰模型,类似K3K4, 嗯,也有非旗舰中端模型,类似T2.8,也有低端模型,类似于2.6,2.7这样子。 各家其实都是这个态势,所以就是当我卡不足的时候, 但是我也得露脸嘛,我需要拿到一些PR的曝光嘛。 就是这种情况下我就是也会发,我可能一到两个月会发一个非旗舰的模型,但是 大的这种模型需要大量的卡共共用管线,就是训练管线不能共用的,那这种可能就相对比较慢一点,有可能就要半年左右才能出,这是有可能,所以 嗯,要看你怎么去看,就是如果你看起见, 我觉得这个难度相对来讲还是比较高的,因为其模型对中国的数据啊,包括后一些数据啊,包括你的那个GPU啊都有一定影响,但是如果你是飞电模型,那就不一样了。 比如说像coding的模型,2.5,2.7其实就是coding的模型,对吧,2.8这个preview呢, 10秒你可以把它理解成一个多模态世界理解的模型。 所以你可以把它理解成为我每次在发的非极片模型,其实都是一个垂类模型,我通过垂类模型不断地去吸引用户去, 然后呢我我价格相对成本比较低,把这个客线留住,然后当我有大的极片出来的时候, 再去体现它的这个毛利或者一家的这个水平, 现在只能是这个方式。 明白明白,那所以说也是今年可能大家的这个毛利率都都提不上来的, 就是说基本上都是以打价格战先把客户留在我这儿, 然后或等 呃等等下一代有这个新的模型出来的时候,才有可能尝试去做一些提价的动作。 嗯。 嗯,现在我的感觉是什么呢?就是 呃,但是但是大家也在赶嘛,GM那个,那个模型就11月底,12月份就要上嘛。 所以其实他们都在追这个上的最早的,你看像K3上了以后,马上这个毛利包括AR就提起来了嘛。 就你现在看到看到的,我们发的那个啊, 大部分都是K3贡献的,所以大家都觉得就这种大车模型需要非常高的议价,并且毛利率会做得比较高哦。 所以他们都想大模型, 然后在这种基础上,我们除了大模型之外,我可能还有还有一些小的模型,所以大家都在抢卡你知道吗? 就是包括他们自己内部像天问啊,他们那个会员,他们自己内部都在抢抢接卡。 所以这个我觉得 就看谁能够拿到更多的卡, 同时谁能基于这个卡能够快速的把这个大模型 研发出来,然后在那个过程当中去堆更多的scaling law, 然后去把我的通能力去做一些永现,因为现在这个事就变成了一个制造业一样的东西,就是你给多少钱,花多少时间,他就给你出多少能力。 那么也就意味着最终现在变成资源争夺, 就是你抢数据抢 抢GPU,然后再再再,所以现在就一个就一个策略问题。 啊。 嗯嗯。 哎,现在国内谁的控制的B卡的资源会多一点啊? 不管是大厂还是这种这种模型厂商? 嗯。 现在B卡阿里云是最多的, 阿里云这12三万张里面阿里云至少有8万张。 嗯。 然后火山大概有个两万张左右, 嗯。 然后剩下的在一些像无这种中云上,手上大概1.5万张左右。 嗯。 然后剩下的一到两万张,应该是在那个各大模型的之前算手中,就几个,像M啊, 大家手里都有五六千张,五千张是有的,但是更多的就没有了。 嗯。 嗯嗯嗯,了解了解。 呃,但但好像豆包之类的,他们那个模型做的也不是特别的好啊,就是就但它它有很多卡,你怎么看这个现象呢? 嗯。 啥意思?我没听清楚,断断续续的。 嗯。 啊对,呃,就是比方说豆包, 呃,就自己卡也不少嘛,但是他们那个模型其实就是呃,西浪是做的不错,但是豆包本身可能做的就就就相对一般一点嘛,就是呃就是你怎么看待就是说他卡还蛮多的,但是呢,模型的能力可能没有跟上来的这个这样一个现象。 嗯。 我它是这样子的,就是云场上都是这样子的,就是云场上的算例都是商业化,就是市场化的算例,就是它不是完整供给你的天问啊,会员啊,都包的,就是你也得问我市场化的是嘛,而且你不一定拿得到,这是一个。 第二个呢就是我认为豆包还是有些历史问题的, 就豆包的历史问题在于以前字节是个团队, 所以早期都是 很会追,就是你可以理成为很会抄,他所有的技术路线都是抄的,比如说你抄DS1,对吧? 那这个过程当中你的和阶段,比如说现在用的的DO,对吧? 那你怎么去做,它里面是需要做一些sandbox的一些构建的,比如说 我要我要花很长的时间去构建非常多的environment,然后在这个过程当中有sandbox进来以后,我去做一些技术方面的一些结构,那么理论上来讲,最 他在训练大概1.2万亿的那个豆包0.0那时候, 实际上它的infra的稳定性是不行的,包括数据整体的 environment都非常一般,所以它比较难去推进。 那么也就意味着 那个时候24年底,25年初的时候,大概浪费了至少有半年的时间。 所以整体来讲,他是比较晚的,虽然他的卡是比较多,他最早的NV的H卡应该是所有的运厂商当中最多的,包括H200, H800在内,他手上至少有 20到25万张左右。 然后他的B卡是不多,但实际上他是属于那种 他找流程嘛,就当时他更多的是为了DAU, MAU,所以所有这种偏向 TikTok这样的互联网厂商,他更多的是 不是去找榜单能力的,他是找DAU, MAU的,也就意味着他是通过模型作为一个入口,入口进来以后,我在 TikTok里面,比如说像 这个抖音啊 TikTok或者其他的一些 生态当中,我把用户给收割掉,那么也就意味着它更多的是为了一部分的流量,牺牲了他本身的能力的一些 えー、强板。 还有一个呢,他其实本身有一部分的 在我看来他还是有一些商业困境的。 就是因为他的免费用很多,他现在虽然也收费了对吧?但他收费收费比较低了,他收费大概只有3.2、3.3嘛。 嗯。 所以他现在用的算力的分层策略,你就意味着你高,高峰时段,就是你高并发的时候,你用户就把就分到了负载更高,推理深度更压缩的一些集群,在重的集群当中,一般来讲他都 非国产化集群,就是NV的 H卡,那么H卡理论上来讲,它的NVLink的时延是比较长的,也就意味着用户体验其实很差。 这个为什么用户会觉得他很笨,对吧?因为他首token是延迟是很 很快的,他首token的延迟应该是在150到180毫秒之间,所以他会被用户认为他就很笨。另外呢,他整体C的团队当中, 据我了解,他应该是受到过一些 えー、团队收缩的,有最早是让他大概是有400多个人吧,后来有一部分转到飞书跟商业化者,还有一部分就转到那个就是Speedance的团队当中,Speedance 2.0 2.5,所以整体来讲, 整个模型能力的优先级,或者说 模型这个状态啊,或者说预值的这种优先级,他他就降低了嘛。我认为他是战略取舍,就是包括那个梁汝波当时不是也讲了嘛,他说他现在这个模型跟海外像c啊,包括OpenAI的模型,他其实就非常大的差距的,但是呢,我不争,对吧,我不争第一,我短期可以往后退,我要坚持长期主义,这个其实就摆明了一句话,就是他是害怕的,他担心争了以后, 受到人家的制裁,所以他的 TikTok跟抖音有可能进不了北美那个市场,因为对他来讲,他是需要抖音作为现金流的,这个是非常大的现金流。 所以所以整体来讲,我认为他是跟大部分模型厂一样,他就是商业化上面,他做的很牛逼, 流量他玩得很溜,但是整个模型怎么去构建,包括整个技术上面怎么去迭代,怎么给他更多的卡的资源,这个方面我认为他是 嗯,有局限性,或者说他没有足够的重视。 对,或者说他的一把ROI或者这个账给算清楚了,对吧? 嗯。 对,因为他现在不赚钱了,你看他虽然那个那个那个豆包也有付费,但付费也很低啊,所以他他一把就在 衡量获客嘛,他就相当于这个算力成本铺出去以后,就是为了搞流量进来,搞流量进来以后就在 TikTok里面给我收割掉了,他最终还是要赚钱的呀,对吧。 嗯嗯嗯嗯,明白明白明白,了解了。嗯,那还是回到我们Kimi本身的话,目前我们现在能用的算力有多少啊?就是您刚刚也提到或许还会去拿一些卡嘛,呃,但目前能用的是多少?然后呃,在训练跟推理里面分别的占比是多少? 我们现在的话,如果你要等效的B300去看的话,基本上 基本上 训练大概是在 2.5万张左右,呃2到2.5万张, 然后推理侧的话,如果你按B200去看的话,大概是在3.5万张左右,是这样子的,但现在推理的话基本上不会用到B卡,呃,或者用到B卡很少, 大部分都是NVIDIA的H卡为主,就是 像H200、H800、H800这种,这个占点大概在60%到70%左右, 剩下有国产卡, 包括生腾的907R, 包括海姆G的 呃5900,690,包括那个 一个牧师跟那个 呃昆仑星,就就就国产卡为主了。 推理这块呢,基本上现在是GPU卡为主。 呃,你训练车基本上 训练车,对。 欸,推理侧就是咱们有没有,呃,怎么说,比较过哪些国产卡是相对来说,呃,比较领先一点的? 你是说推理的国产品是可以是吧? 啊就我说那些,呃,国产的这算力卡, 就咱们刚说的那些像像像那个华为的或者是那个, 呃,就就就就咱们这些国产卡里面,哪些是 呃,对于这种AI推理是适配的做的比较好的,或者说我们觉得这个更,我们做了适配以后,呃,哪个效果会比较好一点呢? 我们现在看下来基本上就是90的生藤,就生藤的体系下,它这保质量还是可以的,包括 现在我们用的是920B,920C的384超界点,再加上一部分950TR的单卡。 所以理论上来讲,不管是 呃,950还好,920也好,它的MFU,包括它的tokens,就是百万tokens per second的这个吞吐,效率,其实都是国产卡里面最优的。 但是呢,因为它的, 呃,它现在是中兴国际代工嘛,现在我们那个产线下下面,它的良品率跟 呃,产能都很低, 基本上一年只有10到20万片左右,所以基本上我们是拿不到太多卡的。 呃,那么剩下的就要其他的卡补充,包括还有G的590690,590690就一般般,因为690现在几乎还没有出货。 基本上用得590居多,590基本上相当于920B的 70%到75%的水平吧。 对,然后再加上一部分的昆仑芯跟一部分的牧曦, 这种就更少了,因为整体国产化上面其实这块的是不多的。 整个牧曦的话,现在国产化适配率只能做到35%到40%。 然后其他的话因为没有,没有像华为这种超阶的方案嘛,就海姆G的超阶的方案也还没上。 所以现在来看其实还是 嗯就是整个性能上面, 目前能用的,我们认为华为是最好的。 嗯嗯嗯,明白明白,了解了。 OK,呃然后刚刚咱们讲到整个就现在其实模型的训练的话,呃听起来的话,嗯算力还是比较紧张,那数数据这一块呢,就是呃有没有一些这个这个这个这个瓶颈啊? 因为现在其实头部模型可能在就就教师模型方面,它其实做反正料也也做了一些呃措施嘛,就是目前来看,呃有不同的说法,有些人就觉得拿到数据很困难,有些人觉得反正只是需要时间,呃其实这个蒸流还是可以蒸的,呃只是成本和和这个这个时间上会会会比以前会会成本高一些,你你你你们怎么看这个问题? 嗯,我们现在是这样的,就是 你可以把它理解成为,我拿K3举例, K3的整体的 嗯 不 呃,我怎么说这个事,就是K3整体的蒸流数据占比是很低的。 就K3的蒸流数据占比大概是在15%到20%的中间态。 那么也就意味着大部分的,包括我们现在那个中国国产模型,其实用的 用这个蒸流的数据配比会越来越低, 现在我们要的是什么呢? 的COT。 就是我要蒸它的COT,我要拿到它的数据配比,我要拿到它的一部分的数据的权重,这个才最最最爽的。 就这种数据本身的重要性,我认为是降低的,因为现在很多是什么呢? 一个是 现有的合成数据的占比在变大。 另外一个呢,它以used的,包括真实的用户在生活当中,比如说A的 这个操作过程中的一些issue的一些数据,这部分数据占比也在变大。 还有一部分就是多模态数据了,我们现在都是去多模态模型嘛,所以整个多模态的外采这些数据上面, 即使我们也在拿更多的一些这个数据供应商,包括像Merco啊, 像Apan啊, 包括像国内的数据堂、海天数据,这些我们其实都都有在拿,所以整体来讲就是 呃会存在一定的问题,但是我觉得 呃相对来讲我认为是可控的,对,相对来讲我认为是可控的。 是吧,还有一个点呢,就是如果你真的要蒸就像那个 他也讲那一样,他也蒸了,他无非就把那个知识块就快给打完这堵住了,这种情况下, 他对你的并发攻击很多,他现在还有一个豁免,就是你你你如果是C端用户的话,其实他是有部分豁免的。 但,那也就意味着你要有非常高的并发去攻击他,也就意味着你要有,比如说几几百万个IP对吧,几百万个IP生成几百万个账号,几万个账号你去攻击他,然后攻击完以后呢,你要把所有的思维链把它拼在一起。 的每一次它的output出来的这些思维链带出来的一部分的内容,你要把它拼在一起,这个就过得很慢,同时呢成本会很高。 所以我们基本上 也不是特别建议会去做这个事情。 就基本上我们可能还是 呃以以这个蒸留一部分的COT为主,然后部分拿它的蒸留数据,或者现在你没有蒸留数据,其实也无所谓,因为我也不需要每一代都蒸你,比如说我,比如说我蒸过你对吧,我5.1就不需要蒸你,因为大概率5和5.1只会差一部分的数据量,你比如说数据配比是不一样的,对吧,然后你的多态的数据的一些 数据的量级可能不太一样,但数据的一些质量上面其实差别是不大的,那我基于你的数据质量,我去要求,我去供,我去核选,其实这也是一种 呃可以部分去弥补的一个方式,所以其实现在方案其实有蛮多的,就我觉得去蒸不是一个 特别好的一个方式,包括呢, 就你如果永远去争,比如说你去争A,你A的UI你觉得特别强对吧?你就争他,争完以后你最终可以出来,哦,他好像跟 S是差不多,但核心来讲你的S还是有一些区别的,你可能就相当于80%到90%S。 因为你的基模型之间你是有能力差的,然后这个过程当中, 你就没办法有自己的一些独特的一些优势,也就因为用户选择你的时候, 只会把价格降,只会看你的价格嘛,那这个也是我们不想看到的,因为最终 你如果模型没有一些这个这个这个能力上面的一些差异化的一些点, 你很容易被海模型去掉的,因为海模型你看, C在内,GPT在内,他们都在都在都在打价格战,包括他出一些新的些路由,一些新的中地道模型,那如果你去蒸它,蒸完以后,啪他出了一个中低端的那个模型的些价格,那你又又打不过他了对吧?因为你很多东西有可能就 成本可能会比较高嘛,另外就是他现在从慢慢都转到MOE了,也就意味着他整个,他现在已经在研究做架构重构了,就是他未来除了能用well采用,他还会的比如说用DS3。 那个DSA这种稀疏注意力,双向注意力,然后他不断就降价,然后他模型性能又 GPU性能又很强,他必然会把你的差距定不拉大了。 所以整体来讲我觉得 嗯蒸流不是一个非常好的方式。 嗯。 懂了懂了。 呃呃那在关于合成数据,就是之前呃有些专家就讲,就是说合成,目前合成数据的一个质量其实并不是特别高,就是您能简单给我们介绍一下,就是合成数据它是怎么个合成方。 然后，呃，未来这些合成数据的这个质量会不会做一个提升？ 你刚刚没听清，这段时间再说一遍。 啊对，呃就是合成数据，有些专家说合成数据目前的这个合成数据的质量并不是特别高，所以呃，就是您能不能给我们介绍一下，呃合成数据是个什么，简单的介绍一下，合成数据是个什么概念啊，然后未来这个合成数据的呃，这个质量会不会提升？ 所以它有几个路线，一个叫self-crite跟拒绝采样，这个是比较基础的一个方法，首先就是，他要针对一个问题，就是prompt进来以后，要生成多个构选答案，回答，然后我们会用一个 呃，verify的一个验证器， 包括我的reward model去对候选问题进行打分， 然后打完分以后，我保留最优的回答，作为一条训练数据，这个就是一条优秀的问答对的合成数据，这是一种。 第二种方式我们叫呃，针对偏好模型去做过程奖励， 跟，跟指数级的一些标度，就是 传统的 呃，合成基本上就只对 final model的这个 答案去做打分，但是你没办法告诉他说，你这个事，每一步推理的COT是怎么样子， 所以有一个叫PRM，就是过程奖励模型。 嗯。 这个就是对于 整个推理链当中每一个中间步骤进行标注和打分。 你要让模型训练如何正确的推理的，叫COT。 比如说像K3，它在长 agent任务当中，它就是步骤级的合成数据的， 它会把复杂的，比如说200个steps的 复杂任务拆成 比如说10到20个子步骤，然后每一个子步骤是有正确的workflow的， 基于这个workflow，每一个workflow完成以后，它这套过程的PRM的这个模型， 会对每个合成，每个步骤进行打分， 然后认为是有OK没问题的，再把它提取出来。 所以这就也就能够带来就是对你本身的推理任务的这种质量的提升。 另外一个就是呃，形式化验证，就是对于一些像math、coding、逻辑这种有客观验证 标准的这部分区域，基本上也会用合成，就是通过自动验证的方式，也就是我拿一部分源数据进来，比如说里面有一些math的一些任务，包括coding的一些 呃，原代码，然后通过原代码的合成， 去验证为一部分的可验证数据，然后去通过解码器跟编译器去寻找一些答案， 就自动去身体，然后自动去申答， 申完答以后，你用编译器和求减去 呃，去给他打打分嘛，打完分以后，你把这个数据再留下来。 嗯。 嗯，所以这里面是有一些 方法的，但是它也会有一些问题，比如说像模型坍塌，就你长期用合数据去训练，就会导致你的真实数据多样性会下降，也就意味着你的数据会存在过拟合和和欠拟合的问题。 所以一般来讲我们是用真实数据、合成数据混合训练来缓解这种问题，比如说真实数据占40%到50%， 呃，30到40，合成数据可能5、60，对。 另外就是验证器上面有个瓶颈，你合成数据质量，它是取决于你的验证器的问题，如果你验证验证器能力本身有问题，那你那就，那就不行嘛，你这个数据验证出来就会有问题，包括你多样性怎么控制啊。 所以这些就是都 都是比较重要。 嗯，明白了明白了，了解。 OK，呃那那我那大概了解，就那但呃，综合来说就是比方说我们从K3到K4里面， 呃,做做在这个提升,他其实呃 算力它会贡献一个多少比例的一个贡献,然后呃这个数据又是这个贡献多少的一个贡献。 就是我想了解就是实际上对模型不断的迭代过程中,呃有哪些因素是可以去提升这个模型,但是呢,哪些又是目前明显还是有瓶颈的,对。 对,听起来算力可能是一个是一个瓶颈了,对。 数据从您的角度来看是不是就还好? 嗯。 我这么讲吧,你是把这点算力是第一瓶颈。 然后除了算力,算力当然还包括除了GPU之外,还包括HBM啊之类的。 其实权重不一样,就现在其实只有三个。 一个是数据,一个是infra,就是我们说的算力,包括HBM 在内,再加上一部分就是训练方式嘛,就是我们把它叫做技术技术架构, 比如说你后训的RL当中,你用了什么样的训练方式, Pre-train阶段你用了什么, 那其实实际上来讲呢, 预训练阶段,问题最大。 就这个为什么scaling law现在海外已经不做了嘛。 就我们为什么scaling law还在做,就是因为我的算力不够的,再加上我的数据其实也不够, 所以我基本上还不知道 scaling law带来的通用能力的涌现大概大概大概能到什么样的程度。 所以整体来讲就是我通过高质量的数据去做一些合成,然后把我的算力拼放进来以后, 然后去做更好的预训练的规划,包括把预训练的能力提升。 这块我觉得权重是不一样的。 至少在预训练阶段, 最大的主要的瓶颈还是高质量的数据。 就数据要大于算。 但是在 后续训练阶段,实际上我认为是算力要大于数据, 就整体来讲,因为高质量的一些轨迹数据,包括偏行数据,其实是有的。 除非你之前没做过模型。 所以你比如说像K3这种它的RL阶段当中, 它就会有非常多的compare use轨迹数据,包括agent一部分issue的数据的补充。 那这部分我有了以后,我取决于什么? 我在整个后训练阶段,我需要非常多的V卡帮我去做推, 推的呃,帮我去做训,训的过程中我就探索空间,验证规模, 呃,决定采样的次数和规模,然后决定方向,决定难度的一些分布,我体验的分布, 所以这里面其实对算力的要求是很高的。 包括推理的时候其实对你算的要求相对来讲也是比较高的。 然后另外一块就是架构, 架构的创新就非常重要了,因为现在比如说像我们现在做的叫Kimi的KDA, KDA实际上是一个类似于像DSA的压缩注意力的机制,它是128比1的单层压缩。 那么KDA的二代,就是现在我们讲的KDA的2, 就是它会变成256比。 它的压缩的压缩比会更低,同时结合我的 呃,我们叫linear attention, 就linear attention它是叫高密度,呃你可以把它理解成它是个奥数压缩比, 而且它是动态压缩。 就是它在这个过程当中,它的注意力是动态的。 它会去结合你的历史窗口和当前的本地窗口, 去找到这个信息当中最优的信息源。 它会去精精筛一遍,筛完以后再结合当前窗口当中的有效数据或者有效信息,再去做一个组合。 所以它是属于架构创新非常重要的一点一点。 有了这个attention的机制,包括我的 这个刚才讲的KDA, 我的KV cache的内存显著下降,对我显存的占用就少了。 同时呢,因为我的这套机制,我的参数量因为也比较小嘛, 所以情况,这种情况下我的推理的算力的占比或者推理算力的要求就没有那么高, 对于并发的要求也会比较相对来讲会比较好一些。 所以整体来讲就是 算力第一, 架构创新第二, 训练数据是第三。 所以在这个过程当中, 整个权重, 呃, 现在来看就是算力至少占了50%。 然后代部创新我觉得25到30, 然后剩下的还是数据。 嗯,嗯。 哎,然后就站在目前这个时间点来看啊,就是咱们这些国产模型,头部的国产模型,它的能力提升,目前主要是靠预训练还是靠后训练来来提升的呢?是不是主要是后训练? 现在大部分都是靠后训练的,就是你可以看到像M的5.3对5.2, 包括那个那个DPC的那个4.1, 呃,那个preview,对吧? 对比之前的那个V4Pro的那个版本,它就是通过 前训的所有东西都不变,包括它前面的一些系统的实际架构啊,包括 模型架构都没变,只是在后训练IO阶段,它放了一部分的数据,包括我们用轨迹数据啊,包括一部分的合成数据进去,然后通过数据的后训练,提升模型的这个单项能力,比如说coding跟agent。 所以这块其实对算力和数据的要求都很低了。 这就是大家都在做嘛,所以他们现在是把skin law先验证一遍。 skin law到底了,我的数据也没有了。 我的GPU也没有了,这个时候我就通过IO的方式我就提高模型的单项能力。 所以他们现在是交错在在做。 有,其实它不是验证的阶段,就是大家都认可普京阶段的通用能力的提升的, 呃,普京阶段的训练对于通用能力的提升的 价值是比较高的,天花板是比较高的。 后训练阶段对于一部分的垂类能力的提升的 天花板是比较高的,所以大家都是把它融合在一起了。 就是我可能五到六个月发一个大菜模型, 两到三个月发一个小菜模型,小菜模型就在IO后训练上面做文章,大菜模型就在预训练上面做文章。 对,所以现在都很开。 嗯嗯嗯,我我了解了,我了解了。 OK,嗯, OK,了解了。 然后,嗯, 就就其实总就咱们这样聊了这么多,就是那总结来说的话,你会觉得各个像Deepseek或或Kimi或智普,他他的下一个版本的大餐的模型,呃,假设27年年中的时候去推出的话,嗯,或者26年底啊,就他他的实际的能力跟跟跟跟,比方说跟GP去比的话,呃,你你觉得这个差距是会会会变大的还是会会,就假设他也在推推一个新的版本出来的话,就是目前的这个差距和未来的这个时候到27年年中的时候这个差距是变大的还是变小的,然后为什么? 你说大家都到明年年中这个阶段是吧? 哎,对对对。 到明年年中这个阶段。 对,因为他也可能又又推了一个版本出来了,对。嗯。 对。 呃,我是这么看到这个事情的,就是我认为比如说我们都有大模型,像K4的话可能是5、6万亿这样的模型,然后像GM大概是3.5万亿到4万亿的模型,3大概3万亿左右,那么这种情况下理论上讲我认为到了明年Q1的这个阶段, 呃,基本上像K4这样的模型跟GM这样的模型, 或者说你可以把它理解成为, 呃,因为K的参数量应该是要比GM的模型要更大的,它的通用能力应该是能够 超越明年Q1的 Fabo 5.1,呃,反正Fabo系列的模式跟那个系列的模式嘛, 我认为超越是没问题的,但是它不是所有的能力的超越,它基本上就几个能力,一个是DI的能力,我觉得是能超越的。 呃, tic coding的能力,它应该也是能超越的。 部分的非复杂的推理的强分任务上面的能力,我用它也能超越,但是 呃,在Mass啊,deep research上面,logistic上面我觉得可能会 做的稍微,有可能是持平的,有可能是稍微 呃,还更更差那么一些,这个是有可能的。 然后你拿智普的模型去看,智普模型大概3.5万亿到4万亿左右。 我觉得到,到那个阶段,明年Q1的那个阶段, 基本上是追不上的。 就它基本上只能做到类似于像呃, Astra,就是 它基本上只能做到那个Fable 5.5.1的水平,就是当下的Fable 5.1的水平。 就包括它的,因为5.1其实coding能力是比较强的嘛,包括后面。 那么 智普本来主打的也是coding的能力。 所以我觉得它基本上要跟对方有三到四个月的差距,在coding这块,所以差不多。 然后 M3的,M3 Pro的话,我觉得基本上 我不知道为什么他到现在还没出啊,他不断地在delay,但我觉得等到他出的时候,他已经落后了。 我觉得M3出来可能,M3 Pro出来可能就跟K3差不多的一個能力水平。 那K3也就相当于Fable 5的那个能力水平。 所以我觉得M3 Pro 呃,基本上就已经下牌桌了,就基本上已经在 肯定是超越不了Astra跟Faber5.1的。 嗯。 我觉得它只能做作所谓的多模态模型。 所以真来讲,我觉得是比较落后。 对,他会比较落后我觉得。 那是不是说如果,就是从从你们业内来看的话,就是它不发的原因是什么?就是说是不是说现在的水平也也就那样,它可能就是会选择还不如不发。 继继续再去训练一下,就是他的思维链向会是什么样子? 他现在这个思维肯定是这样子的,就跟我们肯定想法是一样的,就是我们为什么那个时候 呃,你看先出了K2.8,没有直接加码的直接去训这个K4,把K4先发了,对吧? 回归原因也是因为现在GPU算力各方面是比较缺的,然后我不能一下子做一个很大的模型。 他那是属于那种 他跟我的算力其实差不多。 他的B卡其实手上也有一部分,但是让它要被好几个模型分,对吧? 一个是那个, 呃,一个是那个,呃,M系列模型,还有就是海螺,还有是Beach,还有Music,还有,对吧,还有那个那个那个image。 所以他有很多模型。 所以这种情况下它的算力 整个资源就被分散掉了,所以他训的比较慢,这是一个点。 第二个点呢,他也会看M3 Pro,我记得当时9月上旬的时候,我跟他们的人聊过这个事,他们应该是已经,当时已经预训练接近尾声了,然后呢他们自己用测了一下,他会发现这个能力好像相对来讲比较弱的。 他当时跟我讲,就是当时9月初的时候,应该是9月的第一周的时候, 他当时跟我讲,当时他们测下来,呃,还不如K3,特别是在coding这一块上,他不如K3。 所以他们就觉得这个能力是不OK的,不work的,如果发了以后它也没用,因为它当时M3发了已经受到一部分股价牵连了,所以他不敢轻易发。 所以他就说,我们再后训练再后训练训个几周吧,那我估计可能还要再一个月时间吧,一个月时间我觉得差不多到11月初就是11过完,我觉得他应该就能发了。 当然11过完,我不知道他测完这个能力大概是怎么样。 我觉得最多最多也就是在K3的水平,或者比K3稍微好那么一点点。 那我觉得他也办法支撑非常久的时间,他可能上了以后,因为他价格,我据他们,他们的人跟我讲,他这个M3 Pro上以后价格会比我的K3价要更便宜,至少要便宜个三分之一左右。 所以我的判断,如果它能够能力比K3稍微高一点,价格比K3便宜三分之一,它应该初期是会对它拉升股价是有一定作用的,同时呢 会有一部分的调用量的增长,爆发,有可能,但是我觉得不掉多久,有可能就两三个月吧。 后面比如说像支付新的模型上了,包括我们K4上了以后,他马上又要又要往下走,所以整体来讲我觉得 就是很很难嘛,因为 说它发的趋势很快的。 两三个月三四个月就会发没，如果你发的速度慢，同时你的能力又没有爆发的一种增长。 其实它是很难占据核心优势。 嗯嗯嗯，明白明白。 呃，那就是国产模型的这种大餐模型来看的话，就是是不是Kimmy相对来说还是领先一点的？ 就从你刚刚说的这些这些总结来看的话。 你说什么？ 我刚没听清。 啊对，就是呃，就是咱们从下下一代的这个大餐大参数的模型来看的话，就是整个进度上呃，Kimmy还是相对来说领先的。 对，你可以这么理解，整个一方面是整个进度上面，另外一方面 呃，应该讲国内除了 无乐那个云厂商之外，我们手上的B卡应该是还是资源是比较多的，所以整体来讲，这块我们还是有优势，而且我们现在数据的优势也比较大。 嗯嗯嗯，怎么理解你们数据的优势比较大呢？ 能能拆拆开来说一说吗？ 对啊。 两个点，主要是K3跟K2.8preview有关系的。 就是当时K3其实是只要上了以后，不不爆发量，那个并发量不就暴涨嘛。 这种情况下很多用户因为它就是体验嘛。 所以很多的专业的用户就直接从特别B端客户直接就掉K3了。 那么这个时候，它给到了K3非常多的专有的行业的一些数据，这个数据的质量是非常高的，非常高的数据，所以整体来讲弥补了我后续那一部分 非常高的 行业user也好，包括一部分真实业务场景当中的一些issue的一些数据，这是一个。 第二个呢，是我K2.8preview上以后，因为2.8的preview它是一个完整的 完全体的多模态模型，所以这个多模态模型上了以后呢，很多用户， 有些用户他是喜欢K3的，但是他觉得K3太贵，他就路由到了K2.8preview。 那么这种用户它基本上也是行业里面的这种，我们把它叫做专业用户或者行业用户。 他是对多模态的一些视觉的理解，视觉的 这个判断，包括视频和图片它都有一定要求，所以 它就会用，那么这个过程它也给我积累的非常多的数据，所以我现在的那个整个数据的量级也好，包括我的数据质量也好，其实都比其他家的相对来讲我认为是要更好一些，所以整体 这个对我的训练其实有一点的帮助。 明白，但这个优势的保持的话，就是得我们一直能发这个就比别的竞争对手领先的去发SOTA的模型，就这个这个优势就可以一直去保持，对吗？ 对，你可以把它理解成为就是，这些这种事情就是强者很强。 就是你K3发了以后，你是个旗舰，然后未来你要有更因为你有更多的数据，有更多的 GPU，infra，然后你就去训更强的模型嘛，然后这个过程当中K4如果也能保持这样，那你的数据质量又会更高，那么你就会发K5。 就是现在只有一种问题，就是就是有是不是会有可能就是说你的数据也很好，模型能力也很好，但是因为你的模型变强了以后，你的推理上面变贵了，那么用户是不是buy in你？ 如果用户不buy in你，觉得你价格太贵，他可能就去找别的模型了，这个时候你的数据质量就又变差了，所以整体来讲，它是个博弈嘛，就是你的成本跟你的能力之间的一种博弈。 对吧。 嗯嗯，那这种问题一般怎么去解决呢？ 就是我们在发一个相对相对就是怎么说呢，弱一点的这种模型就是，还是怎么样去解决这样一个问题呢。 就是模型路有问题，就就现在的K2.8跟K K3你也就知道了，K3是旗舰，旗舰呢我的毛利定的也是margin定的也比较高，然后在这个情况下呢我的定价我整个定价的逻辑都是比较高的，但是2.8我们把它定位成中端，那么它的价格相对比较低，然后能力呢它是三点比较突出，通用能力上面肯定没有K3强，所以 比较高的。 后面还有次旗舰，非次旗舰或者说中低端模型，就未来会有四五个模型，所以基本上只能通过这种方式去解决问题。 那么 这里面会出 带来一个什么问题，就是你的ARR没问题，那你的用户量各方面可能基于你的这种多态路由机制，你也不会有太大问题。 但是实际上会带来一个什么问题呢？就像K分那样直接模型的用量就下降，因为它被分流了嘛。 嗯。 分流以后会导致你的数字会有部分的 减少，或者数据质量会有部分的降低。 那这个就没办法，这个就倒逼着你不断地提升你的提价模型的能力，然后把它定在一个相对来讲，也不要价格太贵，对吧？ 有一定的价格的可接受度的一个区间范围之内，然后去获取更多的用户的一些 呃，流量或者用户的一些使用，只能这样子。 嗯嗯嗯，明白明白。 然后，另外一个问题就是，呃，头部的B业模型它其实也在不断的降价嘛，变相的降价。 呃，这这实际上对于呃，开源的模型有什么影响吗？ 还是说开源的模型本身价格已经很低了？ 就就这个影响啊，就是有多大程度吧，嗯。 就说你说B业模型，包括海外旗舰他们也在降价？ 对，海外旗舰他们在降价，对。 呃，我们是这么看这个事啊，就是，开闭源还是 还是不大一样的，就是闭源的话，呃，调API嘛，调API的情况下，首先当然我价格比较低，然后我能力跟他差不多，这个是我的一个优势嘛， 但他不断的降价，有可能我跟他未来有一天可能就差不多，因为他也用了一部分的MOE的一套架构，然后他整体的可能，因为它用的更多的GPU去推，整体的处理效率也比较高， 这个未来我觉得呃，能力差也好，包括我的推理的一些成本差也好，都会被抹平掉，但是只要我坚持开源，我觉得他还是玩不过我的。 为什么呢？ 就是我开了以后，实际上大部分海外的客户是很注重，我们叫用户隐私的，就数据隐私的嘛。 那比如说金融行业、教育行业、医疗行业，他是没办法用闭源模型的，他必须要用开源。 那么你现在K3就是世界上最强的开源模型，那么他必须要用你这个模型才能去做他本地业务的一些推理，他就会来，他就会来用。 所以这个过程当中，就回到了我们最早说的这一点，就是我，我是通过呃，开源协议非open, 呃，MIT的Open source，我就给你签，签完以后，你反正就推嘛，你本地布嘛，2000万美金以上，你就跟我分佣，就是这样的一个道理。 这就这就带来了一方面保证了用户隐私，也保证了我的AR的收入。 嗯，明白，明白了，了解。 OK,嗯，但但从目前来看就是开源模型是是就是就是Kimi就是最顶尖的是吗？ 可以这么理解吗？ 嗯。 对对对。 OK, OK。 喂喂喂喂，没听到。 啊对，就就我的意思就是，呃，就您这刚说这个逻辑蛮好的，但是呃，就是从从那些这个企业或者是对数据隐私有有有这个呃，有需求的这些用客户或企业来说的话，嗯，从他们的角度来看，呃，一，就是说他会只选一种这个开源模型嘛，就是谁最厉害就会选谁，然后第二个就是如果谁哪个开源模型后面能力赶上来了，它的切换的这个成本又，就是他自己私有部署以后，这个切换的模型成本又有多大呢？ 嗯，它是这样子的，就是 两种两种方式啊，一种就是呃，它是自己本身有机房的。 那就它就直接下到下到自己服务器上面了，然后它通过自由的GPU去推，那这个其实跟我也没有太大关系了。 嗯，对吧？ 嗯。 因为我其实接顾不到他，我不知道他这个东西到底内不用还是往外商业化去卖了，这个我不知道的。 所以对我来讲，我商业化，我实现收入了。 但实际上呢，对他自己本身业务是有帮助的，他愿意去这么去做。 那这个我觉得是必得非常高的，他哪怕未来出来一个比如说GLM的模型，他最终比如说能力特别特别强，他也可能也不会去用，因为为什么呢？ 因为 我行本地化布了以后呢,它是有一些模型记忆跟数据是留在本地服务器里面的。 如果你换了一个模型,它里面的一些workflow跟agent里面当中的一部分的一些这个生态的一些架构,包括一部分的 knowhow, 其实都已已经不大一样了,就是它处理整个推理的COT是不一样的。 你换了一个以后,有可能对你业务的增量或者业务的一些这个效率提升是有一定的影响的,所以大部分它不会这么去做。 这个其实是有一定的 换的,就是替换成本。 但如果说是像Amazon这种, 对吧,用户是 用户像之前也不是像,用户是Amazon下完以后,然后Amazon提供那个 算力直接推给用户的,那实际上对于用户来讲,它跟B的模型是一样的道理,就我随时随地我就要换,因为为什么? 所有的数据的流程也好,包括数据的一些信息也好,都不是留在客户本身服务器里面的,它是放在云厂商手里的。 所有的数据 对吧,都在云厂商手里,那么它替换它是没有任何成本的,就是我今天用你可以算,明天用你GM,后天用你DB,反正都可以,而且呢,大部分这样的厂商它基本上都是一拖三一拖四的。 就它手上会有三到四个开源模型,它都会去调的。 就是这三三三到四个模型它会配合不同的推理的效率跟推理的成本,比如说成本比较高的,它就用用用在相对来讲高价值的这种业务业务条件里面,如果成本比较低,像DS的这种renew的这种模型,它会放在相对来讲比较 低一点的,或者相对来讲就是业务价值不是特别高的这种 呃业务的workflow里头,所以他们自己会动态的调,所以你可以把它理解成为只要Amazon这种啊像 呃就是 这个这个这种云厂商呢,它是很容易被替换掉的。 所以这个为什么你要保持核心竞争力才行。 如果你未来不是国内呃全球最好的开源模型,你就会很很容易会被人家替代。 嗯,明白了明白了。 哎那其实像那个像亚马逊这种,他他不开源的时候,他也,他是就像这些大云厂商啊,就他不开源是也会 好几种这个开源模型都不,还是说呃Kimi是最厉害的,可能现在就是优先都都去推给Kimi了。 他肯定好几种都不,他为什么?他们也要赚钱,就是像K3它是非MIT的opensource,像DS跟GM,它都是MIT的opensource,MIT的opensource就是 我所有的东西都开源,然后整个权重你都可以免费用,所以对于这个云厂商来讲,他肯定愿意先布这种免费模型,因为免费模型对他不不分佣嘛,对吧,对他来讲收入是没有任何影响。 所以他基本上跟客户去推的肯定不是优先推K3,而是推开源模型。 那么只有这部分开源模型的能力没法满足用户需求,或者有些用户的诉求就是我要最顶尖的 这种开源模型,他才会选K3。 所以这就意味着大部分时候,就是K3是必须需要保持一定的旗舰的能力,它才有可能不断的通过MIT的这种非MIT open source去获取一部分的营收的分庸的。 如果说你未来能力拉了,像比如说,呃像像KK2.5,2.6这种非旗舰的这种模型,那你就没办法,你你是拿不到分庸了,你哪怕跟他签了那个协议,他可以不推你,对吧,不推你你就没有收入。 嗯嗯嗯,明白明白明白。 嗯,还最后一个问题啊,就是我们就是这个商业化的时候有没有去统计过,就是呃对于B单而言的话,有多少比例的客户他是有这个用开源模型的刚需的,就是因为这个数据隐私啊之类的这些这些呃原因吧,他必须得用开源。 B端开源刚需。 这个理论上讲我是不知道的,为什么?因为我接的B单客户都是API的 这个闭源的用户,就