2026.09.24 | AC | LLM | NA LLM Check: Compute & Gemini Roadmap

摘要

本文核心要点包括： 1，Gemini新一代模型迭代规划及性能目标 2，OpenAI及Anthropic在模型训练领域算力投入力度变化 3，大模型核心应用场景对比 4，AI安全对行业影响

以下为专家观点：

1，谷歌公司对于下一代前沿模型的性能目标是什么？

谷歌公司对下一代前沿模型的目标是达到SOTA水平，SOTA的标准是，在发布时，模型在各项评测榜单上应排名第一，或在与第一名差距极小的情况下排名第二，不能是第三名。目前，正式模型的预训练尚未完成，发布时间尚不确定。团队正在利用模型序列中一些未 经充分预训练的中小规模模型进行后训练，以测试效果。如果效果理想，可能会提前发布；若效果不佳，则将按原计划继续完成预训练。

当前谷歌同时训练十几个不同方向和规模的模型，主要是基于多方面考量。首先，目前尚不确定哪种模型架构对特定硬件（卡）的利用率最高，以及哪种模型能最终成功。其次，这种策略与产品发布和市场格局紧密相关。如果只训练一个庞大的模型系列，将很难在预训练中 途提前发布版本。而通过并行训练大小不一的模型，则获得了更大的灵活性。例如，可以将系列中收敛速度更快的中小规模模型提前拿出进行后续处理，以实现提前发布的目标。这不仅是技术决策，也包含了商业和战略层面的考虑。

2，从算力资源使用情况来看，Anthropic近期的研发进度呈现何种趋势？

从算力资源的使用情况可以观察到，Anthropic的研发节奏非常紧张。尤其是在周末，计算资源（卡）的紧张程度明显加剧。虽然周末通常会有额外的算力可用，但现在可用的额外资源比以往少了很多，这表明Anthropic正在高强度地进行模型训练。

3，在算力资源的分配上，谷歌公司如何在模型训练与推理业务之间进行权衡？

谷歌公司在资源分配上采取均衡策略。虽然对模型训练的投入有所增加，但增量相对较少。核心考量是推理业务能够带来稳定的现金流和数据回流，并维持客户粘性。如果将大量算力资源投入训练以追求模型性能的领先，可能会失去确定性的现金流，反而不利于长期发展和 下一代技术的升级。当前阶段，各公司的模型并未形成代差优势，因此保障推理业务的算力供给，避免客户流失是首要任务。

4，如何评价智谱、DeepSeek、Kimi等模型在长文本（Long Context）和视觉能力上的表现？

最近未对这些模型的最新版本进行评测。根据此前的评测结果，例如在Kimi K3和DeepSeek Flash V4时期，这些模型在长文本和视觉这两个维度的能力相较于硅谷的顶尖模型仍存在一些差距。长文本能力的提升主要取决于特定训练语料的获取与蒸馏，而这类高质量、长上下文的训练数据不易寻找。视觉能力则与模型整体的Token设计高度相关。

5，考虑到OpenAI等公司在数据积累上的投入，下一代大模型在垂直领域的突破方向可能是什么？

目前硅谷业界的共识是重点押注3D领域。近期，DeepMind在一个月内收购了两家从事3D validation的公司，显示出该赛道的火热。3D生成技术已展现出巨大的跃迁，能够将2D图像高效转化为过去难以制作的3D模型，这在机器人、3D打印等领域具有极大的应用潜力。因此，预计下一代模型将持续在3D能力上进行深度打磨。

6，3D生成技术除了应用于游戏和3D打印，其在机器人零部件制造和对AR产业的支撑方面表现如何？

3D生成技术在游戏开发领域是主要的应用产品。例如，DeepMind正在开发一款与builder相关的新游戏产品，这是一个全新的产品线。其他实验室也都在进行类似的工作，因为构建3D游戏模型，尤其是角色建模，是一项工作量巨大的任务。现在利用AI，通过一张竞品的图片就能生成非常逼真的3D模型。在机器人领域，谷歌的robotics团队已经在使用Fable

1. 1来打印机器人零件，基本可以实现一次成型，即根据他们设计的2D图纸直接生成3D实体。至于对AR的支撑，虽然3D生成技术在游戏、3D打印、CAD等工业设计领域都有应用，并且能通过生成大量精准的3D模型来辅助robotics和world

model的进化，深化其对视觉信息的理解，从而获得各方投资，但我个人认为，与coding相比，3D生成仍然是一个相对小众的领域。不过，该技术目前已经成熟，预计能很快实现商业化落地。

7，与纯文本大语言模型相比，原生多模态模型在训练和推理阶段对硬件，特别是显存和解码环节的需求有何变化？

这取决于所采用的具体架构。如果使用diffusion模型，情况较为复杂，因为这类模型通常不是特别大，但像传统的DiT模型属于计算密集型任务，需要在内存中进行多轮diffusion，计算量很大。若采用如Transfusion等新架构，相比DiT能节省大量算力。目前，许多公司已转向采用类似Transfusion的异步方式，与第一代DiT或纯粹的Latent Diffusion Model相比，算力消耗已显著降低。尽管如此，从总体消耗来看，多模态模型肯定比纯文本模型要大。还有一些采用纯encoder-decoder架构的新方法，通过持续计算各种prefix来节省部分算力，但总体开销依然高于纯文本模型。

8，在模型预训练阶段，近期有哪些技术创新，尤其是在北美市场，对于这类创新的接受程度和偏好是怎样的？

近期有一种创新是在预训练阶段对上下文的KV cache进行优化。其逻辑是，不再让每个token都重新生成KV cache，而是先对所有上下文和token做一次编码，当新的token进入时，仅从中寻找其投影，从而将KV cache的用量缩减为原先的四分之一。国内在这类创新上表现较为活跃，例如Kimi过去也曾有过类似的技术探索。在北美，多模态输入的模型中也采用了类似方法，但并未广泛应用于纯文本或大语言模型领域。硅谷对于这类在KV cache层级上进行强压缩的优化方案接受度不高，更倾向于折中方案。例如，业界正逐渐接受Loop Transformer，它通过增加循环而非增加网络层数来避免模型规模过大和KV cache过高的问题，这是一种在不进行大规模压缩的前提下，沿用经典Transformer层的折中选择。

9，从数据准备和应用场景的角度看，目前大模型主要聚焦于哪些领域？各领域的数据消耗量级以及头部公司（如OpenAI、Anthropic、谷歌、微软）在数据获取方面的优劣势分别是什么？

目前大模型应用场景的优先级排序是：首先是编程，其次是办公，再次是AI for Science和3D等领域。从数据消耗量来看，编程场景占据绝对主导地位，其他所有场景的数据消耗量加总可能仅为编程场景的十分之一。在编程数据方面，各家公司都在通过购买、蒸馏、利用员工或寻找供应商等多种途径获取数据，预计很快各方在该领域的数据能力将趋于同质化。在办公场景，OpenAI和Anthropic存在数据劣势。尽管他们强调对B端客户数据的留存保护政策，并会使用C端数据，但C端数据主要集中在编程领域，企业办公场景的应用尚不普遍。因此，他们在获取企业内部具体的文档撰写、协作模式、内部沟通等高质量办公数据方面较为欠缺。相比之下，微软和谷歌凭借其现有的生态系统，在办公场景数据上拥有显著优势，这构成了他们的护城河。

10，AI for Science领域目前的发展阶段如何，有哪些具体的落地应用方向和行业基准？

AI for Science领域目前仍处于非常初期的阶段。行业内出现了一个名为Science Bench 1.0的基准，各家公司都在积极参与评测。不过，该基准本质上更应被视为一个科学数据分析基准（Science Data Analysis Bench 1.0），其任务主要围绕数据分析展开。当一个新的榜单出现后，数据供应商提供的相关数据集通常会成为各家争相购买的对象。预计在AI for Science领域，首先落地的应用将是处理相对模糊的数据分析问题，例如分析规律尚不明确的天文数据。模型在处理这类定义模糊的prompt（例如“请帮我找出这个数据集里有什么规律”）方面的能力将在下一代或下两代模型中得到显著提升。通过辅助科学家进行模糊的数据分析，AI能够有效推动科学研究的进展，这是比直接取代科学家更为现实的路径。因此，科学数据分析将是该领域最先实现商业化和应用落地的方向。

11，关于OpenAI和Anthropic下一代模型规模情况？

根据了解，OpenAI在训练中实际投入的总算力远超外界所传的成功运行一次所需的数量。目前，OpenAI将其总算力的40%至50%用于模型训练。Anthropic的训练算力占比曾低于此水平，但近期也在逐步提升，尤其是在周末会动用大量GPU进行 训练。相比之下，DeepMind的训练算力占比远低于其他公司。

12，从Token消耗量、用户基数和商业模式等维度，如何评估和对比AI在Coding场景与Co-work（办公协同）等其他应用场景的市场潜力？

从Token消耗量来看，Coding场景远超其他应用场景的总和。其他应用（如Co-work、3D等）加起来的Token消耗量大约仅为Coding的十分之一。这是因为Coding模型升级常伴随着Token需求翻倍甚至三倍的增长，例如GPT-5 .6到Astral，在处理相同任务时Token量几乎翻倍。这种增长并非源于工作时长增加，而是因为当前模型普遍通过消耗更多Token来提升稳定性。Coding任务，尤其是复杂问题，需要参考庞大的代码库，导致输入Token占比极高。

相比之下，Co-work场景（如撰写文档）通常只需参考少量（如10-20篇）文件，Token消耗量要小得多，目前普遍在数个million的级别。从用户基数来看，Co-work领域覆盖的白领群体远大于程序员，因此潜在用户规模更大。

从商业模式和收入来看，Co-work场景的潜力目前尚不明确。主流产品如Gemini Enterprise和Teams Copilot仍采用传统的SaaS模式，即按席位收取固定月费（通常在几十美元，例如Gemini Enterprise约为二三十美元），而不论Token使用量多少。企业之所以能接受这种模式，正是因为当前办公场景的Token消耗量不大。此外，办公场景的任务复杂度相对较低，通常小模型即可满足需求，例如在Artificial Analysis修改前的排行榜上，针对文档、表格等分析工具的模型是3.7版本，说明企业不一定有持续追逐最新大模型的强烈意愿。而那些不按席位付费、基于企业自动化工作流的场景，目前落地速度还比较缓慢。因此，尽管Co-work用户基数庞大，但其任务复杂度和当前的商业模式限制了其收入爆发力，与Coding场景形成对比。

13，考虑到Google在员工数据方面的复杂性，Gemini 4在数据获取上是否面临挑战？特别是近期新增的从环境服务商处购买的数据，这类数据是否具有独特性，还是说竞争对手也能轻易获取？

数据供应商的增多确实降低了数据获取的壁垒。过去可能只有Scale AI等少数几家，现在则涌现出众多供应商。这些供应商会针对市场上的主流榜单，专门生产大量高质量、合规的数据。他们通过自有的环境和聘请的专家来录制操作轨迹、生成评分数据，而非违规使用C端用户数据。因此，像Anthropic和OpenAI早期依赖Codex和Claude Code数据的优势正在逐渐减弱。

尽管如此，与直接拥有海量用户数据的模型相比，通过数据供应商获取数据仍会慢一步。例如，OpenAI可以直接分析全球数千名天文学家使用其产品的真实数据，了解他们的prompt模式和数据分析方法。当模型被要求“寻找数据规律”时，它能调用天文学家常 用的方法，这与机器学习工程师的思路可能不同。数据供应商虽然也能提供专业数据，但在捕捉这种最前沿、最真实的用户行为上总会存在时滞。不过，整体差距正在缩小，目前数据供应商的响应速度极快，例如在一个周末内就能根据需求准备好上千组不同类型的环境。

14，对于专业度要求极高的问题，例如Science Bench 1.0榜单中涉及的天文学、流体力学、有限元分析等领域，第三方数据提供商能否提供足够质量的数据？

这些专业数据提供商的能力很强，能够满足高专业度的需求。在针对Science Bench

1. 0这类榜单进行优化时，需要大量天文学、流体力学、物理学以及有限元分析等领域的数据，而这些供应商都能够提供。他们内部应该储备了相关领域的专家，专门负责生产这些高质量数据。当然，在使用这些数据时，谷歌内部也会安排拥有物理、数学等相关背景的博士和博士后进行验证，以确保数据的准确性和有效性。目前，行业内各方都能够通过这种方式获取到高质量的专业数据。

15，AI安全应用所需模型的规模是怎样的？它是否必须依赖SOTA级别的大模型来解决？

AI在安全领域的应用并不一定需要SOTA级别的大模型。近期的测试显示，使用Gemini Lite这类几十亿参数（几B）的小模型，已经能够满足绝大部分安全需求，其效果远超现有的内容网关等传统防泄露产品。问题不在于模型能力，而在于成本。即便使用几B规模的小模型，企业目前也难以负担其部署和运营成本。这类应用场景与办公场景类似，主要处理常规流程性任务，而非进行复杂的创新研发，因此对模型的要求并非顶尖。

AI技术在内容防护等安全领域的能力远超传统安全软件。例如，一个Flash级别的模型就足以检测出金融合规场景中不合规或隐晦的言论。然而，当前的核心障碍是客户无法承担其高昂的成本，而非技术能力不足。因此，对于传统安全软件公司而言，这既是压力也是 潜在方向。一旦能够找到投资回报率更高的特定应用场景，AI安全应用便能落地。目前，一些高价值场景已经开始应用，例如对总监级别以上员工的通信进行实时监控。长期来看，随着成本问题的解决，传统安全软件公司将面临巨大的转型压力。

16，在AI时代，Google搜索业务的两大核心竞争力-基于爬虫技术构建的知识图谱和安卓系统的分发能力，是否容易被颠覆？

颠覆Google搜索业务的门槛非常高，主要并非技术壁垒，而是巨大的资本投入。网页抓取本身是一项“体力活”，Google动用数千万台低端虚拟机（如4核或8核CPU，16GB内存）进行数据抓取。虽然AI可以辅助完成网页到知识图谱的转化，但其成本是否低于之前依赖大量印度外包的人工，尚不确定，且最终仍需大量人工校验。核心门槛在于持续的高额资本支出。多年前，Google每年在搜索基础设施上的投入就达到十几个billion美元的量级，现在这个数字可能已增长到每年20 billion美元，用于数据抓取、存储和人工审核。要支撑如此巨大的投入，必须拥有一个庞大的广告生态系统。微软的搜索业务虽然占据全球第二的市场份额，但在投入了同样规模的基础设施后，其净利润仍处于亏损状态。这表明，搜索行业需要巨大的规模效应才能实现盈利，这对新进入者构成了极高的壁垒。