2026.09.23 | FUNDA | LLM | Anthropic Expert: Computer Use Economics

原标题：Anthropic Expert — 计算机操作的经济性与企业战略

#llm #agents

Funda · 2026-09-23

Expert · Executive, Leading AI research & deployment companyShiyi MengShiyi MengGuestGuest

免责声明：本次访谈专家为行业专家。本文所引用的所有数据（包括但不限于增长率、客户规模、交易规模、地区拆分等）及前瞻性预测，均为受访专家基于既往行业经验给出的个人估算与回忆，不代表相关公司或其关联公司的官方披露，亦不构成任何非公开重大信息。本纪要内容仅供参考，不构成任何投资建议或商业决策依据。纪要观点仅代表相关观点发表者个人在特定时间点的看法，不代表 FUNDA 立场。作为独立运营的平台，FUNDA 保持中立第三方地位，不对纪要观点的准确性、完整性或适用性作出任何明示或暗示的保证。鉴于市场环境与技术趋势的快速变化，本纪要反映的是截至发布日之前的市场情况，相关信息可能随时间推移而失效。FUNDA 无义务对纪要内容进行实时更新。

核心摘要

Astra性能提升的三项驱动因素 — 该行业专家将Astra在计算机操作基准测试中的优势归因于面向工具使用的强化学习和后训练增加、据称可减少上下文窗口限制及外部推理Token反复输出的循环式变换器架构，以及提升推理服务算力效率的算法工作。
计算机操作属于过渡性架构 — 该行业专家认为，当前形态只是临时方案，因为模型需要反复处理视觉渲染结果、将图像转换为文本、推理操作并控制虚拟鼠标。其预计，应用程序编程接口、代理间通信协议和模型上下文协议最终将取代其中大部分流程。
浏览器流程的高Token成本 — 据该行业专家估计，一次浏览器操作可能消耗2万多个Token，包含10次点击的流程可能达到20万个Token；按每100万个Token约25美元的典型价格计算，后者成本约为5美元。复杂的推理或研究流程可能消耗100万个甚至更多Token。
Anthropic面向企业的差异化定位 — 该行业专家将Anthropic在计算机操作方面相对同业较弱的表现归因于战略选择，而非基础能力差距。其称，Anthropic优先关注软件工程、金融、法律、生命科学和安全，并且比大众消费者浏览器自动化更重视企业接口、应用程序编程接口和模型上下文协议。
企业身份与访问控制障碍 — 据该行业专家判断，代理通过网站点击并冒充人类，会带来安全、隐私、数据主权及数据驻留问题。其提到Amazon已阻止Muse浏览其网站，并认为更广泛的企业采用需要独立的代理身份、基于角色的访问控制及授权委托。
当前节省时间的能力有限 — 该行业专家表示，现有系统仍处于早期阶段，需要大量人工参与，对于用户熟悉的流程，速度可能慢于人工操作。其认为，代理在跨陌生网站开展开放式研究时可能表现更好，并可能通过强化学习逐步改进。
JEV的潜在贡献较为有限 — 该行业专家认为，JEV属于二元或概率型决策模型，可能承担一小部分底层选择，但任务拆解和调度仍需依赖LLM。其估计，这一细粒度环节在整个计算机操作流程中的占比远低于5%，对应的LLM工作时间少于5秒，因此只能带来非常有限的算力效率改善。
蒸馏风险存在但总体有限 — 可见的计算机操作状态机具有较强的结构性和确定性，因此点击行为可能被复制；但该行业专家表示，隐藏的推理轨迹、任务拆解、用户界面定位和安全判断使完整能力蒸馏较为困难。其更看好同策略蒸馏，并称OpenAI和Anthropic限制展示思考Token及思维链后，异策略蒸馏的可行性进一步下降。
高端模型的推理经济性 — 该行业专家称，GPT-6、Fable 5或Fable 5.1等高价模型的定价约为每100万个输出Token50美元，而Haiku约为5美元。其判断，低价模型的利润率最低，中型模型更高，最昂贵模型的利润率极高，但后者的Token用量仍然有限。
处于早期阶段的定制芯片计划 — 据该行业专家称，Anthropic曾公开表示正在组建内部团队并与合作伙伴开展工作，但相关计划仍处于非常早期的阶段，首款芯片通常需要2年以上才能成熟。其认为，获取更多算力、降低对下游架构的依赖以及推进软硬件协同设计是主要动因，并判断公司很可能寻求外部后端合作伙伴。
未提供精确比例的云端算力排序 — 据该行业专家估计，Anthropic的算力通常分布在Google、Amazon和Microsoft，其中Google占比最大，Amazon次之，Microsoft再次之。其未给出具体百分比。
单芯片吞吐量差异较大 — 在模型规模、上下文窗口、批处理和配置等条件约束下，该行业专家估计，Kimi K3等超大模型约为每秒20-40个Token，700亿参数模型约为每秒2千个Token，80亿参数模型约为每秒1万-2万个Token。若运算完全位于高带宽内存内且不将键值缓存卸载至外部，其估计低价模型可达到每秒1.5万-2万个Token，而最大型模型约为每秒10-50个Token。

关键要点

基于协议的自动化更可能成为企业路径 — 该行业专家的核心观点是，企业自动化将从视觉点击转向应用程序编程接口、代理间通信和模型上下文协议，因为仅一次点击就可能消耗2万多个Token。
计算机操作差异主要源自战略选择 — Anthropic的相对定位与其专注五大企业垂直领域及端到端工具集成有关，而面向消费者的模型提供商在浏览器自动化方面投入更多。
大众消费者规模化的经济性面临挑战 — 包含10次点击的浏览器流程可能消耗20万个Token，并按所述价格产生约5美元成本；该行业专家同时认为消费者业务的利润率有限。这一组合构成其质疑当前计算机操作方式能否广泛扩展的主要依据。
隐藏推理构成更可防御的能力层 — 尽管可见的点击、输入和滚动操作形成了确定性状态机，但该行业专家认为，未公开的任务拆解、推理及安全判断使完整蒸馏较为困难。
高端定价与有限用量并存 — 所述高端模型输出Token价格约为Haiku的10倍，而参数量并未相应增加10倍，这支持了该行业专家关于高端模型利润率更高的判断；但其同时提醒，这些模型的实际用量有限。
定制芯片属于长期战略项目 — 该行业专家认为，该计划有助于保障算力并推进软硬件协同设计，但其估计首款芯片通常也需要2年以上才能成熟，且Anthropic的相关工作仍处于非常早期的阶段。
推理经济性无法由参数量简单推导 — 在所述内存条件下，最大型模型与低价模型的吞吐量估计分别为每秒10-50个Token和1.5万-2万个Token；但该行业专家强调，批处理、延迟目标、上下文窗口和应用场景使吞吐量与参数量之间不存在固定比例关系。

Shiyi Meng

首先，您能否帮我们解释一下Astra在电脑使用方面的明显优势？他们做了哪些改进，从而在这次带来了如此显著的差异？

Expert · Executive

我认为 Astra 系列模型中有两项关键改进真正促成了它的跨越式突破，我也很乐意探讨还有哪些方面仍需继续构建。第一部分从根本上说就是越来越多的强化学习，这使得 Astra 在工具使用方面的表现越来越出色。工具使用并不是什么新鲜事物，公司很早以前就有了；唯一的问题在于，工具使用中的有效性或推理能力相当有限，这就是它过去不太准确的原因。所以第一部分就是采用越来越多的强化学习，而不是单纯依赖核心预训练数据。因为考虑到模型管线，在计算机使用或工具使用很重要的场景下，如果只是一味提供预训练数据，是无法取得太大成效的；必须加入越来越多的后训练算法。第二部分是据称他们还采用了循环 Transformer（looped transformers），这从根本上意味着它们不必受到上下文窗口的限制。它们不必一直输出推理 token，而是可以专注于在层与层之间进行内部循环。第三部分则是计算效率。显然，计算机使用可能会非常消耗算力，因此通过算法研究，他们探索如何提高计算效率，从而在服务成本上比传统模型便宜得多。这些就是真正促成其在计算机使用基准测试中取得优异成绩的关键差异化因素或驱动力。

Shiyi Meng

根据 OpenAI 发布的基准测试结果，Anthropic 的 Fable 在计算机使用能力上似乎略微落后。我想知道，这更像是一种战略选择——因为 Anthropic 更侧重于与编程相关的能力而非计算机使用能力，所以这更像是一项战略决策，还是更像根本上的能力差异？

Expert · Executive

我认为这更多是一项战略决策，原因有几点。首先，像 Anthropic 这样的公司并不真正聚焦于消费级市场。 GrokBot、Muse 等产品相继出现，都是非常针对消费者的细分领域和使用场景。Anthropic 并没有真正涉足纯粹的大众消费领域。其次，即使你看到 GrokBot 出现并协助进行计算机使用，甚至还有 Spark 或 Meta 的 Muse 模型，你可以发现这并不涉及解锁了多少核心推理能力或核心能力。例如，要控制浏览器，并不需要很高的智力或很强的推理能力。这更多是关于这些公司如何在基础设施端启动云容器，然后让这些模型学会更好地在界面上点击操作。这并不需要很多智能。对于 Anthropic 来说，他们的重点领域是五大关键行业：软件工程、金融、法律、生命科学和安全。在这五个拥有最大企业采用率和最高营收的行业中，其他那些模型甚至完全无法与之相比。

Expert · Executive

例如，当你深入查看每个新模型发布时附带的系统卡（system card）——哪怕去看 Fable 或 Opus 等模型——深入探究就会发现，他们甚至会对蛋白质、酶和分子等进行测试。其他这些模型根本无法企及。所以退一步来看，两方面原因都有：Anthropic 专注于企业级市场、API 以及这些高价值领域；而那些公司则真正聚焦于消费者用例。其次，谈到企业自动化时，公司真正需要的是端到端的工具集成。比如 Anthropic 开发了 MCP，允许智能体连接任何工具。在企业环境中，你通常不会通过到处点击来工作，“电脑使用”（computer use）几乎没有什么应用场景，那更多是面向普通用户去自动化点披萨之类的日常琐事。在企业级用例中，根本不存在所谓的“电脑使用”或到处点击——你需要的是界面、API 和 MCP 等。这正是 Anthropic 重点发力的方向，而其他厂商则主要聚焦于终端消费者，而非企业级市场。

Shiyi Meng

我在 Astra 的官网上看到了所有示例，涵盖了 3D 建模、CAD 乃至起草法律文件等用例。此前我的理解是，他们仍然试图打入企业级应用市场，但更多偏向于一些行政性工作，或者企业自动化工作。那么，你认为这种所谓的“电脑使用”能力在这些场景中是否具有真正的价值？

Expert · Executive

以目前的发展方式来看，“电脑使用”是非常暂时的。首先，它在 Token 效率上非常低下。想想看：当你访问一个网站时（比如 economictimes.com），浏览器接收代码并将其渲染成网页；如果让大语言模型或 AI 去到处点击，它就必须截取画面、将图像转化为文本、进行决策，然后再用鼠标去模拟点击。这种方式在 Token 消耗和时间效率上都极其低下。这对普通消费者来说或许行得通，但对企业来说并不太适用。企业真正需要的依然是 API，因此“电脑使用”只是一种短期过渡方案。这正是 OpenClaw 原本想做的事。而像 GPT-6、Muse 或 Rockbot 这些厂商所做的，只是把类似 OpenClaw 的环境搬到了云端提供给所有人，让你无需在本地手动运行或部署。更重要的是，他们借此留存了你的数据——你在买什么、你的支付网关、你的个人偏好等。 Anthropic 对这种模式不感兴趣。我认为“电脑使用”只是暂时的。随着网站越来越先进并普及 API、智能体间（A2A）通信协议或 MCP 协议，最终会逐渐不再采用这种模式。面对算力短缺以及大众用户的大规模普及，“电脑使用”这种方式根本无法扩展。

Shiyi Meng

在短期内，这也许是唯一的途径，或者说是一种更合适的方式，因为我认为并非所有的应用开发者都愿意开放共享 API，或者去构建这样的 MCP 工具吧？

Expert · Executive

不，我认为他们会愿意的，因为这正是当年 API 刚出现时发生过的情况。在互联网刚起步时，网站纯粹是为人类点击浏览而设计的。后来，当一家银行需要与另一家银行交互时，采用的是 API，而不是去网页上到处点击。比如现在，如果你关联两家银行并进行转账，它们是通过非常具体的协议来运作的；你的代理并不会跑到另一家银行的网站上去到处点击来完成转账。所以从扩展性以及能实现的功能来看，这是最大的挑战之一。第二个挑战，也是我目前对“计算机使用”（Computer Use）最大的担忧，在于代理目前仍然是在冒充人类。例如，当你试图管理 Instagram 或 LinkedIn 账号时，机器人仍然是在模仿你本人的行为到处点击，它们并没有独立的身份。我不知道这种方式能扩展到什么程度，因为这是一个非常经典的身份冒充问题，进而会引发涉及安全性、隐私、数据主权以及数据驻留等诸多挑战。因此，我对其可扩展性存有疑虑——也许它适用于消费级场景，但绝无法适用于企业级场景。第三个问题是营收。在企业级场景中，这些能力显然蕴含着巨大的潜能，但目前这种形态还做不到。而在消费级领域，虽然用户量很大，但利润率非常有限，这是一大障碍。第四点，从价值观层面来看，像 Anthropic 这样的公司非常专注于我之前提到的那五个垂直领域，但更重要的是，他们专注于改善人类生活和全人类福祉。在当前全球算力短缺的背景下，如果能把越来越多的算力分配给癌症研究或药物发现等领域，只要你认同助力这些领域，其社会回报要高得多。相比之下，OpenAI 长期以来聚焦于消费者端，这也是为什么其利润率有限，甚至盈利路径也相当受限。其次，在其产品组合中，他们从根本上也是在追逐消费者，比如涉足了视频生成等领域，后来又不得不将其关停。退一步来看，无意冒犯艺术家，但软件工程师、律师、金融人士、生物学研究人员等群体的薪酬显然远高于艺术家。其次，从社会影响力的角度来看，Anthropic 专注于“面向科学的 AI”这类方向，而不是把精力放在替人点拿铁这类琐事上。因此，我认为这些公司有着截然不同的战略方向。

Shiyi Meng

Anthropic专注于所谓智力密集型的行业或任务。那么，我是不是可以得出这样一个结论：“计算机使用”更适合那些低价值或行政类的任务，比如填写采购订单、操作 OA 系统录入一些 SKU 等？也就是说，它更类似于白领行业内部的消费级市场或大众化市场。

Expert · Executive

完全正确。你不需要多高的模型智能来完成诸如订披萨或者找洗发水并下单这类任务。与其说是解锁模型智能的问题，不如说更多关乎强化学习、理解如何使用工具，更重要的是降低算力成本，从而让它以一种极高Token 效率的方式运行。

Shiyi Meng

那我是否可以认为，Anthropic 未来不会在开发“计算机使用”（Computer Use）能力上投入重金？

Expert · Executive

总的来说，纵观企业的实际需求——无论是像 Harvey 这样的大型律所，还是金融领域的彭博（Bloomberg）或简街（Jane Street），他们的重心通常不在于这类工具。对他们而言，他们只希望实现极高的 Token 效率和界面效率。他们的关注重点在于 RPA（机器人流程自动化），也就是企业级自动化。

Shiyi Meng

您之前还提到计算机使用任务非常消耗Token，我认为这确实是事实。不知道您是否有相关示例可以分享，比如在典型情况下，一项计算机使用任务会产生多少Token用量？

Expert · Executive

当然。在计算机使用方面，如果只是典型的浏览器操作——比如点击、刷新等——每次点击很容易就会消耗2万多Token。如果进行一个10次点击的流程——比如登录、结账等——Token消耗很容易达到20万。典型定价大约是每100万Token25美元，这是其五分之一，也就是已经要5美元了。这也就是为什么，当你考虑非常复杂的推理或研究工作流时，Token消耗很容易达到100万甚至更多。

Expert · Executive

这就是为什么按照当前的部署服务成本估算，这是相当具有挑战性的——除非像 OpenAI 那样有充裕的外部资金来消化算力成本，否则这确实是个很大的挑战。这种规模扩展公式根本不合算，因为从每个任务消耗的 token 这一核心指标来看，与 MCP 等方式相比，它的 token 使用效率显然极其低下。其总消耗量从根本上取决于必须截取的所有屏幕截图数量，将它们转化为视觉 token，同时进行工具调用，然后再计入推理 token 和动作 token（例如在此点击或在此输入等）。因此，这很大程度上取决于任务的难易程度以及需要与浏览器进行多少次交互。而这还仅仅是浏览器；如果考虑计算机使用（例如桌面端操作），消耗量会大得多，因为还必须考虑操作系统层面的集成。这对于企业客户来说并不太适用。

Shiyi Meng

就在几天前，Typeface发布了他们的System 1 JEV模型。我不知道这是否对计算机使用（computer use）场景有所帮助，因为我认为模型提供商有可能构建一个双层系统：对于非常简单的动作选择任务，可以直接使用JEV模型；但对于更复杂的推理步骤，则会涉及大语言模型。你认为这可行吗？

Expert · Executive

首先，JEV显然只是一种决策模型，我认为它不会取代大语言模型或类似的模型。JEV的输出只能是二元的，或者仅仅是一个概率值，所以我不认为它真能带来太大突破。也许它可能会替代整个技术栈中的一个小层级或一小部分，但我认为它不会真正取代整体。计算机使用仍然需要许多大语言模型来将整体任务分解为较小的目标，然后在最底层的决策层——也就是比如“我是点这里还是点那里？”；或者评估这个网站是否安全？”。所以我认为这是非常细粒度的决策。总体而言，它可能会提高整体效能，但在计算机使用方面不会有太大帮助。他们的重点是成为细粒度代码生态系统的一部分，而不是围绕计算机使用场景。所以我看不出最新的 JEV 方法到底有什么帮助。首先，我认为它可能只会极微幅地提升计算效率；但其次，它仍然严重依赖大语言模型，才能将问题拆解为这些微粒度的决策。大语言模型仍可继续充当主要协调者，也许只有极低层级的决策部分会被外包出去。

Shiyi Meng

你认为成本的降低以及耗时的缩减并不会那么显著？

Expert · Executive

是的，我认为不会，因为这并没有从根本上改变你与网站交互的方式、你的思考方式或推理方式。它改变的仅仅是围绕概率性结果的极小决策层。而且当你审视整个计算机使用过程时——如果你拿一个带时间戳的版本去分析其中究竟有多少时间花在了那上面，它实际上是非常非常微不足道的。也许少于 5% 或 10%，或者说实际上甚至远低于 5%。也就是说，大语言模型在这个极其微观的层面上可能花费不到 5 秒钟。JEV 提供的所有这些决策其实都已经内置在大语言模型的推理部分中了。

Shiyi Meng

我也很好奇完成这些计算机使用任务所花费的时间。我在 OpenAI 官网上看到计算机使用实际上可以为用户节省时间，但我自己尝试了一些任务，发现所耗费的时间实际上比我自己做还要多。那么根据您的经验，计算机使用究竟是能节省时间，还是反而消耗更多时间？

Expert · Executive

首先，显然在经历学习曲线的过程中，它一开始并不会非常节省时间；其次，它需要大量的人工介入（human-in-the-loop）。这就是为什么它现在就像是最初的版本。未来，随着强化学习等技术的不断改进，我相信它肯定会变得好得多。最终我认为它可能会节省时间，但目前来说，你是在拿它和你非常熟悉的工作流程作比较。比如，假设你经常访问某个特定的新闻网站，确切知道按钮的位置等等，所以你花的时间要少得多，因为你操作起来极其熟练高效。但在目前这种情况下，这些模型非常新，而且仍在学习阶段，因此它们没有完整的上下文。但反过来看，如果你要做的是极具开放性的调研，那可能会花你更长的时间，因为如果你每次都遇到全新的环境和网站，你也必须经历并适应那个熟悉度曲线。我认为这些智能体在这方面能做得更好。所以这真的只是时间问题。

Shiyi Meng

之前你提到了关于数据或合规性的问题。所以我想知道，如果模型提供商扩大其计算机使用能力，这些软件厂商是否会进行抵制？比如，他们是否会采取技术手段进行封锁，甚至提起诉讼，以防止人工智能获取其专有数据？

Expert · Executive

那是最大的挑战。比如，据相关消息，亚马逊已经屏蔽了Muse模型浏览其网站，这是目前已见到的最明显的抵制形式之一。我认为这种情况还会继续，我觉得大多数网站并不真正希望这些智能体到处抓取爬行。更重要的是，它们在模仿人类。

Expert · Executive

如果出了问题，这该怎么运作？比如，现在一切看起来都很顺利——从亚马逊订购这个、订购那个等等——但随后我想退款等等。从接收端的商业角度来看，你不知道自己是在与人类对话，还是一个智能体在各处点击。在拥有基于角色的访问控制、独立的智能体身份、智能体委托等机制之前，所有这些都极具挑战性。所以我认为这些都只是非常短期的权宜之计。

Shiyi Meng

对，但我认为电脑使用的情况在于，如果处于“计算机使用”模式，可能很难将智能体与人类区分开来，如果它只是在到处点击鼠标的话。所以可能很难分辨。

Expert · Executive

确实很难，但这长期以来一直是个问题，这也是为什么在浏览器层就有 CAPTCHA、reCAPTCHA 以及安全验证。在网络或 IP 层，还有 Cloudflare 和 Akamai 这样的公司；此外还有用于跨站引用和用户可追踪性的 Cookie 等。存在很多不同的机制，随着时间的推移可以建立起大量的使用行为足迹。因此有很多方法可以识别这一点，我认为企业能够做到。对于许多面向消费者的日常自动化来说，这是个很好的应用，但对于企业级场景，我认为并非如此。

Shiyi Meng

你认为竞争对手从前沿模型中蒸馏这些“计算机使用”能力有难度吗？会比蒸馏非计算机使用能力更难吗？

Expert · Executive

确实如此。首先，OpenAI、Anthropic 以及像 Grok 和 Muse 这些公司，都隐藏了所有的 Token 提示词，更重要的是隐藏了推理能力——这不仅是答案，连推理轨迹也是蒸馏的关键所在。所以要蒸馏计算机使用能力非常困难。在这种情况下我不太担心蒸馏，因为许多推理 Token、思维链和可解释性基础都是相当隐蔽且受限的。

Shiyi Meng

就像任何竞争对手一样；也许 OpenAI 也很难直接复制 Anthropic 的能力，反之亦然。

Expert · Executive

我认为蒸馏并不是一个非常可行的策略——无论是在这里的各家前沿实验室之间，还是在闭源对开源、甚至是印度对中国的情况下。从技术角度来看，我考虑了几个方面：首先，当你审视这个模型以及界面的点击交互方式时，会发现它非常结构化。你面对的不是开放式场景，而总是先呈现屏幕，然后抓取文本，接着点击执行操作，随后再进入新屏幕。因此我的观点是，在这种情况下状态机是相当确定性的。它始终只有固定数量的视觉元素和固定数量的操作，比如点击、输入、滚动等等。所以这并没有那么难。在这种情况下，单从表面来看，确实是可以被蒸馏的。但总体而言，这项挑战是非常独特的，尤其是围绕着如何进行 UI 定位（UI grounding）、如何执行操作以及如何处理工作流。

Expert · Executive

你怎么去分解任务？比如，如果你让它去订一杯星巴克咖啡，这种推理、分解和拆解过程在计算机使用模型（computer-use models）中是完全不公开的。即使你在旁边看着，看到的也只是像人类一样的模拟操作，而看不到输出的所有推理 token。最后，即便是安全性与安全防护方面的判断，也全都不会展示出来。所以总体而言，我并不太担心这方面的模型蒸馏，因为这么做的效率极低。一方面，计算机使用场景本身就极难被蒸馏；另一方面，对于很多这类公司来说，蒸馏并不是可行的策略，因为这高度取决于你的 prompt 分布以及如何进行流转。此外，在蒸馏方面通常有两种类型：同策略（on-policy）与异策略（off-policy）蒸馏。同策略蒸馏是指教师模型只给出“是”或“否”的指令，或者仅对学生模型的产出进行评分，这让学生模型能够形成自己的推理和涌现能力；而在异策略蒸馏中，教师模型不仅会打分，还会分享自己的思考过程和推理 token，学生模型以此学习如何表现得更好。但总的来看，我仍然认为同策略蒸馏要好得多，因为模型能够真正学会自主思考，而不是单纯复制教师模型的推理轨迹。这就是为什么最近 OpenAI 和 Anthropic 都关闭了思考 token 及思维链（chain of thought）的展示。因此，异策略蒸馏现在基本失去了意义且极难实施；通常情况下，你只能做同策略蒸馏。

Shiyi Meng

不同模型之间的推理利润率表现如何？对于前沿模型来说，推理利润率会更高还是更低？总体而言，模型提供商继续大力投资最先进的前沿模型，在经济上是否合理、是否有收益？

Expert · Executive

这不仅仅取决于模型大小，我认为更多取决于能力。像 GPT-6 或 Fable 这类模型，本质上利润空间要大得多，也更容易提供服务。总体来看，对于像 Haiku 这样极小或极其廉价的模型，并没有多少利润空间，因为这更多属于大众用户市场的打法。再看中等尺寸的模型，那里才是更大利润份额所在，可以获得显著更高的利润率。但当你看到最昂贵的模型，比如 GPT-6、Fable 5.1 或 Fable 5 时，它们的定价大约是每百万输出Token 50 美元。将这与 Haiku 大约每百万输出Token 5 美元的价格相比，几乎有 10 倍的差距。在前沿 AI 实验室中，通常并不会有 10 倍的参数量差异，即便确实存在相当大的一部分差距；你并不需要同等比例的服务算力来运行这一切。因此，较廉价模型的利润率肯定更低，中等尺寸模型的利润率要高得多，而最昂贵模型的利润率则极高。对于最昂贵的模型，使用量——即人们使用这些模型的Token数量——是相当有限的。所以关键真的在于每个模型消耗多少Token，以及每个模型通常能获得怎样的利润率。

Shiyi Meng

前几个月有新闻稿称 Anthropic 将制造自己的专用集成电路（ASIC）芯片。您是否听说过这方面的任何进展，比如他们是已经确定了外部合作伙伴，还是已经建立了内部团队？

Expert · Executive

他们公开提到过，他们不仅在组建内部团队，同时也在与合作伙伴合作，所以那边正在开展很多工作。总体来看，目前阶段还非常早。通常需要两年以上才能真正让首批芯片成熟。

Expert · Executive

目前这还处于非常初期的阶段，未来大家应该会看到更多进展。从宏观来看，这主要是出于几个原因：第一，能够获取越来越多的算力；第二，避免在架构上受制于下游其他厂商；第三，也是最重要的一点，是加速软硬件协同设计。例如，OpenAI在推出其Jalapeño芯片时，之所以能获得极快的性能，是因为他们清楚自己的工作负载，并知道如何在芯片架构上加以实现，这正是其速度如此之快的原因。我认为这就是最终目标，但目前尚处于极其早期的阶段。

Shiyi Meng

我也看到新闻说Anthropic招聘了一些具有TPU背景的人员。所以我想了解一下，Anthropic是否也会寻求与博通（Broadcom）或联发科（MediaTek）等外部伙伴展开合作？

Expert · Executive

他们很有可能会这样做，就像OpenAI与博通合作一样。OpenAI声称Jalapeño芯片从架构设计到流片甚至点亮只花了大约九个月，这在很大程度上取决于他们的后端合作伙伴是谁。否则，即使想直接找台积电（TSMC）等晶圆代工厂，也是非常困难的，而且在资金和经济层面上投入极其巨大。

Shiyi Meng

关于算力规模，我知道Anthropic与AWS有着长期的合作关系。您能否大致估算一下，Anthropic目前有多少比例的算力是由AWS提供的？

Expert · Executive

这很大程度上取决于时间节点，因为情况一直在发生变化。另外需要说明的是，在AWS上既可以租用GPU，也可以租用Trainium芯片。

Expert · Executive

总体而言，算力通常分布在微软、亚马逊和谷歌之间。微软在GPU甚至其自研芯片方面的容量非常有限。通常来说，可以认为谷歌占有最大的份额，其次是亚马逊，然后是微软，你可以据此来推算大致的比例分布。

Shiyi Meng

我们目前正在构建一个单位经济模型，想请教您能否帮我们对其中的假设做几项估算。评估模型在硬件上运行性能的一个指标是TPS，即每秒token数。不知道您能否分享一些具体数据，例如Anthropic的模型在硬件上运行的TPS，或者与Anthropic类似模型的TPS？

Expert · Executive

这确实相当有挑战性，因为变量实在太多了——比如具体的GPU版本与哪款TPU版本对比，而且在模型尺寸方面，性能也会根据批处理大小（batch size）、具体配置以及所使用的上下文窗口而截然不同。这里的参数太多了，所以很难一概而论。

Shiyi Meng

我想了解的是不同模型之间的性能差异，即假设在相同的硬件、相同的配置、相同的上下文窗口等条件下。比如对于像Fable这样最前沿的模型，它们的TPS性能与像Sonnet或Opus这样的中端模型相比会是怎样的？

Expert · Executive

单芯片层级情况下，具体情况差异很大。如果是像Kimi K3这样极其庞大的超大模型，吞吐量会非常低，通常可能只有每秒20或40个token。但如果是700亿参数（70B）的模型（这基本上就是传统Llama的规格），吞吐量就会大幅提升，大概能达到每秒2,000个token左右。如果是80亿参数（8B）的模型，很容易就能达到每秒10,000到20,000个token。

Expert · Executive

这也取决于你的上下文窗口大小。不过假设不做 KV 缓存卸载（KV-cache offload），完全保留在 HBM 内部而不转移到外部，通常较便宜的小模型吞吐量可以达到每秒 15,000 到 20,000 个 token；而最贵、最大的模型，每颗芯片每秒可能只有约 10 到 50 个 token。

Shiyi Meng

对于 Anthropic 的不同模型，每秒生成 token 数（TPS）是否与参数规模的差异成正比？

Expert · Executive

并不总是成正比，因为这很大程度上取决于你所服务的企业业务类型。在推理方面，从芯片中挖掘算力潜力的方式有很多，但关键在于根据目标进行调优。推理的核心目标是优化首个 Token 延迟（TTFT）和 Token 之间的延迟（TBT）等指标。实现这一点本身并不算难，关键在于要付出多大的成本来实现。因此，这本质上是一场推理单元经济效益（unit economics）的博弈。通过调整批处理大小（batch size）——增加或减少——你可以服务更多的用户，但满足延迟指标就会变得非常具有挑战性。我的观点是，如果你使用的是 Haiku 这一类模型，通常用于语音代理（voice agent）等场景，要求延迟极低，因此需要分配更多的算力来保证其实用性。而对于极其复杂或更大的模型，比如 Fable 等，并没有那种任务关键型的实时延迟要求，因为使用它们是为了获得高智能水平，而不是为了快速生成 token 或超高速推理。在这种情况下，重点在于模型能力，应用场景更多是长跨度上下文窗口等非时间敏感型任务。因此，你可以专注于提高计算效率和经济效益，而不是单纯去压低延迟。总而言之，这里有非常多的可调参数和变量，而不是一个简单固定的对应关系。