← 返回

2026.09.30 | 9K | AI Compute | Fast Inference Use Cases Channel Check

原标题:Merit 快速推理应用场景调研(2026-09-30 14:00:00)

#ai-demand #china

Meritco 久谦 · 2026-09-30

音频信息

音频标题: 260930 - Merit 快速推理应用场景调研

相关标的:undefined

议题:

完整音频链接:http://mw-meeting.oss-cn-shanghai.aliyuncs.com/audio/1790751243611-260930%2520-%2520Merit%2520%25E5%25BF%25AB%25E9%2580%259F%25E6%258E%25A8%25E7%2590%2586%25E5%25BA%2594%25E7%2594%25A8%25E5%259C%25BA%25E6%2599%25AF%25E8%25B0%2583%25E7%25A0%2594_20260930_145356.mp3

音频纪要总结

专家访谈纪要

1. GSK现有生成式AI工具与应用场景

a) GSK内部主要使用哪些大语言模型工具?

  1. JGG:主要用于非研发场景中的简单业务文档分析及翻译。由于公司内部不允许使用外部翻译软件,JGG承担了部分内部翻译需求。
  2. Jules:主要面向研发员工开放,保密性较高,并预设了大分子生物、小分子化学等不同研发领域的提示词。

b) 编程与数据科学工作中如何使用AI?

  1. Databricks:用于编写SQL、提取数据、进行基础分析并制作仪表板。
  2. VS Code及Copilot:主要用于Python、R代码开发,Copilot可在模型构建过程中辅助编写和修改代码。
  3. GitHub及Copilot:用于代码和模型的版本控制及同步。由于部分员工不熟悉Git相关语法,会使用Copilot辅助完成代码提交与同步。

c) Teams中的AI应用有哪些?

  1. 查询和回顾Teams中讨论过的工作内容。
  2. 对会议转录文本进行信息提取和分析。
  3. 在会议结束后自动生成会议摘要。
  1. 会议结束后通常需等待约3—5分钟才能获得Transcript。
  2. 将Transcript交给Copilot总结,还需额外约2分钟。

d) 实验报告自动生成工具如何应用?

e) GSK是否使用Cerebras开展表观基因组学、蛋白质结构预测和小分子生成等工作?

2. 快速推理在医药研发中的潜在应用

a) 快速推理可应用于哪些核心研发场景?

  1. 大分子药物发现。
  2. 常规实验设计及资源、人员分配。
  3. AI辅助实验仪器监测和实验室自动化。
  4. DOE(Design of Experiment,实验设计)。
  5. Design Space建模与最优工艺参数搜索。
  6. 机器学习模型开发和迭代。
  7. 内部历史实验报告、知识与数据的检索和交互。
  8. 大规模文件提取与翻译。
  9. Teams会议实时转录与总结。
  1. 高实时性:如会议转录、实时摘要和交互式问答。
  2. 高交互频率:如机器学习模型开发、假设迭代和项目反馈。
  3. 大数据量或大运算量:如Design Space搜索、历史知识库查询和药物发现。

b) 快速推理对大分子药物发现有什么潜在价值?

c) 快速推理如何支持DOE和Design Space?

  1. 温度。
  2. 湿度。
  3. 液体加入量。
  4. 固体加入量。
  5. 其他工艺变量。
  1. 协助构建和完善Design Space模型。
  2. 加速对大量候选参数组合的预测和筛选。
  3. 当模型应用于不同大分子或小分子对象时,加快重新训练和重新预测。

d) AI辅助实验仪器监测与实验室自动化的价值是什么?

  1. 监控实验仪器状态。
  2. 控制机械臂和机器人。
  3. 识别实验异常并及时调整。
  4. 协调实验步骤和资源。
  5. 支持Lab Automation体系建设。

e) 将AI连接历史实验数据和知识库有什么价值?

  1. 一边提问,一边迭代实验假设。
  2. 调取历史实验结果和报告。
  3. 比较不同项目和实验条件。
  4. 自动整合不同来源、格式的数据。
  1. 员工离职时,个人知识通常无法完整传递给继任者。
  2. 新员工可能只接收到部分经验,其余知识沉睡在数据库中。
  3. AI可以持续提取、组织并复用历史知识,提高知识连续性。

3. 快速推理的效率提升与降本增效价值

a) 用户是否能感受到当前模型推理速度的差异?

b) 快速推理如何改善大规模文件提取与翻译?

  1. PDF文件。
  2. 纸质手写报告的扫描件。
  3. 其他非结构化业务文档。
  1. 加快大批量文件的文字提取和翻译。
  2. 减少中文人员提供辅助的需求。
  3. 降低跨国合作中的非技术性沟通成本。
  4. 缩短文件处理和信息传递周期。

c) 快速推理如何改善Teams会议转录和总结?

  1. 会议进行到一半时,自动总结前半段内容。
  2. 会议接近结束时,会议纪要基本生成完毕。
  3. 会后立即向参会人员或管理层分发摘要。
  4. 减少员工在全天会议结束后集中整理内容的负担。

d) 快速推理如何改善机器学习模型开发?

  1. 讨论和梳理模型开发思路。
  2. 分析应从哪些方向切入问题。
  3. 选择合适的机器学习模型。
  4. 对整体项目和模型结构提出建议。
  5. 根据反馈进行连续迭代。
  1. 完全不使用生成式AI:形成初级模型版本可能需要1个月以上。
  2. 使用普通生成式AI:所需时间约为2周。
  3. 使用快速推理:有望缩短至1周以内。

e) 快速推理对实验报告生成的价值有多大?

f) 快速推理能否直接带来收入增长?

  1. 节省的FTE或人工时间。
  2. 项目周期缩短幅度。
  3. 模型迭代次数和效率。
  4. 实验成功率或资源利用率。
  5. 知识检索和信息传递效率。

4. GSK部署快速推理面临的挑战

a) 最大的开发挑战是什么?

b) GSK内部AI人才规模和结构如何?

  1. 软件工程师。
  2. AI Engineer。
  3. Machine Learning Engineer。
  4. AI应用于Finance等职能方向的人才。
  5. 少量AI Ethics人才。

c) 员工接受度和工具普及面临哪些问题?

  1. 介绍内部AI工具及其使用方法。
  2. 开发小型Use Case。
  3. 在部门月度会议上演示AI如何处理真实数据。
  4. 展示不同提问方式可以得到的结果。

d) 公司内部是否可以选择不同模型?

  1. GPT及GPT-4系列的不同版本。
  2. DeepSeek。
  3. Gemini的不同版本。

5. 生成式AI在GSK内部的推广和价值评估机制

a) GSK从何时开始系统推广生成式AI?

  1. 举办线上宣讲会。
  2. 面向全公司发送培训邮件。
  3. 安排统一时段,培训员工使用内部AI工具。
  4. 由各业务部门的技术团队进行二次推广和本地化演示。

b) 业务部门如何判断AI工具是否有用?

  1. 与AI/ML部门管理层沟通。
  2. 参加公司高层会议或全员会议。
  3. 观看AI/ML部门展示的Use Case。
  4. 参考部门内部Data Science团队每月提供的案例。

c) 除实验报告外,还有哪些典型Use Case?

  1. 光谱或质谱数据通常以时间为横轴、谱强度为纵轴。
  2. 需要识别数据中的峰值。
  3. 虽然人眼可以看到峰值,但仍需通过严谨模型实现自动检测。
  4. 团队使用AI辅助选择机器学习模型、编写代码并整理整体模型结构。
  5. 最终形成可用于后续实验的自动化分析模型。

d) 快速推理需求占整体生成式AI推理需求的比例有多高?

  1. 分母:全部生成式AI推理服务需求。
  2. 分子:其中能够从快速推理中获得明显提升的需求。

6. 医药行业生成式AI的发展趋势

a) 不同药企的AI应用场景是否相近?

  1. Drug Discovery。
  2. 分子生成与优化。
  3. 实验设计和工艺建模。
  4. 数据分析与机器学习。
  5. 实验室自动化。
  6. 企业知识管理。
  7. 文档处理、翻译和会议总结。

b) 为什么头部科技公司更关注Drug Discovery?

  1. 药物发现需要处理大量候选分子和实验组合,计算负荷较高。
  2. AI可以较直接地参与生成、筛选和优化。
  3. 相较于开发、生产和商业化等后端环节,Drug Discovery更可能较快形成阶段性成果。
  4. 后端医药研发周期较长,科技公司难以在短期内验证最终商业收益。

c) 快速推理在医药行业最适合哪些类型的任务?

  1. 高实时性任务:会议实时转录、实时总结、仪器监测和机器人控制。
  2. 高计算量任务:药物发现、Design Space搜索、模型训练和重新预测。
  3. 大规模知识处理任务:企业历史实验数据整合、RAG检索、大批量文件提取和翻译。

结构化总结表格

维度应用场景当前状态快速推理的潜在价值关键判断/量化信息
内部AI工具JGG用于非研发文档分析和翻译加快大批量文档处理公司内部不允许使用外部翻译软件
内部AI工具Jules面向研发人员,但未连接内部文档和实验数据接入RAG和历史数据后形成研发知识助手当前更接近通用交互式AI
编程开发VS Code、GitHub Copilot主要辅助代码和Git操作从代码助手升级为模型及项目助手模型迭代有望从月缩短至周
数据分析DatabricksSQL、数据提取、分析及仪表板制作加快数据分析与模型构建复杂推理价值高于简单代码补全
会议办公Teams Transcript及总结会后需等待3—5分钟生成转录,再用约2分钟总结实现会议中实时总结、会后立即分发核心需求是实时性
跨国协作OCR及机器翻译PDF、手写扫描件处理耗时,需中文人员辅助加快文字提取和翻译,减少人工辅助预计至少缩短一半时间
机器学习光谱、质谱峰值识别已使用生成式AI辅助建模加快模型选择、思路形成及反馈迭代无AI需1个月以上;普通AI约2周;快速推理预计1周内
实验设计DOE需根据变量和约束设计实验提升实验组合设计和迭代效率属于交互和计算并重场景
工艺优化Design Space多维参数空间需搜索最优点加快模型构建、重训和大规模候选点预测可基于约20个已知点推理100—500个候选点
实验室自动化仪器监测、机械臂、机器人GSK开发阶段仍较依赖人工实验实时控制、异常识别并节省实验人力具有较大长期发展空间
实验报告Lab Report自动生成已实现根据数据和模板自动生成快速推理增量价值有限固定模板场景,算力需求较低
知识管理历史实验报告和数据平台内部AI尚未充分连接历史知识提升知识连续性、跨源数据整合和实时问答数据量可能比单一建模场景大多个数量级
药物研发大分子及Drug Discovery受访者未直接参与,无法确认具体项目候选分子生成、筛选和优化运算量和实验量较大,是行业重点方向
组织能力AI/ML团队受访者估计约100多人,生成式AI人员为几十人需要加强AI与医药业务复合能力具体人数为受访者推测
推广机制全员培训及部门Use Case2024年下半年起逐步推广通过本地化案例提升采用率部分员工数字化能力较弱
价值评估FTE、周期和效率以人工节省等指标评估建立更完整的研发效率指标体系Lab Report人工投入可降至原来的约20%
需求占比快速推理需求多数生成式AI场景可受益覆盖实时、交互和大计算量任务约占生成式AI场景数量的80%,非Token或公司业务占比
部署挑战业务分散、人才和员工接受度大分子、小分子、疫苗间通用性较弱需要垂直场景开发、培训和变革管理AI团队难以覆盖全部细分研发领域

新版prompt提炼之后的转译

提问者:请重新梳理一下GSK及您此前所在部门的AI应用场景。

回 答 者:关于昨天提到的内容,我按照1、2、3、4条的方式重新说明。

GSK有2个大语言模型,其中1个叫JGG,另1个叫Jules。JGG主要用于非研发场景中的简单业务文档分析,同时承担部分翻译工作,因为公司内部不允许使用外部翻译软件。

第2个是Jules,主要开放给研发员工使用。它没有连接任何内部业务文档,但设置了几个与研发相关、覆盖不同领域的提示词,例如大分子生物和小分子化学。不过,它与内部已有的实验或信息并不连通,是1个为研发人员开发、保密性较高的AI工具。

编程也是AI应用较多的场景。作为数据科学家,我们会使用DataBricks,这是1个数据库平台,可以在其中编写SQL、提取数据、进行简单分析,并将提取的数据制作成仪表板。

第2个编程工具是VS Code,它是1个代码编写软件,主要用于编写Python和R。VS Code中的AI应用是Copilot,可以在我们构建模型时辅助编写代码。

此外,我们还会使用GitHub。GitHub是1个在线代码版本控制平台,我们会将编写完成的代码和模型同步至该平台。由于Git语言与Python等主流语言不太相似,而与Linux语言较为接近,如果使用频率不高,大家可能不熟悉相关语法,因此也会使用1个Copilot辅助完成同步。

整体来看,第1项是JGG,第2项是Jules,第3项是编程场景,第4项是Teams会议软件中的应用。Teams中也集成了Copilot,可以询问与我们在Teams中讨论过的工作相关的内容。它还会对会议转录文本给出1份内容提取分析,并在会议结束后生成摘要。

最后1点是我此前所在部门使用的实验报告工具。实验人员完成实验后,数据会上传至数据库。过去,他们需要手动提取原有的实验报告模板,再将新的数据填入其中。后来,部门开发了1个相对简单的AI应用,每1次产生新数据后,实验报告都可以自动生成。以上5点是我此前所在部门应用较多的场景。

回 答 者:关于GSK使用Cerebrus的GT管线,我看到其中有4个应用。只有最后1个与我之前的工作略有相关,前3个与我之前的工作方向都不太相符。其中,前2个应该属于纯研究,第3个是小分子开发,而我从事的是大分子开发。因此,我之前没有听说过这方面的应用。

提问者:这些信息是我从网上搜索到的,也可能是AI搜索的结果。GSK确实使用Cerebrus的服务开展表观基因组学模型、蛋白质结构预测、小分子生成与优化等工作吗?您是否听说过这些应用?

回 答 者:因为我与相关部门完全没有联系,所以无法确定他们是否使用过。

提问者:但您这边在实际工作中会使用相关服务,是吗?

回 答 者:作为使用者,我知道有JJ,但不太清楚其后台应用的模型、硬件等情况。

提问者:您在工作中也会使用大模型。Cerebras是一家提供快速推理服务的公司。从使用者的角度看,您认为哪些场景或前代应用场景可以利用快速推理服务?

回 答 者:我昨天看到这个问题后进行了一些思考和搜索,总结了大约5、6点,主要是在我们之前已有的AI应用基础上,探讨其他潜在应用。

第1点,我看到Kimi上提到小分子的生成和优化,因此联想到最近可能比较热门的制药方向,即大分子药物的发现。这个方向应用快速推理可能比较有用。

提问者:您按照自己熟悉的领域介绍即可,不用考虑我是否熟悉,请继续介绍大分子药物的发现。

回 答 者:大分子药物发现是寻找合适的分子,生成指定的抗体,筛选后再交给下一个部门,也就是我之前所在的部门。这个方向的缩写是AD。因为我对此并不十分了解,所以不再展开。

第2点,我认为它可以应用于我们之前开展的常规实验。

回 答 者:在实验资源和人员分配方面,第3点是应用于AI辅助的实验仪器监测,有助于开发Lab Automation等。第4点是DOE,即Design of Experiment,主要用于设计日常实验,因为实验并非按照特别固定的流程进行,也需要相应的设计。

第5点是在完成DOE和实验设计并获得结果后,可以从Data Scientist的角度,利用这些数据构建设想中的模型。例如,建立工艺上的design space。所谓design space,是指工艺具有非常多可以调整的维度。假设存在一个5维空间,我们希望从全部设置中找到1个或几个比较optimal的点,就可以建立相应模型。由于使用的资源较多,快速推理可能会发挥一定作用。

第6点是,正如刚才提到的juice,面向研发的AI尚未连接任何内部既有知识。如果能够接入lab report或以往的知识,构建交互场景,并采用上下文RAG等方式,就可以让lab scientist一边提问,一边迭代假设,同时调取海量实验数据,这会比较有用。

关于您的第3和第4个问题,我认为都是这些场景下的延伸,可以在下一个问题中进一步展开。

提问者:您之前在GSK使用大模型推理服务时,作为使用者,能否感受到token或回答生成速度的快慢?例如tokens per second、per user等性能或技术指标,您在实际使用中是否能够感受到差异?

回 答 者:从使用者的角度来看,juice作为交互式AI,与我们平时在公司以外作为普通用户使用的AI没有特别大的区别。因此,从专业角度来看,其速度可能比快速推理慢很多。

在coding方面,之前主要是基于现有script或大型model,对其中部分code进行提问,复杂度并不高,因此我认为速度不是很大的问题,主要还是交互式AI方面。

提问者:您刚才提到了这几种场景,能否再稍微展开一下?例如,如果应用到这种……

提问者:从性能指标来看,快速推理可能带来5倍到10倍的速度提升。请您从用户使用角度展开说明快速推理的价值,以及它如何实现降本增效。

回 答 者:我将第3个问题,即快速推理的价值和如何降本增效,与第4个问题,即速度可以提升多少,结合起来回答。

降本肯定可以实现,因为我刚才提到的应用可以节省大量人力等成本。但增效,也就是增加收入,可能不属于研发阶段考虑的问题,而是非常后端的事情。相比我之前所在的部门,可能还要延后以1年为单位的时间线,才能量化最终收入。至于此前提到的药物发现,即Drug Discovery和AIDD方面,由于我不太了解,不便判断。

第2点是使用GG进行翻译,我认为快速推理在这方面可以得到很好的应用。我记得此前GSK的部分部门曾与中国的一些CRO公司合作。研发VP或更高级别的人员曾在内部Town Hall或大型发布会上提到,此前与中国CRO合作时,需要对一些手写文档进行文字提取和翻译,整个过程耗费了大量精力。即便当时已经使用AI提供帮助,仍然比较耗时费力。如果快速推理能够将处理速度提升5倍到10倍,就可以在整个合作过程中减少许多并非制药技术本身造成的痛点。

第3点是在Teams网络会议中自动生成Transcript。如果能够结合快速推理,我认为会比较有用。此前通常要等整个会议结束后,再等待3到5分钟,Transcript才能可用;之后还要将其输入Copilot,由Copilot总结会议中提到的要点,这一过程又需要约2分钟。

但我们当时的会议通常1个接着1个,整整1天的时间表都排满,会议之间没有空档,因此往往要等1整天的会议全部结束后,才能处理这些内容。如果结合快速推理,也许可以在会议过程中实时获得较为完善的内容总结。例如,会议进行到1/2时,系统就可以总结前1/2的内容;会议接近结束时,所需文稿也基本完成。之后,我们便可以更快地将内容分发给参会人员或需要汇报的领导,效率会得到显著提升。

提问者:快速推理在机器学习模型开发、实验报告生成和实验室自动化方面有哪些应用价值?

回 答 者:此前,我们作为 Data Scientist 需要编写 machine learning 模型。快速推理不仅显著提高了 token 的处理速度,在逻辑性方面也有所提升,因此解决复杂问题的能力更强。

过去在代码开发中应用 AI 时,通常需要先形成模型,或者至少明确模型开发思路,再让 Copilot 协助解决相对纯粹的代码或编程语言问题,并未结合我们对 science 或 machine learning 的理解。借助快速推理,我们可以与其交流思路并进行总结,判断应从哪些方面切入具体问题,而不只是获得代码编写方面的帮助。

在模型开发过程中,解决思路所占的时间比例最长,迭代周期可能以月计算。例如,第1个月先形成思路,完成较为初步的模型,再根据 feedback 返回并开展下一个模型版本的迭代。如果结合快速推理,迭代周期也许可以从以月为单位缩短至以周为单位,速度将提升非常多倍。

第5点是 lab report 的自动生成,即根据实验数据自动生成实验报告。在这方面,快速推理的作用相对有限,因为 report 通常是按照固定模式代入数据后直接生成,不需要非常多的算力。因此,与其他几点相比,这一方向的应用空间最小。

第6点是利用 AI 辅助监测实验仪器,即开展 lab automation。此前我读过一些文献,中国的 CRO 药明生物(WuXi Biologics)可能已经在这方面做得很好。我不确定其是否使用了快速推理,但对 GSK 而言,这是一个非常具有潜在发展空间的方向。

至少截至目前,GSK 在 development 阶段开展的实验仍然采用最传统的方式,需要人员进入实验室并使用仪器进行实验。据我了解,目前行业内最高端的实验室已经在全套流程中使用机械臂和机器人,完全不需要人员进入实验室。因此,对欧美药企而言,可以逐步迭代传统实验方式,转向这种自动化模式。

回 答 者:比较先进的模式是未来可以发展的方向,整个过程离不开AI。无论是机器人控制,还是实验操作,都非常需要AI辅助,尤其需要快速推理。这一方向可以将速度提升很多倍,同时节省大量人力。

此外,还可以将Juce与以往的lab report及历史数据连接起来,形成交互场景。这样至少能够大幅减少lab scientist查询历史资料所需的精力。知识储备可能是不连续的,因为药企的人员更换较快。人员更换后,相关知识可能会缺失。一个人离职时,未必能够将自己的知识完整传递给下一个人;下一个人可能只接收到50%,剩下的50%则沉睡在数据库中,无人问津。

有了AI之后,知识的连续性就不会出现问题。已有知识也可以在AI的辅助下被提取出来,并应用到能够发挥作用的场景中。AI还可以自动整合历史上不易提取的多渠道数据。由于使用不同的实验器械,生成的数据在格式和source上可能存在差异,这对lab scientist和data scientist而言都是问题。

结合这些应用场景,AI基本可以构建一套较为完善的知识管理体系。过去如果仅依靠人力,无法完成这项工作,而且数据量非常大。基于现有AI,如果让我判断,我对其处理速度并不乐观。如果采用快速推理,应该可以显著提升速度,同时降低不同部门之间以及整个公司内部的壁垒。

提问者:您提到了几种场景,这些场景的需求具有什么特点?例如,前面两种场景分别是机器翻译,以及Teams中的Transcript生成和总结。对于Teams这一场景,是否可以理解为,它需要AI非常快速、及时地生成结果?也就是说,其工作量可能没有特别大,但需要非常快地整理并输出结果,对吗?

回 答 者:对。

回 答 者:需要具备较强的实时性,即在会议进行过程中逐步生成相关内容,实现实时输出。

提问者:您提到使用机器进行翻译。此前GSK与中国的CRO公司合作时,是否因为翻译工作量较大,可以通过快速推理缩短翻译时间?

回 答 者:基本是这个意思。正如刚才提到的,相关文件来自不同来源,包括PDF文件以及纸质手写报告的扫描件。在这种情况下,需要先通过文字提取技术将内容提取出来。当时他们还提到,需要会说中文的人员提供辅助。如果采用快速推理,这类人力可能并非必需。此外,由于翻译量非常大,应用快速推理后,至少可以将所需时间减半。

提问者:在第3个场景中,您提到编写机器学习模型。是否可以理解为,AI会提供反馈,帮助您形成思路,并在模型编写完成后快速反馈、持续迭代?由于其中存在较多交互且工作量较大,快速推理可以将模型编写周期从以月为单位缩短至以周为单位,是这样吗?

回 答 者:这是其中一个方面,包括交互式迭代和提供反馈等。此外,我希望AI能够从过去仅提供代码层面的建议,转变为对整个模型或整个项目提供建议,这是另一个方向。

提问者:第5个场景是AI辅助实验仪器监测。您昨天还提到一种场景,其中可能出现大量排列组合和不同搭配,计算量非常大,也可以通过快速推理提升效率。请问具体是哪个场景?

回 答 者:您指的是哪个场景?

提问者:我指的是在第2个问题中提到的第5点,即design space。

回 答 者:design space是指在实验过程中存在非常多的设定。

回 答 者:需要考虑温度、湿度,以及加入液体和固体的数量等因素,这是一个多维空间。刚才举的例子是4维空间,其中可能存在一个最优点。我们希望基于已有的实验数据建立模型。例如,过去在这个4维空间中只有10个数据点,10个可能较少,可以假设有20个数据点,但整个空间中至少有100个或500个数据点需要进行推理。我们希望模型基于这20个数据点,从500个数据点中选出推理得到的最优点,即产量和产品质量均达到最佳的场景。

提问者:如果使用快速推理,是否可以大幅缩短推理时间?

回 答 者:首先,这个模型尚未完整建立,快速推理对制造模型有所帮助。其次,模型建立后,可以应用于不同的大分子或小分子等对象。每次应用时,都需要重新训练模型并给出预测,这一过程也需要计算时间,因此快速推理也可以提升这一环节的速度。

提问者:刚才提到的设计空间和AI辅助实验仪器监测,是2个不同的场景,对吗?

回 答 者:是的,可以视为2个场景。

提问者:您刚才讲的第5个AI应用场景,如果将需求抽象出来,是否也类似于一个工作量和运算量都很大的任务,而快速推理可以大幅缩短处理时间?

回 答 者:从计算量的角度看是这样,但具体应用场景存在一定区别。

提问者:最后,您提到将其连接到历史数据。如果将这项需求抽象到其他行业,它属于需要实时互动和实时响应的需求,还是运算量特别大、可以通过快速推理显著缩短处理时间的需求?

回 答 者:我的设想是将此前所有历史知识和数据都纳入其中,因此数据量肯定比之前提到的建模等场景更大。因为建模可能只是从设想中的海量数据中提取1%的数据来建立模型,所以其数据量比之前大很多个数量级,与您所说的情况基本一致。

提问者:您当时观察或推断,在GSK部署快速推理存在哪些挑战?

回 答 者:首先,从开发角度来看,GSK规模非常大,全球可能有8、9万人。在医药领域,公司同时开展大分子、小分子和疫苗业务。这几个方向及其下属细分方向之间的通用性并不强,因此面临较大挑战。很多场景都缺少对研发业务的深入理解和需求判断。

正如昨天提到的,AI/ML部门最多可能有上百人,而且并非所有人都从事生成式AI。在研发部门中,从事生成式AI的人员与其他人员的比例可能达到几十比1。因此,可能存在很多潜在的应用方向和项目,但由于AI工程师不熟悉相关领域,或者尚未轮到相应部门提出需求,一些相对小众的领域还没有被覆盖。例如,您之前提到的4个方向,实际上并未覆盖我此前所在部门的业务方向。

从应用和用户角度来看,也存在一定挑战。从国际视角来看,欧洲的科技发展水平相较于中国、美国相对落后。医药研发领域的员工中,很多人已经连续几十年从事相同的工作,年龄也相对较大,因此可能更倾向于沿用传统方式。

我们此前虽然是数据科学家,但也协助AI/ML部门开展过一些AI推广工作,向员工介绍GG是什么、Juse是什么,以及具体的使用方式。我们还为他们开发了一些较小的用例,展示这些工具能够显著提升工作效率。不过,部分员工甚至难以熟练使用电脑,因此推广效果较为一般。AI工具在员工中的普及率仍有一定提升空间。

提问者:您刚才提到AI/ML部门有多少人?其中涉及生成式AI的人员是20、30人,是吗?

回 答 者:这只是我的预测,因为该部门整体……

回 答 者:公司只有100来个人。我不清楚具体有多少人在做这项工作,但肯定有几十个人。

提问者:作为用户,包括在公司内部使用AI时,您能看到并选择所使用的模型吗?

回 答 者:应该可以选择,但我没有特别注意是否确实能够选择。

提问者:通常有哪些模型?

回 答 者:之前有GPT、DeepSeek、Gemini等。我离职时,有GPT的几个版本,包括4点几的版本,还有Gemini的几个版本。

提问者:从您的角度看,快速推理的潜在需求可能占GSK整体应用AI推理服务需求的百分之多少?

回 答 者:我之前没有仔细思考过这个问题。从昨天开始总结后,我发现潜在的应用方向非常多。在之前提到的7、8个方向中,只有1、2个方向无法通过快速推理获得较大提升。因此,我认为可能在80%左右,即占AI业务的80%左右。这里指的是业务场景数量的占比,而不是token数量的占比。

不过,这个行业整体上仍属于实体行业,需要开展实体业务,并非所有问题都能通过AI解决。因此,如果从整个公司的业务占比来看,会比80%低很多。

提问者:关于这个80%,分母和分子分别是什么?分母是整个生成式AI推理服务的需求,分子是其中的快速推理需求,快速推理需求能够占到80%,是否可以这样理解?

回 答 者:是的。

提问者:以GSK为例,公司在哪些部门推动员工使用生成式AI,以及GGG、GOOS等AI工具?这项工作由谁主导,又是通过怎样的过程逐步推进的?

回 答 者:最开始可能是在24年后半部分。公司推出了几个AI工具,由AML部门开发。随后,公司举办了一些线上宣讲会,面向全公司发送邮件,通知员工在某个时间段参加培训,学习如何使用这些AI工具。

回 答 者:后来,我们作为实验部门里的 Data Science 组,与他们有过一些接触。我们部门的领导认为这个工具可能比较有用,希望我们帮助宣传。由于我们组在部门内属于技术方面较为前沿的团队,因此会在每个月的部门会议上分享一些 use case。我们利用他们已有的数据制作小型演示,向他们展示将数据导入后,通过不同的提问可以得到怎样的结果。这是一种比较朴素的推荐方式。

提问者:您刚才提到,部门领导认为这个工具有用,我们也会提供一些 use case。通俗来说,部门领导是如何衡量这个工具是否有用的?

回 答 者:部门领导可能与 AML 部门的上层领导有过接触。他们也会参加上层领导之间的会议,或者观看面向全公司的会议。相关会议上会展示专门的 use case,用于解释这个工具。

他们也会参考我们每个月提供的 use case。以 lab report 为例,过去需要采用手动方式撰写,后来可以通过 AI 自动生成。这个过程可以通过 FT 进行量化,即这项工作原本每年需要多少个 FT,应用 AI 后,可以减少到原来数字乘以 0.2 的 FT。有时,他们会通过这种可以量化的百分比来评估成果。

提问者:您能否再举1、2个典型的 use case?您刚才提到 lab report,但之前似乎也提到,lab report 可能并不是快速推理最能发挥作用的场景。除此之外,您还提到了编写 machine learning 模型、AI 辅助实验等潜在应用场景。您或您的同事向其他部门推荐使用生成式 AI 时,还有哪些典型的 use case?

回 答 者:您是指快速推理方面的 use case 吗?

提问者:也可以是您刚才提到的快速推理场景,或者编写 machine learning 模型、AI 辅助实验等潜在应用场景。除了 lab report 之外,您向其他部门推荐使用生成式 AI 时,还有哪些典型的 use case?

回 答 者:可以。我举1个稍微 technical 一点的例子,就是在我们之前的部门里……

回 答 者:下游需要进行光谱、质谱等分析。光谱和质谱生成的数据以时间为横轴、谱强度为纵轴,我们需要从中识别谱的峰值。虽然肉眼可以观察到峰值,但仍需严谨地构建模型,实现自动检测。

此前,我们在该方向上大量使用AI辅助。例如,选择该方向上具体的机器学习模型并将其应用于分析。在编写代码和整理整体模型结构时,生成式AI在线上提供了很多帮助,最终形成了一个可应用于后续实验场景的具体模型。不过,当时并未使用快速推理。

提问者:如果没有生成式AI,完成这一应用场景需要多长时间?使用生成式AI后需要多长时间?假设未来可以使用快速推理,又需要多长时间?

回 答 者:如果完全没有生成式AI,可能需要大于1个月才能形成一个比较初级的模型版本。使用生成式AI后,主要工作是找到合适的机器学习模型并将其应用,所需时间约为2个礼拜。如果使用快速推理,我认为可以在1个礼拜之内完成。

提问者:您是否了解医药行业其他公司的应用场景?这些场景是否与GSK类似?例如,阿斯利康也在使用生成式AI,似乎还使用了快速推理服务。不同药企之间的应用场景是否相近?

回 答 者:对于不同公司而言,更大的区别在于研究方向。如果研究方向相同,不同公司之间的交流很多,基本处于较为同步的发展状态。因此,从公司层面来看,整个行业的应用方向大体相近。

提问者:目前有这样一个部门,是吗?

回 答 者:是的。

提问者:这个部门招聘人员的背景大致是怎样的?主要是软件工程师,还是其他专业背景的人员?

回 答 者:从我看到的招聘情况来看,包括软件工程师、AI Engineer和Machine Learning Engineer,通常要求具备一定的AI相关背景。此外,他们也招聘过将AI应用于finance方向的人才,但我对这方面不太了解,可能属于研发之外的工作。他们还招聘过少量AI ethics方向的人才。

提问者:这个部门的人员不一定需要了解医药行业,具备AI和Machine Learning方面的能力就可以,是吗?

回 答 者:我之前看过他们的JD,其中提到最好具备医药行业经验,尤其是从事过较为specific的研发方向。不过,他们更看重的还是候选人在AI和Machine Learning方面的expertise。

提问者:最近推出的MHS正在与Genetech合作。您了解MHS的相关应用吗?

回 答 者:这方面我不太了解。

提问者:目前一些头部大模型厂商,包括OpenAI,在公开访谈中会提到AI将对医药行业产生重大作用,例如用于癌症治疗等领域。如果落实到具体应用中,主要是您前面提到的大分子discovery,还是其他应用场景?

回 答 者:我认为,包括英伟达、OpenAI等公司提出的设想,主要还是集中在discovery方面。对于其他方向,可能需要较长时间才能看到成果,这些公司无法等待这么久,因此需要选择能够较快看到成果的方向。所以,drug discovery是他们最希望推进的方向。

提问者:drug discovery是否可以理解为运算量非常巨大的工作?这类workload或scenario具有什么特点?

回 答 者:它的运算量肯定很大,需要开展的实验也比较多,因为他们做的是比较初步的工作。

原文转译

好的,就是咱们昨天也稍微提到过,这就重新说一下吧,按那个1234条这样。 嗯,就是像昨天说的,呃 在GSK是有两个那种large language model,就是一个叫JGG,一个叫Jules。 然后JGG它是在非研发场景中的那种简单的业务文档分析, 然后它同时要做到一些翻译的工作,因为内部它是不让用那些外面的翻译软件的。 然后第二个Jules它主要是在,嗯,开放给研发的那些员工使用的。 嗯,它是没有连接到任何的内部的业务文档,然后 但是它是有几个那种研发相关的各种方面的prompt,比如说这大分子生物只要这块,或者是小分子化学的那一块,不过和内部已经有的一些实验或者信息什么的都是不连通的,它就是作为一个给研发的,给研发开发的比较confidential的一个AI。 嗯,再然后 昨天咱们也提到了在coding里面,我作为那个data scientist, 这个在我们的工作中,嗯,就是AI的应用场景还是比较多的,比如说 一个平台叫DataBricks,它是那个数据库的一个平台, 我们在那里就可以写SQL,提取数据, 然后再做一些简单的分析,然后 把它提取出来做一个 提取出来做那种dashboard。 嗯,再然后第二个是VS Code, 就是一个,算是写代码的软件吧,在里面主要是写Python和R。 嗯 然后这里面的AI应用就是那个Copilot, 在我们写模型的时候对写的那些代码起到辅助,辅助的作用。 嗯对,然后还有GitHub,GitHub是一个online的那种 代码版本控制的平台,然后我们会把那些写好的 嗯,代码呀,然后还有模型什么的都会同步上去。 嗯,因为Git的语言它跟那个Python什么的,比较主流的那些不是特别的类似。 嗯 对,和Linux的语言是比较相近的,所以大家有可能用的不多的话,对他那个语法什么的不太熟悉,所以也有一个Copilot来 嗯,辅助我们把这个东西同步上去。 对,嗯,再然后 第一是JGG,第二是Jules,第三是coding这块,第四条是在Teams里面,就是那个会议软件。 嗯,在这个里面 AI也有一些应用,比如里面有Copilot,就可以问他有关于我们 嗯,在那个Teams里面聊过的工作的内容啊等等的,以及它对于会议的那个transcript 会给给一个内容的提取分析, 在会议结束之后生成摘要。 再然后最后,最后一点,现有的应用是 嗯,在我之前工作的部门有那个lab report,它就是 做实验的人员做完了实验之后,它的数据会上传到数据库。 之前是他们都要手动的把之前的 的那种 实验报告的模板 呃,提取出来,然后自己再把自己新的那些数据给带进去。 然后呢,是开发了一个算是稍微简单一点的这种AI的应用吧,就每一次有了数据之后, 嗯,这个lab report就可以自动生成了。 嗯,这五点是在我之前的那个工作的部门里面应用比较多的。 然后我也看了您给我的那个Kimi上面的 说GSK使用这个Cerebrus的GT管线, 然后我看到的里面是有四个应用, 嗯,其实只有最后一个是跟我之前工作稍微有一些, 嗯,就是有有相关一点点的,前三个 嗯,因为有一些,前两个应该是research,就是纯做研究的, 然后第三点是小分子的development,因为我是大分子的development。 前三点跟我之前的工作方向都不是特别的符合,所以 嗯,所以我说怪不得我好像没有听说过, 呃,就是有这方面的应用呢,对。 OK,呃,好的好的。 呃。 欸,那么就是,呃,就是当然就是说,我这这也是网上搜出来的嘛,就是也可能就是说搜出来这几个 啊就是GSK使用Cerebrus的这个 呃就是这四种应用是吧,就是这应该有AI搜出来的,就是这这这个您之前有,就是说这个这个是确实是这个情况吗? 就是他确实是有,就是GSK确实是有 Cerebrus使用Cerebrus的这个 呃,就是这这些服务去做这个像这个 表观基因组学模型啊,蛋白质结构预测, 小分子生成与优化,就是这个这个您, 就是你你有听说过没? 因为我跟他这个部门就是完全没有关系,所以我也不好说到底有没有用过。 OK。 啊,但是就是您是说那个 就是积极的这个里面是,就是您这边是会用到的是吧? 呃,就是我作为使用者来说是知道有JJ的,然后 嗯,在他的后台应用的这些模型啊,还有硬件等等的,我不是很清楚。 嗯,OK。 好的好的,那那我们就就就在就下一个问题好了,就是 呃,就是说从您的,就是说您也,您在工作中也会就是说使用这个大模型,那么 呃,就是,就是说您您您觉得就是说像这种像因为就cerebras,我不知道您有没有稍微瞅一眼啊,就是, 就是说这个它它是一个提供快速推理的这个服务的这个一个公司,那么, 呃,就是从您的角度的话,您作为使用者, 有哪些场景啊,或者是前代的一些应用场景是会 你觉得是是可以利用这个就是快速推理服务的? 嗯,对对对,昨天我看到您这个问题也思考了一下,然后也搜了一下。 呃,我就是总结出了大概五六点吧,就是基于我们之前呃之前已经有的那些AI应用之上,还有一些什么其他的可以就是potential的应用吧。 呃,第一点是因为我看到了那个Kimi上面写它有小分子的那个生成和优化, 所以我就想到了就是最近可能也比较火的一个制药的方向吧,就是大分子药物的discovery方向,不知道您熟不熟悉,不过 呃,这个方向可能是 嗯, 就是可能可能应用这个快速推理比较有用吧, 它就是一个 不好意思。 欸,不好意思,我我先打断一下,不好意思,对,就是您就按照您 呃就是说熟悉的领域啊,或者是您就尽管说就好了,就是我也差不多能听明白, 就是不用,没关系,就是不用管我能不能听,就是熟不熟悉,就是您说就就就行了,嗯嗯, 您接着说,嗯嗯。 就大分子的这个discovery,嗯。 对,discovery它就是寻找合适的那些分子生成指定的抗体,然后筛选出来再交给下一个部门,也就是我之前在的那个部门,然后这个方向 的的缩写叫AD,然后因为我不是很懂,这个就不展开说了嘛, 然后第二点是我觉得它可以应用在我们之前的那种常规的实验, 嗯,实验的资源,还有人员的分配上面。 嗯,第三点是可以应用在AI辅助的那种实验仪器监测, 有助于我们开发那些Lab Automation之类的事情。 嗯,第四点是一个叫DOE,就是Design of Experiment。 嗯,大概就是给那些日常的实验进行一些设计,因为所有的那些实验它也不是 嗯,以一个特别regular的process进行的,它也需要一些设计。 嗯, 再然后第五点是有了这个DOE,有了这个实验设计之后得出来的一些结果, 从那些数据中,就可以做出来我们从Data Scientist的角度, 嗯,的那些设想中的模型,就比如, 嗯, 就比如工艺上的这种design space, design space的意思就是, 嗯, 因为那个工艺它是有非常多的维度的,可以调整, 然后 就好比说有一个五维的这个空间,然后我们想从这个整个的设置里面挑到一个或者 几个比较optimal的那个点, 它就可以 嗯,建一个模型,然后我觉得因为这个 嗯, 使用的资源是比较多的,所以这个快速推理可能会有一些用处。 嗯,再然后第六点是因为我刚才也说的那个juice, 嗯,对于研发方面的那个AI,它是没有连接到 嗯,任何内部的以前的知识的,所以如果能把那个 嗯,能把能把那些lab report啊,或者以前的那些知识, 嗯,给接入进去,做一个交互的场景,用那些比如那种上下文的rag呀, 嗯,可以让那些lab scientist一边提问,一边迭代假设, 嗯,同时也可以调取那些海量的实验数据,这个是会比较有用的。 然后我也看到您第三和第四个问题,嗯, 我觉得第三和第四个问题就是在这一些场景下的一些延伸吧。 咱们可以在下个问题再展开说说。 哎,可以可以。 呃,哎,那对那我这里先追问一个问问题啊,就是 哎,我想问一下,就是 呃, 就是您您之前就是说在,就是您在GSK使用这个 大模型的这个推理服务的时候,就是 呃, 就是您作为使用者您您能够就是说感受到或者体验到 呃,就是这个token,它它这个,或者说回答生成的这个速度的快慢嘛,或者说这个 呃,就是说,就是或者或者我们叫这个tokens per second, per user,啊就这种, 这种性能啊,技术指标啊,或者是您或者从您的作为使用者的这个体验上面会会会能感受到这种差异吗? 嗯,怎么说呢,作为使用者来说,就是那个juice,它作为一个那种 就是交互的AI,它和我们平常就是在公司之外作为普通人用的那种AI其实是没有特别大的区别的。 所以说可能在速度这方面,嗯,从专业的角度来说,可能会比 这种快速推理会慢很多。 嗯,再然后在coding那一块的话,因为 嗯,之前的coding也就是辅助我们基于现有的一些 嗯,script呀,或者一个大的model, 走里面的某一些部分的code进行提问,然后那也不是需要特别, 嗯,就也不是特别复杂,所以在那个方面我觉得速度不是一个很大的问题,主要还是那个 嗯,就是交互的AI那方面。 嗯,OK。 好的,好的,那我们就到下一个问题吧,就是, 对,就是您刚刚讲了这几种场景,可不可以 呃,就是在再稍微展开一下,就是说, 就是比如如果是用到这种, 快速推理,就我們講快速推理可能 就是從性能指標上來說可能就是 它有可能是一個比方說5倍到10倍的這種 速度上的提升,就是然後可能從 我不知道從用戶使用的角度會,對,反正就是這個這個,請您稍微展開一下吧,就是這個快速推理的價值。 好,我看那個您第三個問題是快速推理的價值,然後怎麼降本增效。 第四個問題是可以快多少,我這兩個就結合起來一起回答吧。 嗯。 嗯,行。 然後,我覺得降本肯定是​​可以的,因為我剛才提到的那些東西裡面可以省掉很多的人力啊等等的, 但是增效,就是增加收入這一塊可能是不屬於研發階段考慮的問題,它應該是非常非常後端的事情。 比我之前在的那個部門可能還得 延後個 以一年為計的這種 時間線,才可以 量化下來收入到底是多少。 嗯,不過在之前的那些方面,drug Discovery這方面,AIDD,這個因為我不是很理解,這個不好說。 嗯,再然後第二點我想到的是, 拿那個GG做翻譯這一塊,我覺得它是 嗯, 在快速推理這一塊可以 有很好的應用的,因為我記得之前那個 嗯,之前GSK的某一些部門還和中國的一些CRO的公司有過合作。 嗯,然後之前在內部的那種什麼攤號啊,或者這種大的 那種發布會上, 就研發的 VP或者更高的人提到過, 之前 和那些中國的CRO互相把一些那種手寫的文檔啊什麼的, 進行文字提取,然後再翻譯等等的,這個這個過程費了非常大的勁。 即便當時已經用了AI的幫助,但是 就是依然比較 耗時傷神吧,所以我覺得快速推理的話, 如果能給它提升個五倍到十倍的這種速度,對於 整個的 這個合作的過程來說是 減少了非常多這種 嗯 也不是說不必要,但是就是非製藥技術上的這種痛點。 對,然後 第三點我想提的是那個 在Teams,就是在 網上會議中的那種transcript的 自動生成。 這個如果能結合到快速推理的話,我覺得 嗯 它是比較有用有用的,因為之前的話是只可以 一整個會議完了之後, 那個transcript是要等個可能三五分鐘才能 才能available,再然後 再給它餵到那個copilot裡面,讓它總結生成一些這個會議會議裡面提到的點,又需要 嗯,可能兩分鐘這樣,但是呢,就是 當初我們上班的時候,那個會是一個接著一個的,一整天這個時間表就是全都排滿的。 一個會和另一個會之間根本就沒有空檔。 嗯, 所以說這個事情可能 得要一整天的會完了之後才能做這個事情。 如果說我們可以把快速推理給它結合進去的話, 也許就可以實時的在會中得到一些比較得體的內容總結,就比如說我們這個會開到一半,它就給總結到了這麼一半。 然後差不多完成的時候,那個整個的需要的稿也完成了,我們就可以 把它比較快的分發給 參會的 人員呀,或者說想要給匯報的領導呀等等的。 這個 提升的效率還是非常多的。 對,然後第四點。 我是想提一下我们之前作为Data Scientist写那种machine learning的模型这种事情。 对,因为我看到这个快速推理,不光是从token的处理速度有显著提高,好像在逻辑上、逻辑性方面也是有稍微有一些提升的。 嗯,也就是它对于比较复杂的问题解决能力会更强一点。 嗯,之前我们在写代码这方面应用到AI可能只是嗯在我们 嗯已经有了一个模型,或者说至少是我们已经思考出了一个思路,该怎么做这个模型之后,才会让那个Copilot帮忙解决一下 嗯比较纯粹的那种代码呀,或者是编程语言上的问题,并没有结合到我们对于这个 不管是science还是对于machine learning的理解。 嗯,如果是借助了快速快速推理的话,它是可以帮助我们更好的把我们的思路跟它就是互相聊一聊啊,然后总结一下,看看我们能从哪个方面切入到这具体的问题,不光是在写代码这方面给我们 嗯做那个帮助。 因为 我们之前在解决思路这个 方面上是在做这个模型中占的时间的比例是最长的。 嗯可能那个迭代的周期是 嗯可能是以月记的,就比如说第一个月我们先有了思路,写完了一个比较初呃比较初步的这个模型,然后再 进行一些什么feedback呀,然后再返回来进行下一个模型,下一个模型版本的迭代等等的。 所以说我我觉得如果能结合到这个快速推理的话,这个 事情可以 也许是可以从 嗯以月为单位到以周为单位, 就是 快了非常多倍的。 对,然后 嗯第五点是刚才我提到的那个lab report的自动生成,就是从那个实验数据里面自动生成这个呃实验报告,我觉得在这个方面上其实快速推理的作用是相对来说是一般的,因为那个report 它一般是 嗯就是以固定的模式来代入数据,直接就 生成的,它也不需不需要非常多的算力等等的,所以说这方面可能 在这几点相比下来是呃 应用方向是最小的,对。 然后第六点是刚才我提到的AI辅助的那种实验仪器的监测,就是做lab automation。 嗯这个方向我觉得 嗯之前我也读过一些文献,好像是中国呃中国的那个CRO,就是呃无细胞logics,叫药明生物, 他们其实可能已经 做得很好了,我不知道他们有没有用这个快速推理,不过 嗯我觉得对于GSK来说,这是一个非常 有有有潜在发展方向的一个一个点。 嗯因为 呃至少是截至现在为止, 嗯GSK在development上面做的那些实验全都是还是需要 用那种最传统的方法,就是人工呃给他 就是到那个实验室里面,就用那些仪器做一些实验,不过我知道的现在在行业里面最高端的那些是已经 嗯全套流程都是用了那种机械臂以及机器人等等的, 它根本就不需要人进入到那个实验室里面。 呃所以对于这些欧美的药企来说, 可能这种嗯迭代掉这种最传统的实验方式,来给它换到那种 呃,比较先进的模式是一个 未来可以发展的方向吧,对,然后这一个整体的过程是离不开AI的。 嗯,不管是对于那个 机器人的控制呀,或者是对于这些实验的操作等等的, 这所有的方面都是非常需要AI来辅助的,更需要这种快速推理。 对,这个是一个方向, 这个应该是也是可以 嗯,快了非常多倍的, 对,嗯,然后也同时也是节省了非常多的人力。 对,然后最后一点我想不到的是那种,呃,把Juce连接到之前的的那种lab report以及之前的历史数据的这种交互场景。 呃,因为它至少是节省了人们,就是那种lab scientist,他们自己通过查询历史资料的这种 嗯,很大的effort,因为 呃,你也知道那个知识储备它可能是不连续的,因为这种药企里面人员,人员更换也比较快,然后可能 嗯, 就是换换了人之后,那些知识就 呃,可能就miss掉了。 这个人一走了之后,他没有完全的把自己的知识传递到下一个人,下一个人可能只接收到了他的,比如说50%,那剩下的50%就沉睡在那个数据库里面,就无人问津了。 如果有了AI的话,那些, 嗯,这这种知识的连续性就不会出现问题,然后 已有的那些知识也会,嗯,由由AI的辅助下就给提取出来,应用到可以 嗯,它比较可以发挥,发发挥拳脚的那些应用场景吧。 对,然后它也可以把那些,嗯,历史上不是那么好提取出来的一些多渠道的数据给它自动的整合出来, 因为 嗯, 就是 应用不同的那种实验器械,它生成的数据可能在格式上以及,呃,就是source上它是不一样的。 这个对于,呃,lab scientist和data scientist来说都其实,其实都是一个问题。 所以说结合了这种种的这应用场景吧,它是在基本上可以完成完成一个, 比较完善的知识管理体系,在之前,呃,如果仅靠人力的话,我们是无法无法完成这个的,而且这个的数据量是非常的大的。 嗯,基于现在有的那些AI可能,嗯, 如果如果让我猜测的话,我对它那个速度并不是抱有很乐观的态度,所以如果由快速推理的话,应该是可以,嗯,提高很很快的速度,同时也是降低了不同,呃,不同部门以及整个公司之间的一些壁垒吧,对。 大概就是这些。 好的好的,明白明白。 呃,这里我想就是, 呃,尝试就是看能不能抽象一下,就是说这个我们您提到的这种几种场景,它这些需求有什么特点,您比方说, 呃,您前面说的可能前面两种场景,一个是,呃,就是说这个机器做翻译,然后还有就是这个teams。 嗯,就是这个Trancript生成,然后总结。 嗯,欸,有像这个Teams这个是不是我理解为就是它相当于是有一个, 嗯,就是这个场景里面,它确实就是需要 需要这个有一个很快的,很及时的, 就是 让AI生成一个一个一个结果,对不对?是不是可以这么理解? 就它这个工作量可能没有特别大,就是工作量可能没有特别巨大,但是需要它非常快的去 把这个结果给顺出来。 对,它这个应用方向就是 是需要比较实时的,就是 就是在一个会议进行的过程中,它就可以一步一步地把那些东西都生成出来,实时的生成出来。 嗯,明白明白。 呃,然后, 呃,然后然后您说那个用机器做翻译,呃,就是您说之前就是GSK和和和中国的CRO公司合作, 这里这里的话, 这个地方是怎么理解,就是说是是是,就是说是翻译的这个 呃,就是工作量比较大,然后 就是说快速推理是可以去, 就是是是是是缩短这个翻译的那个时间吗?还是这个地方是是怎么理解? 对,差不多是这个意思,因为它也是 呃, 像我刚才提到的也是,它有一些不同的source来的那些文件,就是有存PDF的,还有那种 从就是纸质的那种手写的报告, 的扫描件, 呃扫描过来的, 然后这种情况下我们都还是得通过那些什么文字提取技术啊等等的,先把这些东西都提取出来, 再然后, 呃,当时我记得他们也是提到了需要一些会说中文的人给他进行辅助等等的。 呃,如果是有了这种快速推理的话,我觉得 就是这种人力其实是不是特别必要的,以及等以及那个翻译的过程它也是, 呃翻译的量非常大,如果应用了这快速推理的话,可以 呃, 至少那个时间就可以减半。 嗯, OK, 明白明白,好,然后,嗯,然后下一个场景,就是第三个场景,你你提到就是说, 就是您就可能写这种machine learning的模型, 然后 呃这里面是不是可以理解为就是, 呃,就是说 就是需要这个AI它它给您一个,怎么样是一个feedback,是吧?是一个返回,就是,它是给您给您一些解决,就是可能一些 叫做帮助您就是说形成一些这个思路,然后您写好这个模型之后,让它 呃,就是能够很快的就是去去给feedback,然后 做一些迭代呀什么的, 就是是是它是是,就是这里面会有一些, 呃有一些叫做 有些互动是吧,然后可能工作量也比较大, 所以就是快速推理的话可以去大幅的去缩短这个 呃,就是您是说以月为单位到以周为单位这种 呃,可能是写模型的这个周期,是是大概是这么理解吗? 对,这个是一方面,就是这种呃交互式的 呃迭代以及给feedback等等,另一个方面是我希望它 呃,就是从以前的只给代码方面的建议变成给整个模型或者整个project的建议。 这是另一个方向。 理解理解。 OK。 啊, 这个不知道别的行业他们有没有,哦哦,OK。 啊好,大概大概能听明白,好。 呃,然后, 嗯,然后您您还有就是第五,这应该是第五个是吧?就是这个, 呃, AI辅助 实验仪器监测。 嗯,我我记得好像您您,我看看,您您昨天好像有提到一个就是 嗯, 就是是哪种场景,就是说会需要很,就是可能会出现很多种这个排列组合,很多种搭配的这个, 这个这个这个情况啊,就然后然后可能计算量特别大的,就是这种也可以用那个就是快速推理去去相当于是提升效率这种。 就是是哪个场? 嗯, 我我我在第二个问题时候说的第五点,那个design space,您还记得这个吗? 啊对对对, design space,对对对。 对对对,它就是在我们那个实验的过程中有非常非常多的设定,比如说 这个温度是多少,湿度是多少,然后加了多少的液体,多少的固体,等等的。 就是这种非常多维的一个空间。 呃,刚才我举的这个例子是四维的, 所以说这个四维的空间里它可能有一个optimal point, 我们想做一个模型,就是从这个四维的空间里,通过以前已经有的一些实验的数据, 比如说我们在这个四维空间里面以前只有,嗯,只有只有十个的数据点。 呃,十个呢可能有点少,说20个吧,20个数据点, 但是呢这个, 嗯,这个空间里面至少是有,呃,100个或者500个那个数据点,我们是想要给它进行一些推理的。 嗯,就是想做一个模型,基于那20个数据点,在这500个数据点之中选出那个我们可能以为 呃,就是我们,我们可以 推理出它是一个optimal point,对于我们的产量以及那个product quality都是最好的那个场景。 嗯,OK。 嗯,就是这个是如果是用快速推理的话,相当于是 就是说是可以,就是说缩短这个时间是不是?就是可以大幅缩短这个 推理 推理推理的 首先是这个模型还没有完整的做出来,它对制造模型这方面是有帮助的。 呃,其次是这个模型做出来之后,它对于不同的那种,呃,不同的大分子或者小分子等等的都可以应用。 然后每一次应用呢,它又是重新需要去train这个model,然后再给出一个预测的,这一个 这一个过程也是需要那种,呃,计算的时间的,在这个方向也可以提升速度。 嗯,OK。 好的好的,然后,呃,还有就是,呃,那那就刚才讲的这个 叫做design space和您说的这个 呃,AI辅助实验仪器监测,这是这是两个场景是吧? 嗯,其实算是两个场景,对。 哦哦哦,明白明白,OKOK,好。 对,反正就是呃,就然后您相当您刚讲的第五个场景,就是这个AI,就是就是这个,就这个也是不是也是类似的,如果是把这个需求 抽象出来的话,也是类似就是说可能一个就是工作量,运算量很大的一个 呃,就是一个任务或者一件,呃一个一个事情。 呃,然后让如果如果是快速推理做的话,就可以去大幅缩短时间,是是大概这么理解吗? 计算量的角度看是这样的,不过应用的场景来说有一点区别。 嗯嗯,OK。 好好。 嗯。 然后最后的话,您说把这个连接到,呃就是说历史数据啊,然后可能就是这这个是 就是这个可以抽象成什么需求啊?就是比方说我我不知道就是如果如果到了到了别的行业里面,这个 对,就是这个可以,它是比方是一个需要实时互动的,一个实时的响应的呀,还是说 运算量特别大,然后用快速可以去显著缩短这个时间呢,还是它这个是一个什么样的 需求?就如果是抽象一点,抽象一点说的话。 嗯,因为我,呃,我的设想是它把之前所有的历史的这些,呃,所有的知识以及这种数据都带进去,所以那个数据量肯定是,呃,比我们之前提到的所有的这些做模型等等的数据量都是大的,因为做模型的话只是从我这这个设想里面的海量的数据里面提出1%的数据来做那个模型,所以说它是比之前那些数据量都大了非常多的那个次方的,所以说这个就是 呃,和您说的那意思差不多吧。 嗯。 OK。 好的好的。 呃,那好,那,对,那那那下一个问题吧,就是 嗯,就是 那那我就您您您觉得,就是您当时您观察到的,就是或者说 您推断的就是这个 在GSK去部署这种 快速推理的话,有有什么挑战? 嗯嗯。 行,呃,首先我是觉得就是从开发的这个角度来看,因为这个公司非常大嘛,它在全球可能有 呃,八九万人之类的,然后而且是 在医药这方面,如果细分的话,它是大分子、小分子,还有疫苗全都做。 呃所以这几个方向以及他们下面再细分的方向之间互相都不是非常通用的,所以 比较大的挑战吧,对,因为很多场景下面他们都缺少这种 专对于 对于研 对于研发业务的理解和需求的判定。 嗯, 因为昨天也说了,我那个AI ML部门里面可能顶多有上百个人,而且这上百个人也不都是做这种生成式AI方向的。 嗯, 所以说他们做这个 生成是AI的人和研发里面有的人比起来的比例可能是 嗯,几十比一这样的。 对,所以也有很多也许是这种潜在应用方向的方的项目,但是由于这个AI engineer不熟悉这个方向,或者是还没有轮到我们这个部门去提出我们的需求的话,可能这种相对小众的领域就还没有覆盖到。 呃,就像我看您之前的那个四个方向, 里面其实是没有覆盖到我之前在的那个部门的方向的。 对,嗯, 再然后 嗯,这个是从开发的角度来看的,从应用的角度,从那个用户的角度来看, 呃也是稍微有一点挑战,因为 从国际的视角来看吧,欧洲的科技发展水平相对于 中国、美国来说也是相对比较落后的。 然后 嗯,在医药研发这一块 的员工 员工的这种画像,可能很多都是干了几十年同样的东西,就是已经已经岁数比较大的员工了,他们可能倾向于按照传统的方法做事。 嗯, 对,我们之前 呃虽然是data scientist,但是也稍微帮助那个AI ML部门稍微对AI做了一点点的宣传,告诉他们GG是什么,Juse是什么,你们可以怎么样用,你们 给给他们开发了一点比较小的那种use case,给他们展示说你用了这个对你的工作是 呃效率是有很大的提升的,但是 嗯, 因为他们那些人的这种画像吧,可能说不好听了,他们能能把那个电脑用顺了的都是都是一个奇迹了,真对于那种人,这种那种人来说,这个效果其实是一般的。 所以这个AI工具在员工里的那种普及率还是有一定的可上升的趋势。 嗯。 OK。 啊好的。 呃,对,您刚刚有提到就是 就是我们我们这个就是叫AIML的这个部门,您是说有就多少人?我我见您是说这个其中有涉及到生成式AI的是二三十个人是吧? 嗯,我这只是我的一个预测啊,因为他整个 就只有百十來個人,然後 我也不知道有多少的人是在做這個,但是肯定是幾十個人。 啊,OK。 然後,我還想問一下,就是在您在,就是說,作為用戶去使用這個, 就算是公司內部去使用AI的過程中,就是你會看到您是使用的哪個模型嗎? 應該是,那個可以選,我好像沒太注意到能不能選。 OK。 那您像像的話是 就是就通常是什麼模型? 嗯,之前是有GPT,Deepseck,Gemini等等的,在我離職的時候,它是有GPT的幾個版本,4.幾,然後還有Gemini的幾個版本。 嗯,OK。 好。 好,嗯,對,然後就是我我不知道這個最後,就是說這個需求空間這個問題,我不知道你好不好回答,就是,但是我想听听從您的角度聽聽看您是怎麼看這個問題的,就是 這個快速推理的這個,這個潛在需求可能可以佔到,比方說, GSK的這個整個 應用AI推理服務的需求的這個百分之多少的比例。 嗯嗯嗯,對,我我之前其實沒有仔細的思考過這個問題,就是從昨天開始我在這裡也總結了一下,發現其實這種潛在的方向還是非常多的,就是你你也看出來從我之前提到的那個可能七八個方向吧,只有那麼一兩個方向是這個快速推理,其實對它的提升是用處不大的,所以說這麼說的話,我覺得可能80%左右, 嗯,就是佔了這個AI業務的80%左右,從這個業務場景的數量佔比來看,不是不是說token的數量。 對,不過由於因為這個行業整體來說還是一個實體行業,它嗯,它還是需要做那種實體的事情的,不是所有東西通過AI都能解決的,所以說在整體的這個公司的佔比來說比80%要低很多。 嗯。 嗯,對,就是我想看,就是說,嗯, OK,就是這個80%的分,分母和分子,就是比方說是分別是啥,就是分母就是說是這個整個生成是AI的這個推理,推理服務的需求,是不是這麼理解,然後分母的話就是那個 對,分母是這個,說錯了,不好意思,然後分子的話就是這個其中快速推理的需求,能夠佔到80%。 對的,對的,對的。 哦哦,OK。 嗯,好,哎,好的好的,那那我們這個提綱上的問題基本上都問完了,然後我這邊還有一些,還有還有一些可能就是再再想追問的問題。 嗯,就是一個就是說,像您了不了解,就是那那我們這個像GSK的話, 嗯,就是我們,比如說在什麼部門去讓大家去用這個生成式AI啊,然後用這些AI的就是像GGG啊,GOOS啊等等,就是它這個是怎麼推進的呀,就是這個是誰來主導,然後是一個怎麼樣的一個推進的過程,讓大家就是逐步的用起來。 嗯,最開始可能是24年的後半部分吧,他們最開始最開始推出了這幾個AI的工具,然後這就是有那個AML的部門開發的,然後呢,他們會辦一些嗯,當時是辦了一些online的這種宣講會,呃,算是 可能,可能您就理解為給全公司的人都發一個郵件,然後說在某一個時間段,我們要給你們教一下怎麼用我們這個AI,然後你們有空的話就可以來參加。 呃,對,最初 开始是这样,后来是我们作为实验部门里的那个data science的组,我们跟他们稍微有一点点接触,然后 嗯,因为从我们那个部门的领导那里觉得这个东西也是可能可能比较有用的,想让我们帮忙宣传一下。 呃,因为我们在那个部门里面已经是算是,在技术方面最前沿的那个组了,然后我们就会 在自己的部门里面,在那中美每个月的部门会里面给他们 嗯,就像我刚才说的那个,给他们一些use case。 就拿他们已经有的一些数据,然后做一些小的演示,跟他们说把这个东西带进去,然后你说这个说那个,他就可以给你展示出怎么样的结果。 呃,算是比较 比较比较朴素的这种推推荐的方式吧。 嗯。 嗯,OK。 呃,我这里面您刚刚提到有一个点,就是我,你像你比如说你可能有有的这个 呃领导他觉得这个有用,就是 包括你也提到,就是我们其实你前面也提到就是我们可能会有一些这种use case。 就是这个通通俗来说就是这个 他是怎么去衡量这个东西有用呢?就是我这个部门的领导。 呃,部门的领导可能也是跟那些AML的部门的他们的上层领导有一些接触,我觉得对,他们也肯定是看了那些,呃,不管是他们上层领导之间的会议啊,还是我刚才说的给全公司发的那种会议,那个上面也会有他们专门的use case来给他们解释这个东西,然后 呃,他们也会看我们的那些 嗯,就是每个月给他们的use case,比如说,呃,比如说什么的,那个lab report吧,拿那个来举例,在lab report 嗯,还是要用手动的那种方式来写出来的时候,以及后来有了这个AI生成来给他来给他自动生成了之后,它是有在那个FT上面可以量化出来,呃,这个事情每年到底是需要,本来是需要多少个FT,然后用了之后就可以 减少到比如说,之前那个数字乘以0.2的FT就可以完成这个事情。 呃,他们也是有的时候会用到这种可以量化出来的这个百分比,来看这个成果。 嗯。 哦, OK. 嗯。 呃,然后 就是对,然后这个我们就是 诶,您有没有可能,就我不知道您这个这会儿还熟不熟悉,就是说,嗯,有没有可能再举一两个use case啊,就是典型的use case,比方说你刚刚讲到lab report,然后,但是,但是你前面好像有提到可能lab report它可能不是一个,就说快速推理最能够发挥作用的场景,就是有没有别的这个use case,就是可以简单的,就是介绍一下的? 呃,您是说就是在快速推理这一块? 或者就是说,因为你刚刚快速推理也讲了好几个场景,就是有没有这种,就是不需要讲,就就是您比方说您说的这个 叫什么,写写写这个machine learning模型啊,或者是 呃,就是这个 这都是潜在的这个这个应用场景是吧?就是包括这个AI的辅助实验 或者就或者就是说您您您在,比方说像别的,像您的同事啊,你别的部门去 呃,就是去去推荐他们使用 呃,生成式AI的时候,有一些什么样的典型的use case? 就除了这个,除了这个lab report之外。 行,那那要不我举一个就稍微technical一点的例子行,就是在我们之前那个部门里面, 呃, 他在他的下游是要做那些什么光谱、治谱等等的。 呃, 光谱和治谱的那个原理大概就是, 呃, 就是生成, 生成出来的数据就是一个横轴是时间, 纵轴是它的那个, 呃, 谱的强度, 然后呢, 我们是想找到这个谱的一些峰值等等的。 对, 然后, 嗯, 因为这个峰值虽然你拿肉眼可能能看出来, 但是我们还是要比较严谨的写一个那个, 嗯, 写一个模型来给它自动的检测出来。 呃, 在这个方向上就是, 呃, 之前就是用AI辅助了很多, 嗯, 比如说拿某一个, 呃, 这个方向上具体的machine learning的模型来给它代入进去, 呃, 在然后这个模型上我们就, 嗯, 在写代码以及整理整个的这个model structure的时候, 就应用这个 嗯, 生成是AI给我们在线上进行了很多的帮助呀等等的, 最后是得出来了一个可以 嗯, 应用到以后的实验场景中的一个具体的模型。 不过这个是和 当时是没有用到快速推理, 对。 理解理解。 OK。 呃, 那那这这个use case就是, 呃, 对, 我这里想问一下, 就是如果, 那如果是还没有这个生成式AI的时候, 嗯, 呃, 这个, 这个这个use case这件事要要过多长时间, 然后有 生成是AI之后, 需要就是做多长时间, 然后完了可能 假设说未来能够用快速推理去做的话, 这个是做做多长时间。 行, 我觉得之前如果完全没有的话, 可能是要 大于一个月才能出来一个比较初级的那个模型的版本, 然后有了这个AI的话, 主要的事情还是我们找到那个合适的machine learning的模型, 来给它带进去, 可能就 嗯, 咋说呢, 就两礼拜差不多。 如果有了快速推理的话, 我觉得一个礼拜之内是没有问题。 嗯。 OK, 明白明白。 好。 好。 好, 欸, 我, 嗯, 我看看, 我这边也差不多了, 我可能最后最后几个问题了那就, 因为我看看, 嗯, 欸, 那像您了不了解就是, 呃, 就是像像可能医药行业里面的一些就是其他的公司, 他们的应用场景会是类似我们就是说GSK这样的嘛, 就好像, 就像像那个阿斯利康好像也是 呃, 就是也是也是也是有这个用一些生产是AI, 包括他们好像也有用快速推理服务的。 就是就是这种不同不同的药企之间, 呃, 就是不同的药企他们用的这种场景是, 呃, 就是说是是都是都是, 是是怎么样呢, 是差不多了吗还是怎么样? 嗯, 我觉得这个对于不同的公司来说的话, 嗯, 更大的区别还是不同的研究方向吧。 对, 如果是同一个研究方向的话, 不同的公司其实大家的那种交流, 呃, 交流等等的是是很多的, 大家基本都处于一个比较同步的发展的状态。 对, 所以说我觉得在公司方面, 这整个, 整个industry的应用方向其实是大差不差的。 嗯。 OK。 嗯, 我看看啊, 那也差不多了, 我看看。 您了不了解就是我们的这个像, 因为你前面提到我们有个专门的AI和AI模式, ML 好的这个 就是是相当于有这么一个部门是不是? 对。 就是 就是这个部门它是 他他这这个这些部门他招的这个 他这边的人的背景大概是怎么样的?比方说是不是他是是什么,比方说是一些软件工程师啊,还是一些 他是你你了不了解,就是大概是些什么样的背景的一些同事? 嗯,我看到过招聘的那些人啊,有软件工程师,然后也有AI Engineer, Machine Learning Engineer,需要之前有 至少是有一点相关的这种AI的背景吧,然后 嗯,他稍微也招过一些在什么finance方向应用这个AI的,不过我这个不是很理解,可能在研发之外的事情,然后稍微还有一点点关于AI ethics。 这个方向的 那种人才。 对。 OK。 就这个部门的 嗯,这个部门的这个就是同事,他们相当于是 就是他他就是说他是是不是他不是说一定要去懂医药行业的是吧?就是他懂这个AI和machine learning就可以了。 嗯,这么。 我看他我之前看过他们JD上写的,最好是做过那种医药 就是比较比较specific的那种研发的方向。 嗯,不过更看重的还是在AI和Machine Learning这方面的那种expertise。 OK。 好呀,我那我看看也差不多。 嗯。 欸,你你我想问问看就是像就是说您 嗯。 我看看啊,有这里有个问题就是,嗯,就是这个最近推出的 MHS 在和Genetech合作。 你了解这个MHS相关的应用吗? 这方面我好像不是很了解。 嗯,OK。 嗯,您了不了解,就是像现在一些头部的这种大模型厂商啊,就是包括,包括OpenAI,他们在一些可能 就是一些 就是这种公开的访谈里面呢,一些采访里面,他们是不是会提到这种 就是AI对于这个医药行业的,对于对于可能比如说治疗癌症啊等等方面的这些会会会扮演非常巨大的重大的作用。 嗯,就这个东西如果是落实到具体的 就是 就是应用里面的话,它是它是是怎么弄啊?就是它是不是就是您前面讲的,比方说这种大分子的discovery呀,还是就是这个可能具体的具体地应用场景是大概可能是怎么样子的? 对,我觉得他们这种公司,包括什么英伟达呀,以及这些openAI等等的这种 呃,这种公司,他们提出的这种设想,就是主要还是在discovery上面。 在其他的哪种方向上,他们可能 嗯 我觉得可能是 落实下来那个成果能 显现的时间对于他们来说太长了,他们等不了这么久,他们需要一个能快速能看到 就是看到成果的方向吧。 所以说 就是drug Discovery对于他们来说是 他们最想做的方向。 嗯,OK。 这个 drug Discovery,这个这个是不是一个可以理解为一个可能就是运算量也也非常巨大的一个 一个工作啊,就是它是 有什么,就是这个这个就这种这种工作,这种 workload或者这种 scenario,它有什么样的特点? 嗯,它 运算量肯定是很大的,然后他们做的实验也比较的多。 因为他他们是比较初步的做