Deep Dive
Shownotes Transcript
科技不是少数人的专利欢迎来到这一期的揭秘科技自从 DeepSeek 火了之后新闻上不断地出现某某公司全面接入 DeepSeek 这样的新闻随后阿里巴巴的云服务也跟着火了起来这里的全面接入就涉及到了大模型的一个概念就是大模型的部署那什么是大模型的部署呢
为什么要部署大模型呢?大模型有哪些部署方式呢?部署大模型又跟云服务厂商有什么关系呢?今天的这期节目就一一来回答一下这些问题大模型的部署是指将已经训练好的人工智能的大模型比如 OpenAI 的 GPT、DeepSeq 等等集成到实际的应用当中使其可以被用户或者是系统来调用来实现推理的过程并且完成相应的任务
部署的目的就是让模型能够高效稳定安全的运行并且能够为终端用户或者是其他的软件提供智能的服务大模型的开发者比如国外的 OpenAI 国内的 DeepSeek 如果想把自己的大模型提供给企业或者是个人用户使用的话就需要把自己已经训练好的大模型去部署起来
而那些个自己并不开发大模型但想基于 OpenAI 或者是 DeepSeek 这些公司的大模型来开发自己的应用然后为自己的企业或者是个人客户来服务的公司也需要去部署他们的大模型后面这一类公司的数量显然比 OpenAI 和 DeepSeek 这样的既是大模型的开发者又是提供者这样的公司的数量要多得多大模型的部署的最核心的环节就是模型的托管 Hosting
模型的拓展指的是大模型需要一个具体的计算环境来运行通常是使用云服务器本地服务器或者是边缘的计算设备这里所说的运行环境中的云服务器本地服务器或者是边缘的计算设备就决定了大模型的部署方式
无论你选择哪一种的部署方式都需要根据未来计算量的需求来选择相应的 GPU 或者说并且要决定你要买多少块 GPU 的这个数量来确保你的推理的速度和性能能够满足未来业务的需求根据这个托管方式的不同大模型的部署方式也就分为云端部署本地部署和边缘部署这几种方式
云端部署它适用的场景是需要那些需要高计算力并且能够弹性扩展也就是说按照需要来扩展的企业或者是个人的开发者如果这些开发者不想自己去维护云服务的这些个硬件设备而只是希望简单的通过 API 应用程序的接口去直接调用这些大方形这是最方便的一种部署的方式
它适用于那些个提供 SaaS 也就是软件机服务的公司这样的产品的这个公司比如 OpenAI 的自己的这个 ChatGPT 和 DeepSeek 他们就属于典型的这种云端部署的方式而云端部署的这种又可以分为公有云和私有云部署这两种方式公有云部署呢它
是指的是应用开发的企业开发应用的那些企业它直接去使用 OpenAI 和 DeepSeq 提供的 API 就好了直接去调用企业不需要自己去托管或者是说训练大模型前面提到了大模型的供应商 OpenAI DeepSeq 他们通常就会把自己已经训练好的大模型作为一个服务在云端发布
企业和个人用户通过互联网访问按照自己的需要去调用 OpenAI 和 DeepSeq 的开放接口 API 就好了比如 OpenAI 它主要是通过微软云来提供它的 API 的接口供调用而国内的 DeepSeq 目前已经有包括阿里云在内的 18 家云服务商都提供 DeepSeq 的 API 调用服务可见咱们的有多卷
这种公有云的部署方式的好处是资源共享众多的企业或者是个人用户去共享云服务商提供的计算资源按需计费用多少就付多少通常是按照 API 的调用次数或者是输出的 token 也就是文本的数量来计费的开发者也不需要一次性的投入大量的资金
并且可以进行这种弹性的扩展动态的增加计算资源去满足高峰流量的时候的需求而且可以部署的速度非常快因为无需自己去建各种基础设施了几分钟之内就可以完成启动
维护也相对来说非常简单由这些云服务商他们去负责基础设施的运维更新和安全由这些个云服务的提供商他们去负责大模型的训练优化更新所以公有云某种程度上就像是去酒店去订房间你需要多少间房就订多少预定好了之后拎包入住住多久付费多久并且可以随时退房或者是随时再增加房间
而且房间里所有的设施应有尽有还不需要自己去打扫卫生无需自己操心任何事公有云部署虽然和住酒店一样有那么多的好处但是通常住酒店比较贵而且酒店的房间也不是自己的打扫卫生的人可以随时刷卡就进来了所以如果你不喜欢这些个弊端和公有云对应的部署的方式就是私有云部署私有云部署指的是
企业可以去这个阿里云腾讯云亚马逊云微软云等等这些云环境里面去托管自己的大模型而不是直接去调用这个第三方的在这些云服务上的这些 API 那么企业可以选择去这些个云服务的提供商的这个云环境里面去托管自己训练的大模型
或者是说将现在已有的这个 DeepSeek 等等他们训练好的这个大模型部署到自己在这个云服务商当中的自己这个一个私有的云环境里由这个企业自己来负责维护和优化这些个大模型的这个环境
如果说公有云部署类似于去住酒店那私有云部署就类似于自己买了一套商品房然后自己在自己的商品房里面单独搭建了一套专属于自己的 DeepSeek 或者是其他的大模型自己负责未来的每一次的训练优化升级那数据呢也就完全在自己的这个商品房里面虽然你的房间呢还是在开发商的这个整栋的这个楼里
那私有源的部署它适用于数据安全性要求高合规性要求严格大型企业这种场景在私有源部署里面呢数据是可控的因为企业可以去保护敏感数据不流向外部 API 的这些个提供商这个数据就不会跑到这些提供商里面了因为你这个模型都在自己的这个私有源里面
相对来说它的成本比较高因为需要去租用云服务的计算资源训练和推理的成本都比较大但是它的定制化墙可以根据企业自己的需求自己来去优化自己的模型来调整推理的速度和资源分配等等
举个例子呢那比方说字节它为了这个自己的数据安全它就是在阿里云里面去部署自己的这个大冒兴在自己的私有云里面虽然这个云呢也是在这个阿里云里面但是它相当于是在阿里云里面有了一块自己的空间行业里面通用的做法呢
对那些个定制化需求比较高的企业大型企业尤其是对数据安全性要求高的企业通常他们会选择私有云部署来确保对数据的控制权这种做法相对来说成本比较高也比较复杂因为企业需要投入更多的资源用于硬件计算存储带宽等等这些技术设施的建设与维护还是用买房做比方
虽然说这套房已经买了是你自己的了别人不能进来但是你最开始买房的时候就要算好了到底需要买多大的面积因为如果你一旦买小了未来的业务量非常大你的面积不足以支撑未来的业务了那也不是说未来不能够再去增加容量了只不过是增加的时候呢这个比较麻烦不能像共有云那样你随时可以去多订几间房间随时订了随时就有
那同时呢这种私有云的部署还需要自己有专业的团队去管理和优化自己的模型和性能但在数据隐私和合规性方面呢就非常的有优势了特别是在金融医疗政府等行业对数据隐私和合规性有严格要求的这些场景里可以选择私有云去确保数据不外泄
典型的用场景就是包括金融机构银行等这些个金融企业需要去确保客户数据的安全性因此他们会选择私有云来托管大模型并且可能需要对这个模型进行一些个性化的优化
医疗行业也需要处理大量个人健康数据选择私有云托管模型,严格遵守数据隐私法规比如欧洲的 GDPR 等等另外就是大型企业,比如大型互联网公司可能都会在内部部署自己的大模型进行研发,生产环境使用等等
以便于自己能够最大程度的去控制自己的大模型的性能数据流和计算资源所以总结一下呢这个自由云的部署它的优点是在于高度的数据控制和安全性能够进行定制化的模型的优化和拓展
缺点呢就是前期的投入比较高后面的运维成本也非常的高同时呢需要强大的这个技术和研发的团队来去维护这个大模型的持续的训练和优化那与这个公有云与这个云部署对应的就是本地部署了
本地部署适用的场景是对数据隐私有更加严格要求的他们并且需要低延迟这样的推理避免网络请求产生延迟去影响用户体验它适用于那些个大型企业研究机构或者是说自己去在研发自己的产品的那样的公司本地部署的方式主要是运行在本地的数据中心或者是高性能的工作站上
它同样是需要英伟达的 GPU 比方说英伟达的 A100 H100 等等如果说共有云部署相当于住酒店私有云部署相当于去买了一套楼房的里面的商品房那本地部署就相当于是自己给自己建了一套独栋的别墅跟别人家都不连着了所以本地部署的优点显然就是数据非常的安全所有的计算本地来完成甚至都不依赖于第三方的云服务商
另外就是低延迟因为它避免了网络请求的来回的开销提高了响应的速度并且可以去高度的定制化根据企业自己的业务需求来随时调整参数模型相应的缺点就是部署比较复杂因为需要自己去建服务器自己去维护服务器另外整个的硬件的成本就非常高了因为需要自己去买高性能的 GPU 价格非常昂贵
扩展性也有限受到本地硬件资源的限制难以支持大规模的用户的访问因为你一旦发现说业务量的增长的非常快硬件不够了你还需要去买硬件那这个时候你需要自己去买 GPU 而不是在公有云或者私有云里面你可以随时向私有云的云服务的提供商去多要更多的 GPU 的资源
所以相对的灵活性就比较差第三种部署的方式就是边缘部署它适用的场景是那些需要离线运行或者是在终端设备上运行的场景比方说在手机智能手表自动驾驶的车辆等等包括无联网的设备机器人尤其是机器人是一个典型的大模型的边缘部署的一个场景
这种边缘部署的主要运行方式是运行在手机当然大家经常听说的 AI 手机、AIPC 这都是在边缘部署的一些场景另外就是在一些嵌入式的芯片里最主要的就是指机器人这个场景了边缘部署的优点因为大模型是离线运行了不需要联网能够确保隐私和安全
另外一个就是低功耗的优化它比较适用于移动端或者是嵌入式的设备因为通常这个移动端的设备比方说像手机还有这种嵌入式的芯片它们对功耗的要求没有那么的高再一个优点就是实时响应在自动驾驶和安防机器人等等这样的场景里面它对速度的要求是非常高的对反应的速度要求非常高对这个食盐的敏感性要求非常的高
边缘部署相应的这个缺点呢就是虽然说那签入式的设备或者手机他们的功耗低了但是相应的这个算力也就受限了没有办法去运行超大规模的模型另外一个呢就是为了能够在这些个相对来说算力没有那么强的芯片上运行所以模型需要进行优化
所以边缘部署呢通常采用是蒸馏过的小模型因为边缘设备比如说智能手机啊这个智能家居机器人等等它的计算资源存储和这个耗能都非常的有限没有办法直接去运行通常的这个大模型那对蒸馏这一概念感兴趣的听友呢可以去我的第 96 期节目那期节目里面对蒸馏这个技术有详细的介绍所以总结一下大模型的部署呢就像找房子住
你可以去公有云住酒店方便但是贵也可以选择私有云买房安全但是不那么的便捷甚至还可以去本地部署自己盖洞别墅完全掌控但是成本极高而边缘部署更像是住进了一辆房车能随时开走但空间有限需要精打细算所以无论是哪种方式核心目标都是让大模型能够更高效更稳定的服务用户
未来随着硬件的发展模型的优化我们或许能够看到更清亮更智能的部署方式甚至让 AI 像空气一样无处不在如果你觉得今天的节目有所收获欢迎订阅分享让科技真正走进每一个人的生活我们下期再见