E105 大模型部署指南: 住酒店、买房还是自己盖别墅？
16:28 Share

自从 DeepSeek 爆火后，铺天盖地的新闻都在报道“某某公司全面接入 DeepSeek”，甚至连阿里巴巴的云服务也随之水涨船高，热度飙升。那么，这里提到的“全面接入”到底意味着什么？其实，它背后涉及一个核心概念——大模型的部署。但究竟什么是大模型部署？为什么企业要部署大模型？有哪些不同的部署方式？这些部署方式又是如何与云服务厂商紧密相关的？今天这期节目，就一一解读这些关键问题。

00:53 大模型的部署，是指将已经训练好的大模型，比如GPT或DeepSeek等集成到实际的应用当中，使其可以被用户或者是系统来调用。

02:02 大模型的部署的最核心的环节，就是模型的托管，hosting。

02:29 无论你选择哪一种的部署方式，都需要根据未来业务量的需求来选择相应的GPU和数量

02:49 根据托管方式的不同，大模型的部署方式也就分为。。。

02:59 云端部署，适用的场景是。。

05:44 公有云部署，某种程度上就像是去酒店去订房间。

06:20 如果你不喜欢公有云部署的弊端，那和公有云对应的这个部署的方式就是私有云部署。

07:14 如果说公有云部署类似于去住酒店，那私有云部署就类似于。。。

08:42 行业里面通用的做法是。。。

11:28 本地部署适用的场景是对于数据隐私有更加严格要求的

12:12 本地部署就相当于是自己给自己建立一套独栋的别墅

13:30 边缘部署，适用的场景是那些需要离线运行或者是在终端设备上运行，比如手机、机器人

15:06 边缘部署，通常采用的是蒸馏过的小模型

15:23 对蒸馏这一概念感兴趣的听友，可以去我的第96期节目)