No.156 对谈蚂蚁曹仁：AI 时代的粮草先行，算力和架构如何承接泼天计算量
42:22 Share

欢迎 大家 收听 三 五环， 我是 刘飞。 今天 邀请 到 的 是 姚明， 先 跟 大家 打 声 招呼。 大家好， 我是 姚敏， 姚敏 的 花名是 曹仁。 就 听 这个 花名 就 知道 这个 工龄 比较 长了 算 那那 跟 大家 介绍 一下 你 在 蚂蚁 集团 之前 的 工作 经历。

好的， 我是 08年 就 入 职 麦 集团 这边， 然后 一直 在 技术 团队 做 整个 基础设施 和 技术 架构 的 这块 的 管理工作。 这几年 因为 蚂蚁 对 A I 的 发展 也是 作为 战略重点 的 投入， 所以 我们在 A I 上面 也 在 做 计算 集群 的 建设 和 管理 的 工作。

然后 之前 是 做 过 不同 的 业务， 但是 一直都在 技术 架构 这 一侧。

对 吧？ 对， 是的。 因为 之前 就是我 基本上 是 一直 都 还是 在 技术 的 领域 去做， 跟 技术 相关 的 事情。 我 觉得 主要 还是 在 技术 领域 去做， 因为 早些年 可能 通用 算 力 这边 做 的 会 更多， 因为 整个 业务 发展 是 伴随 着 互联网 的 发展 在。

往前走 的那 今天 是一个 什么 契机 呢？ 就 还是 因为 现在 大家 都能 看到 A I 从 去年 年初 发展到 现在 这 一两年 时间， 已经 变成 一个 行业 里 大家 都在 讨论 的 一个 热点。 这个 热点 之下， 我们 其实 看到 了 很多 各种 做大 模型 的 创业 的， 各种 做 应用 层面 创业 的， 以及 现在 大家 讨论 的 各种各样 的 一些 产品 形态。 在 讨论 英伟 达， 讨论 微软 等等。 这些 是 我们 能 看到 的 很多。 但是 确实 有一个 话题 是 现在 公共 领域 大家 讨论 的 比较 少 的， 就是 所谓 的 算 力， 以及 说 能 支持 刚才 我们 说 的 这种 A I 计算 的 底层 的 可能 会 用到 的 一些 技术， 或者说 一些 大家 要 关注 的 问题。 我们 今天 就 想 聊 一 聊 这个 A I 相关 的 算 力 的 问题。 那 对于 算 力 来说， 是不是 之前 的 计算 的 这种 算 力 的 方式 或者 架构 跟 现在 会 不一样的？

对， 现在 变化 非常 大。 就是 整个 大家 从 去年 年初 看到 那个 chat G P U T 发布 以后， 就 大 模型 的 整个 算 力 的 东 就 变成 了 一个 主流。 我 早上 还在 看 那个 公开的 一个 数据， 就是 到 仅仅 已经 过了 一年 的 时间吧。 就是我 觉得 2023年 年底 的 时候， 我们 看到 国家 发布 的 数据， 其实 中国 的 整个 自然 算 力 的 规模 已经 到了 30%， 它 整个 全算 力 是 230亿， 然后 它 已经 到了 70亿的 规模。

所以 作为 70亿是 指的 是。

它的 一个 算 力 能力， 你可以 简单 认为 是个 算 力 指标。 就是说 整个 来看， 这是 我们 互联网 发展 了 二三十年， 在在 国内 蓬勃发展 二三十年 以前 是 绝对 的 主力。 大 模型 出来 之前， 其实 可能 这个 通用 算 力 的 占 比 可能 肯定 是 低于 个位数 的。 但是 仅仅 过了 一两年 的 时间， 其实 整个 算 力 比例 已经超过 30%， 而且 很快 可能 会 甚至 会 超过 一半， 就是我 觉得 这个 是一个 最 典型 的对 算 力 直接 的 感受 和 变化。 它 背后 其实 也是 意味着 说 整个 大 模型 对 整个 算 力 的 要求， 也会 跟 以前 的 这种 分布式计算， 跟 一些 互联网 以前 的 一些 应用 的 一些 要求 也 完全 会 不一样。

那 我们 就 往 下 聊， 对于 大 模型 的 计算， 或者说 A I 相关 的 这些 计算 和 传统 的 计算， 它 主要 的 区别 可能 是 在哪儿 呢？ 对。

就是 大 模型 这边。 因为 在 你 在 互联网 上， 其实 你 做 一个 购物 也好， 做 一个 聊天 也好， 其实 你 都 是一个 很短 的 时间 停留。 就是说 听 你 可能 几秒钟， 一分钟、 两分钟 的 时间 的 一个 访问。 其实 整个 互联网 架构 也是 个 分布式 的 架构， 对 大 模型 来讲 其实 很 典型。

就是说 你 要 训练 一个 大 模型， 它 其实 像 GPT4， 它 可能 需要 同时 要 2万张卡， 就是 2万张 A I 的 G P U 卡 同时 跑 个 3到4个 月， 才能够 完整 的 跑 完 一个 大 模型 训练。 其实 这个 就 已经 是在 技术 的 角度 去 看， 其实 它 面临 的 挑战 就 完全 不一样 了。 就是 以前 你 其实 你的 丰富 架构 是 可以 确保 任何 一个 单点 的 问题 都 不会 影响 你的 调用。 最多 你就是 做 一次 重试， 这个 影响 是 很 有限 的那 从 技术 的 角度 来讲 说， 你的 整个 模型 训练 有 这么 长 的 一个 时间， 又 需要 驱动 这么 多 的 算 力 去做 统一 件 事情。 这个 背后 就会 带来 很多很多 不一样的 一些 变化， 包括 你 在 这个 过程中 怎么样 让 它 更好 的 发挥 你的 效能。 然后 同时 你 要 确保 任何 一次 中断 你的 影响 是 可控 的。 因为你 总归 是 有有 异常 的。

就是 在 硬件 异常， 如果 是 训练 一个 模型， 就 不管 是不是 大 模型， 大 模型 当然 它的 周期 会 更长， 去 用 算 力 和 成本 会 高。 你 哪怕 训练 一个 小点 的 模型， 我 之前 也有 类似的 经历， 就是你 可能 弄到 一半 回头一看， 进程 已经 停 了。 对， 就 因为 各种 原因， 可能 这个 成本 就会 非常 高。 因为你 用 的 采购 的 这个 芯片， 现在 大家 也 知道 芯片 这个 价格 以及 电费， 以及 各种 人工， 他 前期 已经 投入 了， 然后 你 最后 没有 跑出 结果 来， 那 可能 他 对 中断 的 这个 处理 的 要求 就会 高 很多。

是的， 就是 这个 里面 刚刚 提到 几个 关键点 都是 存在 的， 就是 能耗 包括 本。 大家 也 看到 其实 现在 这个 G P U 的卡 非常 的 贵， 也 比较 资源 也 比较 稀缺。 国内 也好， 国际 也好， 都是 这么 一个 情况。 其实 整个 卡 的 成本 非常 高。 就是 整个 像 meta 这种 头部 的 互联 公司， 它 真的 去 投入 的话， 他 可能 他 之前 P R 出来 他们 会 买 三十多万 张 这种 G P U 的卡。 其实 我们 你看 公开 数据， 就 关卡 的 钱， 他 可能 都是 上百 亿美金 的 投入。 所以 你每 一次 训练， 你每 一个 训练 和 推理 这个 动作， 其实 背后 的 这个 成本 是 很高 的。

然后 耗电 就 更加 离谱 了。 就是你 如果 做 一个 简单 对比， 就是你 拿 一个 GPT4 2万张卡 的 这个 规模 去 算 的话， 我们 粗粗 的 算了 一下， 就是 连 功耗 去 算。 因为 它 除了 卡 的 就是 除了 G P U 本身 带来 的 开销， 它 配套 的 很多 也是 有 电力 开销 的。 它 基本上 2万张 卡跑 起来 的话， 一年 可能 得 十几亿 度 电。 这个 体感 一下 的话， 就 可能 有 十几万 户 居民 一年 年度 用电， 它是 是 非常 大 的 一个 耗电量。

对你 就 大概 换算， 你 就说 一度 电 就 一块钱 的话， 那 也就是 这个 成本 也是 很 挺 吓人。 对， 挺 吓人， 而且 他 对 基础设施 的 要求 确实 也 高 的。

是对， 因为 以前 像 基础设施 这边， 就是说 单单 机房， 就是 大家 会 看到 很多 地方 有 数据中心。 数据中心 本身 它 就是 一个个 像 工厂 的 这种 园区 楼， 就是 几层 的 这个 楼。 其实 以前 这种 楼， 它 其实 如果说 跟 G P U 的话， 他 可能 一个 楼 这么 大 一幢 楼 可能 也就是 放 几千 张卡。 数据中心 也 在 做 一些 改进 设计， 就 确保 提高 单 楼 的 电力 的 供应。 但是 整体 上 来讲， 其实 整个 功耗 是 非常 大 的。

跟 以前 是 不一样的。 对， 是的。 那 对于 这种 算 力 的 变化 来说， 在 软件 层面 或者 在 架构 层面 是不是 也会 有 很多 不一样？

很多 变化 会有 很多 变化， 就是说 整个 芯片 其实 我们 还是 以 英伟 达， 因为 它 比较 头部。 它的 整个 历程 来看， 其实 早些年 他在 游戏， 在 其他 的 一些 领域 其实 做 的 其实 有点 不温不火。 他 虽然 是 很 龙头， 但是 他 也没有 特别 大 的 变化。

但是 你看 他 这几年 在 AI， 在 大 模型 这个 场景 下， 它的 产品 的 迭代 是 非常 快 的。 基本上 每年 都 会有 新的 产品 会 发布。 它 每 一年 新的 产品 发布 的 背后， 它的 整个 算 力 的 提升， 但 芯片 的 算 力 的 提升 都是 成倍 成 两倍、 成 三倍 的 增加 的。 所以 这个 背后 其实 得益于 说 在 芯片 的 制程 这 一层， 就是 5纳米， 甚至 说 4纳米、 3纳米 的 更强 的 能力。 加上 它 其实 可以 把 那个 芯片 的 密度， 晶体管 的 密度 做 的 非常 高， 所以说 它的 变形 计算 的 能力 会 非常 的 强我 觉得 也是 大 模型 爆发 的 一个 很 重要因素。 就是 它的 整个 芯片 能力 的 提升 是 显著 的， 这种 技术 达到 了 一个 很大 的 突破。 第二个 方面 就是 在 背后， 其实 从 这个 密度 提升 它 带来 的 第二个 问题 就是 它的 散热 会 很 严重。 我不知道 可不可以 理解， 其实 像 这种 G P U 的 温度， 它 运行 的 时候 它 可以 跑到 接近 90度。

对你 让 我 想到 之前 读 研究生， 当时 学 计算机 的 机房 里面 就 好多 机器 摆在 那儿。 对， 那个 温度 已经 很难 控制 了。 装 一两个 空调 在那， 如果 空调 坏了。

服务器 立马 就会 崩 就 崩掉 了。 对。

那 现在 这方面 的 要求。

可能 就 更高。 对， 对， 是的。 现在 的 机房 里面， 就是 以前 的 我们 整个 机房 温度， 比如说 你 二十几度， 就可以 控制 住 整个 环境温度。 环境温度 控制 好 以后， 因为 还是 那个 点就 芯片 的 密度 或者 单芯片 的 要求 没 那么 高。 你可以 理解 就是我 体表 不是 很 热， 但是 我 某个 核心部件 其实 是 很 热。

的对 对它 局部 温度 很高。

对 所以说 其实 现在 为什么 大家 听到 数据中心 里面 会 也会 经常 也会 告 出现 的 另外一个 词 就是 要 越 冷。 就是 以前 大家 都 认为是 吹 空调 就 够了， 对 吧？ 对对对， 但是 现在 其实 很多 技术 就 开始 想办法 说 我 把 一些 制冷 的 一些 液体 导入到 你的 服务器 内部， 然后 让 你的 芯片 能够 更 靠近 这个 降温 的 东西。 这样的话 它 就可以 实现 芯片 层面 的 一些 在 一个 更 合适 的 温度。 因为 其实我 刚刚 说 的 这个 温度， 就是你 真正 芯片 到达 某个 阈值 的 时候， 它 就要 触发 降频。 为了 保命， 它的 性能 效 对它 降 效。

对对对， 所以说 这个 里面 就 一系列 的 变化 都会 出现。 比如说 第一， 你 整个 因为 你的 功率， 你的 功耗 变得 巨大。 刘飞 老师 以前 盖 的 机房 可能 是 进去 密密麻麻 都是 服务器。 对， 但 现在 其实 你 进 到 计算 的 机房 里面， 其实 有可能 因为 大家 的 数据中心 还没有 完全 去 叠成 新的 这种 架构。 但是 如果 用 老的 这个 数据中心 去 装 新的 这个 A I 的 芯片 的话， 你 就会 发现 它的 密度 很低。 因为 一个 机柜 可能 就 只能 放 一台， 因为 它 太 耗电 了， 所以说 它 密度 不会 让 你 觉得 密密麻麻。 变化 另外 一个点 就是你 会 看到 比 以前 看到 的 更多 的 这个 光纤， 因为 光 因为 以前 要 速度。 对 通讯 是一个 很 重要， 在 A I 里面 很很 重要 的 一个 对它 对 高性能 的 网络 的 要求。

很高 哦也 那个 数据流 信息流 会 更多。 对。

因为 大量 的 数据 的， 因为 你的 每一次 模型 训练， 包括 你每 一次 模型 的 微调， 都是 涉及到 一些 数据 的 传输 和 导入 的。 所以 这个 过程 它 对 整个 传输 的 效率， 包括 我 刚刚 前面 也 提到 说， 你 如果 异常 了， 你 要 去 从 你的 这个 保存 点 check point 里面 去 把 这个 数据 读 回来 保存 下去。 这个 都是 需要 你的 速度， 你的 时效性 是要 有 高有 高 的。 所以 你 会 看到 第二个 点， 就是你 看到 机房 里面 的 光线 会 比要 多 的 多。 第三个 就是 整个 智能 体系 的 一个 变化， 就是 它 还是 要 确保 体表 温度 要 降下来， 同时 它 很多 机房 现在 也会 引入 液冷， 就是 来 降低 服务器 内部 的 温度。

对， 这 很 像 较早 之前 就 一直 在 玩 那个 P C 游戏 的话， 其实 你 在 那个游戏 里 有一个 比较 高性能 的 显卡， 那个 显卡 一定 是 局部 温度 很高 的对， 这个 时候 你 屋里 空调 再 怎么 吹 都 没有 给 G P U 配 一个 液冷 的 系统对 这样 效果 才 好。 对， 这个 逻辑 是 一样的。 这 里面 其实 能 听得出来， 它 还是 会有 很多 不一样的 地方。 比如 像 刚才 你 提到 一个点， 是从 最早 可能 并行计算 出现。 那 并行计算 变成 一个 比较 流行 的 这种 架构。 因为 这种 架构 它 能 让 一些 系统 的 处理 安全性 可能 更高。 就是你 一台 机器 崩 了， 其他 的 还 可能 继续 用， 那 它 变成 了 一个 主流。 但是 现在 好像 A I 出现 之后， 这个 架构 又会 变 掉， 它 不能用 并行 的 方式 去 做了。 对。

其实 G P U 卡 本身 它是 并行计算 的 一个 场景， 就是 它 做 很多 变形 计算， 它 有 很多 同时 处理 的 任务 的 能力。 所以 它的 整个 算 力 的 flog 指标 就会 很高， 就算 力 能力 会 很强。 但 其实 整体 来讲， 其实 我们 还是 说 回到 大 模型 训练 这个 场景 的话， 他 其实 他 要 从 最 开始 的 数据 准备， 到 整个 预 训练， 到 整个 跑 的 过程， 到 最终 产出 发布 整个 这 一条 链路。 其实 它 有 一条 很强 的 串行 链路。 其实我 觉得 更多 的 是在 链路 上 它是 有 创新 的， 它 就会 迎来 不一样的 挑战， 以前 的 是一个 分布式 架构， 但是 你的 每个 事物 的 处理 都 不是 一个 特别 长 的 链路。 我们 现在 真实的 看到 的， 从 后 端 技术 看到 的 情况 来讲， 其实 整个 这个 链路 太 很长， 涉及到 的 环节 很多 的 时候， 其实 你 要 确保 它的 高可靠性 和 高效率。

其实 这个 背后 的 影响 和 挑战 是 很大 的。 包括 你的 数据 整个 数据 导入 质量 高 不高， 效果 好不好。 然后 你 这个 模型 跑 的 过程中， 会不会 因为 各种各样 的 问题 导致 你的 中断。 包括 包 包括 你的 需 卡 的 应用 效率 是不是 足够 好， 这些 问题 都会 出来。

接着 我们 聊 一 聊， 因为你 在 蚂蚁 也 在 实际 做 一些 项目， 做 一些 面对 现在 的 变化 做 一些 调整。 有没有 具体 的 跟 大家 讲一讲 一些 案例？

对 蚂蚁 这边 其实 我们 从 去年 年初 开始， 其实 就 公司 也 在 定 A I 的 战略。 就在 业务 层面， 其实 最近 的 这个 W A I C 的 会上， 我们的 很多 同事 也 在那边 做了 一些 展出， 我 先 简单 说 一下 业务 层面 的 情况， 就是 蚂蚁 有一个 百年 的 技术 大 模型， 然后 这个 最新 的 发布 我们 已经 支持 了 原生 多 模态 的 一个 能力。 为什么 我们 会有 自己的 技术 大 模型？ 也 是因为 蚂蚁 还是 有 非常丰富 的 整个 应用 场景。 支付宝 端 内 有 很多 多 业务 的 场景， 比如 政务， 包括 生活， 包括 金融 很多 场景。 我们 有 很多 场景， 所以 我们 有 足够 丰富 的 场景。 所以 我们 觉得 我们 做 一个 基础 大 模型， 是 可以在 更多 的应 应用 场景 去做 赋能 的。 扫 码 支付 算是 支付宝 的 一个 首创， 我们 也 希望 AI 像 扫 码 支付 一样 便利 每个 人的 生活， 这是 我们 大 的 在 A I 的 一个 策略。 所以 我们在 这个 基础 上面， 我们 做了 我们 自己的 基础 大 模型， 同时 我们 也 在 垂 类 上面 做了 医疗 管家、 生活 助理 和 金融 管家 这 几个 大 的 我们 叫 管家 类 的 应用。

蚂蚁 内部 因为 我们 起步 的 比较 早， 所以 在在 技术 在后 端 这 一侧， 其实 我们是 比较 早， 也 在 推动 整个 集群 的 建设 和 管理， 对 吧。 就 我们 也 面临 着 一样的 问题， 就是说 在 整个 布局 这 一侧 也好， 在 整个 运行 过程中 里面， 我们 都 面临 着 比较 多 的 挑战。 比较 大 的 点 就是 其实， 像 数据中心， 我们 就会 比较 考虑 能耗 和 能源 的 问题。 因为 蚂蚁 有 我们 自己 本身 是在 基于 G E S G 的 一个 指导 在 做 工作。 所以 我们 对 绿色 一直 都是 落到 每个 环节 的。 所以 在 数据中心 这 一层， 我们会 更 靠近 国家 的 整个 牵引 的 方向。 比如说 有 可 再生能源 的 数据中心， 比如说 西部， 我们会 更 偏向 于 在那边 发展 我们 自己的 计算 的 业务 和 集群， 这是我 觉得 是一个 大 的 点。

第二个 点 就是说 在 整个 运营 过程 里面， 其实 有 很多 当然 有 很多 能力 的 建设 的 一个 过程， 但 我 觉得 这个 我 就 不 展开 了。 就 可能 我们 可能 还是 就 刚刚 围绕 这种 刚 说 的， 怎么样 加强 整个 这么 长 的 一个 链路 的 治理。 我们 可能 也会 去做 一些 技术 上 的 体系 的 重建。 也就 跟 你 刚刚 说 的 一样， 就 前面 我们在 以前 的 这种 模式， 就 我们在 通用 计算 的 这个 模式 之下， 有 很多 工作 其实 是 需要 平移 的， 它 需要 花时间 的。 其实 我们 做了 一年 多， 其实 我们 只是 也 还 在路上。 就是 我们 有 很多 体系化 平移 拉 起 的 工作， 其实 任重道远 的， 就有 很多 工作 是 需要 花 大量 的 时间 去 人员 投入 去 把 它 建 起来 的。 所以 这里 面对 工程 对 info 这块 的 一些 挑战 是 很大 的对。

其实 说 这些 场景 我会 有 一些 体感。 因为 现在 支付宝 里 是 有 大量 的 生活服务 相关 的 一些 小的 应用 场景， 包括 我们 做 一些 政务。 在 浙江 的 同学 对 像 这里 办 这 里面 这些 功能 和 服务 都很 了解。 然后 像 我 日常 用到 的， 比如说 就 除了 这些 政务 的， 可能 包括 一些 城市 设施 的， 比如 图书馆 的， 就 比如说 地铁 出行 等等， 就是 好多 这种 城市生活 的 服务 它 会 在 这 里面。 但是 现在 确实 我 感觉 有 很多 地方 可以 提升。 那 可以 提升 的 地方 可能 就会 比如说 你 能 通过 发现， 我的 需求 到底 应该 去 用 哪个 小 程序， 应该 去 用 哪个 支付宝 里 的 小 程序， 或者说 这个 服务 这些 功能 它 到底 互相 之间 有什么 关系， 我 能不能 推荐 给 最 适合 的 这些 场景， 这些 其实 都很 适合 A I 去 做对 对。

因为 我们 其实 我们 现在 支付宝 已经 下了， 就是 首页 下拉 会有 一个 叫 我们 有 个 入口， 这个 入口 是 我们的生活 助理。 这里 可以 谈 一个点， 就是说 本来 我们 不是 仅仅 的 说 的 提供 一个 智能 搜索 的 一个 入口。 比如说 你 想 找 什么， 其实 我们 更多 的 是 想 加强 他的 规划 执行 的 能力， 我们 希望 他 能 做到。 比如说 你 现在 应该 是 现在已经 做 得到， 就是你 在 上面 说 我要 到 某个 咖啡店 点 一杯 什么的 拿铁， 它是 要 能 执行 的， 就 不是 简单 的 说 我说 出来 告诉你， 你 到 星巴克 去 点。 对， 这个 我们 已经 在 做对， 我们是 希望 他 就 跟 你 刚刚 提到 一点， 就是说 最终 我们 不是 简单 的 想 提供 一个 搜索 的 入口。 这个 其实 上 一代 就有， 其实 我们 更多 的 会 加强 整个 规划 和 执行 的 能力。

对 这种 新的 A I 交互 它 会 变成 更 原子化 的， 就是 把 原来 这些 小 程序 里 的 服务 和 功能， 它 都 更 原子化 的。 颗粒度 更 细。 更 细 之后， 你 再去 像 刚才 说 的， 我 去 点 拿铁， 其实 你可以 直接 用 星巴克 这个 小 程序 里面 的 一些 功能 和 服务 了。 这种 它 最后 体现 出来 当然 就是 相对 比较 理想 的 状态 了。 我们 也 挺 期待 支付宝 当时 大家 的 使用 能有 这么 顺畅 的。

那 我们 再说 回 算 力 这个 事儿。 如果说 算 力 现在 会有 这些 变化 的话， 是不是 还有 一些 其他 的 要求？ 比如说 人才 的 要求。 对 人力 的。

要求 是 就是 算 力 这边 整体 上 来讲， 其实 整个 行业 都是 以前 算法 工程师 肯定 也是 有的。 然后 工程类 的 人员， 包括 整个 技术 架构 的 人员 都是 有的。 但是 我 觉得 其实 整体 因为 着实 整个 去年 一年 都在 国内 都在 经历 这个 百 模 大战， 就是 模型 就 厂商 非常 多， 所以 人才 肯定 整体 是 缺 的。

就是 人才 方面， 其实 我们 也 看到 了 一些 点。 比如说 其实 可能 最难 的 就是 因为 整个 刚刚 说 的， 其实 这个 链路 太 长， 而且 涉及到 专业 领域 太多 了， 其实 是 横向 的 拉通。 简单 的 说 就是你 又 懂 整个 技术 架构， 又 懂 infer， 你 又 懂 欸 大 模型， 你 才有可能 去 完成 整个 架构 的 构建， 就是 整个 全 链路 的 一个 设计。 这种 人是 最 缺 的， 就 我们 认为是 最 缺 的。 然后 第二类， 其实 现在 我们 卖 也 同步 在 做， 就是说 很多 公司 都在 做。 就是 引入 一些 应届 的 一些 专业性 的 博士 或 研究生。 他们 能够 进进 到 整个 领域 里面， 在 算法， 在 整个 模型 的 训练， 上层 的 软件 链路 里面 其实 发挥 更大 的 作用。 这边 的 人 肯定 是 也是 要 有一个 培养 周期 的， 我 觉得 这 里面 的 人员 也是 缺口 比较 大。

然后 整个 工程 链路 里面， 刚刚 我们 就 提到 了 一些， 其实 它 整个 业态 已经 有一点 变化 了。 就是说 它 不再 是 以前 计算机 发展 了 这么多年， 早些年 的 国内 公司 花了 很大 的 力气 是 把 整个 互联网 的 架构。 其实 最 开始 淘宝， 包括 支付宝 的 架构 也 是从 一些 大型 的 小型机， 就是 叫 小型机。 那边 我们 没有用 大饥， 就 银行 可能 用 大 机会 多一点， 但 我 用 的 这种 就是 类似 于 集中式 的 大 的 这种 计算机 器 来 承担 一个 最 核心 的 业务。

目的 是什么？ 是 确保 它 不要 坏。 因为 它 整个 他们的 整个 设计， 整个 国外 的 一些 主流 的 这种 大 的 大 小型机 的 设计， 它是 很 可靠， 非常 高 的， 它 基本上 是 不会 坏 的 不会 坏 的， 你就是 要 依赖于 它 不 坏 才能够 确保 业务 中断。 大 的 设计 理念 是 最 开始 是 这样 的对， 是 十几年 前， 花了 很多年 才 把 它 改成 说 其实 我不在意 了。

就是 整个 互联网公司 其实 绝大部分 业务 就是说 它 不会 很难 出现 长时间 不能用。 那 基本上 就是你 出现问题， 你 可能 会有 一次 重试， 或者说 你 差一点， 可能 十 来 分钟 后 它 就 恢复 了。 因为 它 已经 是 完全 分布式 的 架构 了， 它 不会 依赖 某个 点， 很多 也 上瘾 了。 对对对， 所以 在 这个 逻辑 之下， 其实 这个 体系 构建 是 花了 很 长时间 的。 但 其实 现在 有一种感觉， 就是说 他 又会 回到 一种 说 搬 某 一个 场景 的 时候， 我 其实 对 你的 整个 可靠性 的 要求 变得 巨 高高 到 说 我 其实 不太 容忍 在 我的 这个 训练 过程中 里面 有 很多 的 问题 出现。

当然 大家 也会 去 涉及 刚刚 提到 一些 技术 体系 里面， 具体 的 设计 里面。 比如说 你 怎么样 识别 慢 节点， 就是 有 一些 问题 的 节点， 异常 节点， 同时 你 能够 快速 的 隔离， 像 这些 技术 肯定 都要 做， 而且 都 要有。 否则 的话 你就是 真的 是 任何 地方 风吹草动， 你的 任务 就得 停掉。 但是 整体 上 来讲， 还是 有 很多 技术 点 会 导致 有 一定 的 异常情况 下， 你的 任务 就是 会 中断 的。 这些 问题 怎么 识别， 怎么样 规避？ 我 觉得 这个 地方 其实 是 大量 的 需要。 有 一些 以前 运维 领域 的， 然后 包括 工程 领域 的 人 要 进来， 要 去 完成 这个 设计 的。

那 现在 你的 感受 是 这个 人才 还 是不是 还是 比较 稀缺 的 人才。

我 觉得 肯定 是 稀缺 的， 那 放到 国内 都是 稀缺 的。 因为 我们在 国内 的 情况 肯定 还 更 不一样 一点。 就是 可能 我们 还会 接触 更多 的 生 软件 生态， 更多 的 硬件 架构。 海外 的这 这套 体系 它 跑 了 很多年， 就是 它 在 软件 生态 上面 它 布局 可能 超过 十年 甚至 更长 的 时间。 有的 时候 说 他们 在 算子， 就是 像 英伟 达 在 库塔 这边 算子 的 一些 能力， 其实 就是 一个 很多年 整合 了 整个 生态 的 人员 的 工作量 的 一个 累积， 它是 一个 累积 的 工作量， 但 这个 工作量 在 国内， 其实 你 在 国内 的 这些 大 模型 厂商 里面， 他 要 寻求 发展， 他 要 找到 更 多元 的 算 力 的 情况下。 他 就是 要 面对 更多 站 的 一个 情况， 就是 更多 技术 战痘 的 情况。 而且 这个 投入 对 国内 的 这些 技术 工程师 也好， 对 国内 的 一些 芯片 厂商 来讲， 他 都是 需要 快步 追赶 的。 所以 它 其实 是 两条腿 都要 做， 所以 国内 压力 会 更大 一些。

对， 而且 之前 我的 理解 是 英伟 达 的 这么 早 布局， 也是 跟 他 一直 在 G P U 领域， 在游戏 行业 这个 发展 是 很 有关系 的。 是因为 游戏 行业 也 在 反过来 推动 它的 这个 就是 它 应用 场景 更 全。 我记得 酷 的， 像 这种 架构， 它 最早 都是 为了 游戏 服务 的对， 游戏 开发者 在 这 上面 去做 很多 编程， 它 可能 成本 更 低， 门槛 更 低。 这么 长时间 的 发展， 其实 它 也 不是 憋 了 十年 在 等 A I 而是 正好 在游戏 这个 领域， 它 其实 有有 多 积累 的。 是对， 所以 这个 腰椎 感 其实 是 比较 难 的对。

而且 像 英伟 达 它 其实 也是 软件工程师 为主 的。 对它 其实 不是 一个 纯 硬件 的 工 芯片 公司。 所以 它 其实 整个 解决方案 加 软件 上层 软件 基于 固态 生态 的 这帮 软件工程师， 其实 人 数量 肯定 是 超过 一半 以上 的， 他 肯定 是 大头。 所以 这帮 人 在 这么多年， 在 这么 多 行业 领域， 在 生态 上面 做了 很多年 的 深耕。 其实 这个 是 非常 也是 非常 宝贵 的 一个 能力。

因为我 身边 有 A I 不同 的 领域 的 一些 朋友， 他 有的是 在 做 创业 的， 有的是 做 to b 的、 to c 的， 有的 做 sas 的， 有的 做 这个 大 模型 的。 对， 大家 都会 觉得 人才 很 缺， 就 从 程序员 到 产品 经理， 其实 大家 工作 逻辑 都 变化 了， 就 完全 不一样 了。 是是是 这些 就是 像 刚才 说 的， 其实 算 力 刚 开始 可能 就 包括 我 也会 觉得 它 不就是 性能 提升。 但是 还是 能 感觉到 它 在 从 硬件？ 就 甚至 从 怎么 降温 冷却系统， 然后 到 这个 人才 到 软件架构， 它 都是 还是 有 一整套 都 需要 迭代 和 调整 变化 的。

是 包括 我们 我自己 我们 自身 的 感觉 也是 一样的。 就 是从 A I 这个 大 的 场景 起来 之前， 我们会 觉得 其实 热度 很高。 引发 了 其实 从 去年 年初 开始， 整个 国内 对 A I 算 力 的 诉求 是 强烈 的。 其实 整个 市场 都在 寻求 找到 这个 G P U 的卡 来 提供 这个 算 力 的 保障。 但是 大家 可能 那个 时候 所有的 共识 都是 只有 一个点， 只要 有 卡 就能 用。 对， 就是 我们 当时 有 一段时间 也是 这么 一个 错觉， 其实 后来 发现 其实 真的 会 挺 复杂 的。 就是你 解决 了 第一个 问题， 但是 你 后面 的 问题是 无数 的这 也是 可能 很多， 尤其是 搞 大 模型 厂商 的 公司， 它 会 面临 着 很大 的 挑战。 是 在于 说 我们 也 了解 过 一些 公司 和 一些 渠道， 就是 他们 最 开始 是 很 兴致勃勃 的 去 搞 了 一笔 资金， 然后 去 买 了 一批 相关 的 G P U 的卡， 希望能够 最差 也能 提供 算 力 的 租赁， 然后 好 一点 我自己 能 搞 个 模型 出来。

但是 真正意义 上 来讲， 你 可能 就是 我们 从 比如说 小 模型 的 推理， 或者 是 或者 小 模型 的 训练， 几张 卡跑 一 跑 是 问题 不大 的。 但是 你的 参 数量 不大， 你的 规模 不大， 你的 这个 神经网络 的 你的 参数 不够 复杂， 不 不够 不够 大。 你的 如果说 尤其是 在 原生 多模， 在 一些 具体 的 场景 下， 你 可能 就 准确性 就 起不来， 效果 就 不达 不到。

所以说 等到 你就是 就 跟 改革 进 到 深水区 一样， 就是 等到 你 想 把 这个 东西 从小 做到 大 的 时候， 你 那个 规模 越 规模 的 跨度， 当你 跨 到 千卡 开 到 万卡 的 时候。 有 这个 做 模型 的 想法 的 公司， 它 就会 在 上层、 在 工程、 在 算法 这一 层面 面临 巨大 的 挑战。 它 会 需要 有一个 很 完整 的 人才 体系 才有可能 把 它 做 起来。 所以 为什么 现在 说 百 模 大战， 其实 去年 一年 大家 其实 也是 在 追赶 GPT4。 其实 大家 的 结果 肯定 是 也有 可能 是 对的。 大家 可能 是 总是 有有 几家 会 跑 出来， 能够 拉近 跟 他的 差距。 对， 就 W I C 上面 其实 很多 专家 也 在 说， 其实 在 技术 大 模型 领域， 其实 国内 的 水平 是 可以 的， 但是 可能 缺 的 是 应用， 或者 是 缺 的 是 应用。 所以 我 觉得 这 可能 也是 去年 一年 的 成果， 就 走到 今天 的 成果。

对于 蚂蚁 来说， 自己 面向 的 就是 很多 真实的 应用 场景。 这 里面 会 像 刚才 提到 的， 在 做 的 这些 建设 会有 一些 开放 的 部分。

对外 其实 四月份 也 发布 了 一个 叫 code fuse 的 一个 产品， 它 其实 是一个 基于 大 模型 的 一个 代码生成 的 一个 平台。 他在 很多 场景 在 你的 比如说 你 编写 单侧 的 用例， 做 辅助 编程， 增加 注释， 很多 场景 下 你 都是 可以 用 它的。 就 蚂蚁 内部 其实 有 50% 的 工程师 每周 都会 用到 这个 工具。 我们 有些 项目 就 直接 让 他 辅助 去做 一些 代码 的 生成， 基本上 我们的 也是 30% 左右 的 这个 类似 于 接受 率。 这个 跟 国际 的 这个 一线 的 其实 差距 也 不会 很大， 他们 大概 有 35左右， 我们我们 其实 这个 地方 是一个 场景， 其实 这个 就是 来 改变 工程师 的 整个 研发 体系， 加速 它的 效率 的。

这个 我们 也 在 做， 就是 蚂蚁 自己 做 的。 Code fuse。 对对对， 这个 正好 是 下 一期 聊 的 主题。

一个 预告 一。 然后 另外 其实 像 刚刚 前面 其实 也 提到 了 一些， 其实 生活 助手， 包括 我们 其实 我们在 医疗 最近 也有 一些 发布。 医疗 其实 它 其实 是在 赚 你的 病例 的 解读， 你的 药品 的 解读， 你的 整个 辅助 就医， 其实 很多 领域 它 都会 做 一个 串接， 确保 它是 加速 你的 跟 行业 生态， 医院 跟 机构 之间 能够 共建 一个 A I 的 生态。 其实我 我 理解， 因为 我们是 偏 后台 的 团队。 其实 我们 理解 其实 蚂蚁 整体 来讲， 其实 还是 想 用 普惠 的 这个 思路。 就 刚刚 说 那句话， 去 牵引 蚂蚁 的 各 场景。 因为 我们 有 足够 多 的 场景， 我们 还是 希望 当年 做 扫 码 支付 的 时候， 我是 想 汇集 我们的 客户 O K 那你 现在 用 A I 的 技术， 基于 你的 应用 场景 去 汇集 你的 用户。 其实 我们 本身 的 大 的 逻辑， 我 觉得 都 是在 这个 方向 之上。

其实 我们 前面 也 提到 整体 A I 的 算 力 的 变化， 它 会 带来 很大 的 能耗 的 需求。 能耗 的 需求 的 另一侧 其实 也就 会 涉及到 一个 变化， 就是 它的 耗电量 对 吧？ 对我 看到 有 报道说， 据说 是 工业革命 之后 最大 的 一波， 就是 一下 就 拉 满 了 很多 地方， 供电 都 供 不 上了。 是对， 那 这 里面 我 看到 蚂蚁 也 在 做 像 绿色 计算 的这 方向 或者 是 战略。 那 这个 过程 当中 有什么 可以 分享？

我们的 优势 在于 说 国内 其实 在在 绿色 能源， 在 可 再生能源 上面， 其实 有 很 国家 有 很早 的 布局， 也 很多年 的 积累。 包括 国家 也 在 提 这个 东 数 西 算 的 一些 整体 的 一些 牵引。 就是 让 大家 更多 的 把 一些 西部 的 可再生 的 清洁能源 去 用 起来。 其实 在 这个 大 的 背景 下， 其实 整体 来讲， 其实 能耗 上面 我们 第一， 我们 作为 企业， 我们 肯定 是 更多 的 靠拢 这个 可再生 的 区域， 确保 这个 绿色 确实 对 未来 的 这个 环境影响 是 可控 的。 但是 现实 的 困难 题 肯定 是 有。 因为 整个 能耗 要求 越来越高 的 情况下， 你 能不能 拿到 相应 的 能耗 指标， 能够 确保 你的 整个 业务 能够 有一个 比较 长期 可 持续的 发展。 其实 这 里面 其实 是 有 一些 挑战 的， 但 整体 上 来讲 我们 目前 还没有 碰到。

第一， 我们 还有 一些 提前 的 布局。 第二 方面 其实我 觉得 整个 大 模型 的 发展， 其实 尤其是 大 模型 训练 这个 产下 的 一些 爆发， 到 今年 其实 很多 场景 他 会 也会 做 一些 收敛， 就是 可能 觉得 整个 行业 不会 像 去年 一样。 对， 会 他 其实 在 整个 训练 的 场景 里面， 我 觉得 大家 的 需求 也会 做 一些， 也会 冷静下来， 实际上 也会 走向 一个 冷静。

我 听说 现在 卡比 以前 好 买 了， 已经 有 很多 想 做大 模型 的， 就 发现 了 刚才 说 的 问题。 就 很难 听说 有的 大 模型 团队 一个月 要 少 几千万。 那那 这个 成本 它 不是 一个 小 团队 能 cover 的， 就 光 融资 你 都 可能 得 融 非常 多 的 钱 才能 支撑。

是， 而且 你 要 找到 那个 模型 应用 的 场景， 其实 两个 相加 的话 就会 导致 很多 在 这个 上面 的 使用 会 需求 也 可能 会有 一些 平静下来。 就是我 觉得 这个 可能 对 所有的 行业， 包括 对 整个 供电 的 体系， 对 整个 数据中心 的 设计 体系 里面， 都 会有 一些 机会 去做 一些 重新 的 设计。

那 我们 稍微 聊 一 聊 展望 和 未来 的 一些 可能， 那 对于 算 力 这块 你 会 觉得 未来 有 哪些 变化， 或者 一些 你的 预期 的 期待。

因为 其实 在 国内 做大 模型， 做 算 力 的 A I 算 力 的 这块 的 保障 和和 提供， 其实 面临 的 挑战 其实 有一个 前置 的 挑战。 肯定 是 说 未来 我们 用 什么样 的 芯片， 用 什么样 的 G P U 卡， 这个 可能 是 我们 第一步 要 解决 的 问题。 其实 国内 有 很多 蓬勃发展 的 G P U 的 硬件 厂商， 他们 也 在 努力 去做。 但 这个 里面 其实我 觉得 从 展望未来， 第一个 问题 可能 就是 我们 对 整个 这 一块 国产 的 一些 卡 的 了解。 包括 掌握， 包括 规模化 的 应用， 其实 肯定 是 我们 面临 的 一个 接下来 是一个 比较 大 的 一个 挑战。

第二 方面 就是 整个 伴随 着 这个 卡 规模 的 变大。 其实 现在 也 有人 在 说， 就是 真正意义 上 你你你 要 做 A G I， 你 可能 要 40万卡 才能 起步。 但是 就 是从 千卡 到 万卡 到 10万卡， 其实 就 不停 的 在 描绘 那 更大 的 场景。 是啊。 所以说 在 这个 规模 的 不断 的 增长 的 情况下， 你 又是 一个 比较 多元 的 或者 多长 多多 异构 的 一个 芯片 的 组成。 其实 这个 背后 对 技术 体系 的 挑战 是 很大 的。 就是你 怎么样 做到 可以 做 一些 融合， 做 一些 确保 一个 更大 的 一个 规模 下 的 训练 的 能力 能够 建立 起来。 其实 这个 上面 我们 也是 觉得 是 挑战。

是 很大 的这 里面 可能 你 像 前 阵子 对于 很多 国内 A I 的 创业者 来说， 挑战 比较 大 的 就是 政策 出来 可能 GPT 没有 那么好 接 了， 一些 特殊 场景 下 才能 接。 那 这样的话 挑战 就是 变成 你 可能 要 重新 调整 你的 方向， 未来 长期 看 它 也会 涉及到 这种 问题。 确实 虽然 我们在 做 的 是 一些 很很 具体 的 一些 产品， 但是 它 都会 涉及 的 到 是 大 的 这个 市场 环境。 对， 都 会影响到 对于 未来 这种 这些 发展， 你 会 觉得 对于 比如说 在 做 A I 创业 的 朋友， 我要 行业 的 团队， 他们 想要 考虑 一些 算 力 的 事儿， 你 有什么 建议 吗？ 就 需要 他们 关注 什么？

如果 从事 的 是 一些 类似 于 基础 大 模型 的 这块 的 领域， 其实 前面 也 提到 了 一些 关于 整 的 投入 成本 规模 的 一些 问题， 我 就 不在 这里 赘述。 其实 整体 上 来讲， 其实 整个 一定 是 会 走向 大规模 高密度 的 一个 方向， 我 觉得 这是 肯定 的。 就是 你的 集群 规模， 你的 单 集群 规模 能 整体 能 提供 的 算 力 的 总的 峰值 会 决定 了 你的 模型 跑 的 规模。 所以说 整个 你 在 大规模 之下， 你 怎么样 设计 好 这套 集群 架构， 确保 你的 整个 集群 足够 有 扩展性。 同时 它的 整个 内部 的 网络 之间 的 吞吐 是 高 非常 高 的 性能。 包括 我们 经常 也 提出 有 算 力强， 有 通讯 强， 有 内存 强对 吧？

然后 有些 东西 可能 依赖于 硬件 厂商 去 突破。 那你 在 整个 是 架构设计 上面， 如果你 是个 模型 公司， 你 可能 不做 芯片。 但 你 可能 在 整个 架构设计 上面， 要 确保 它的 网络 足够 强壮 的， 让 你的 整个 底盘 是 足够 稳定 的。 这些 地方 都 是要 去做 一些 突破 的。

在 第二个 点 就是 在 国内 来看 的话， 可能 我们会 走出 一条 不一样的 路。 我们 可能 在 密度 上面， 就是 我们的 单芯片 的 能力， 可能 短时间 内 来讲 可能 跟 海外 是 有 差距 的， 但是 我们 可能 就 靠 平行 的 能力。 这样 反过来 讲， 它 就会 带来 一个 要求。 就 以前 可能 海外 的 模式 是我 搞 一个 类似 于 大型机 一样的 这个 节点， 这个 节点 就可以 完整 的 提供 一个 训练任务 的 运行。 当然 我们 可能 需要 一个 机房 或者 更多 的 芯片组 合成 一张 一个 集群 网络 来 提供 服务。 在 这 里面 你 其实 我们 能参 参考 和 借鉴 的 是 不多 的。 就是 我们 得靠 自己 去 摸索 一套 在 平行 过程 之下， 我们 整个 集团 的 管理 怎么样 跑 得 更 可靠， 效率 更高。

这 里面 其实 是 有 很多 要 探索。 这是 作为 模型， 如果你 要 做大 模型 应用 的 厂家， 你 要 去 考虑 的 一个 比较 关键 的 点。 另外 一个点 就是说 其实 现在 就 你 刚刚 提到 的， 其实 好在 现在 基础 大 模型， 国内 的 一些 技术 大 模型 其实 效果 都 还 不错。 其实 所以说 CBT4.0 不让 调用 的 这个 事情， 可能 对 很多 上层 的 大 模型 应用 来讲， 它 可能 还是 有 地方 可以 去 去 找到 那个 方案 的对 吧？ 但 我 觉得 这是 作为 上层 垂 类， 可能 他在 资源 上面 就会 比较 少。 所以说 在 这 一层 来讲， 他 可能 选择 一个 好的 技术 大 模型， 然后 持续的 去 完成 它的 这个 微调 和 训练 就 够了。 其实 在 这个 上面 其实 我们 也 看 不太 清楚。 但 整体 上 来讲， 肯定 大家 都在 等 某个 垂 类 的 大 模型 应用 能够 出来， 能够 改变 这个 改变 应用 的 生态。

对对对， 可能 现在 大家 都在 观望 和 期待 的 事儿。 就是 这 两年 创业 团队 是 很多 的， 涌入 这个 行业 的 人才 大家 都在 讨论， 热点 是 一直 在 的。 就 只是 说 就 具体 哪些 场景 能 更好 的 用上， 以及 说 他 能 更好 的 最后 把把 体验 做。 好像 刚才 我们 设想 的 那种 场景 下， 基于 这种 比较 颗粒度 细 的， 比较 原子 的 服务， 我 能 直接 找到 它， 我 能 直接 调用， 我 能 直接 使用， 让 大家 的 生活 体验 真的 变 好。 这个 还是 感觉 需要 等待 现在。 我们 还没有 看到， 但是 希望 能 尽快 是的 出现。

是的， 我 还有一个 个人 比较 好奇 的 问题， 就是 如果现在 芯片 的 能力 越来越高， 我看 有 一些 说法 也是 相对来说 突破 了 摩尔定律， 性能 越来越 强， 然后 能耗 相对 比较 低 的话， 是不是 很多？ 其实 包括 我们 现在 用 的 那个 手机 里 的 很多 芯片， 它 已经 能够 承载 很高 的 计算 量 了。 那 会 是不是 未来 也有 很多 这种 本地 的 大 模型 的 架构， 本地 的 A I 的 芯片， 它 能够 变成 一个 很多 场景 下 的 主流。

对 端 测 的这 一块， 其实 很多 厂商 都有 在 出 类似的 这个 场景。 其实 英伟 达 它 在 国内 它 跟 智能 汽车 的 领域， 跟 小米 之间 就是 有 类似 这种 合作。 其实 大家 会 两边 都会 去 发展。 理想 的 情况下， 肯定 是 说 你 大 的 一些 训练任务， 你 放到 云端， 放到 一个 集中 的 A I 的 集群 里面 去做 一些 训练。 但是 很多 本地 推理 的 工作 可能 就 放到 了 本地， 然后 就是 基于 一个 比较 小的 模型 作为 完成 一个 推理。 在 这个 地方， 其实 因为 随着 我们 这边 包括 内存 的 一些 显存， 内存 技术 的 一些 增长 和 提升， 其实 他是 完全 有可能 做 得到， 而且 现在 有 很多 产品 都 已经 这么 在 做了。 是的。

对我 听说 像 I O S， 最新 的 那个 他 提到 新的 A I， 就 apple intelligence 提到 的 就是 本地 能 解决 一些 问题 的对， 是的， 可能 对于 一些 高 响应 的 场景 下 还是 好用 一些。 你 像 刚才 说 的 自动驾驶 这种， 你 不可能 云端 处理。 对， 很多 事情 来不及 了， 已逝 的 是， 所以 这个 就 又能 想象 到 它 对 一些 算 力 的 要求 和 对 这种 架构 的 要求， 它 就是 是 新的。 现在 感觉 很多 手机 的 性能 是 过剩 的。 对， 是 大家 又不 玩游戏， 很多人 就是 只是 刷刷 这种 社交 媒体 和 回 微信 的话， 其实 可能 对 内存 要求 高， 但是 对 算 力 要求 没有 那么 高。 那 未来 这块 又 变成 挑战 了。 对对对。

其实 就 可能 在 这个 地方 又 回到 了 像 以前 说 每个 点 怎么样 确保 每个 点的 运行 是 足够 OK 的， 我 觉得 这个 挑战 又又 不一样 了。 但是 可能 现在 整个 A I 算 力 里面， 大家 作为 大 模型 厂商， 他们 可能 更多 的 还是 在 关注 怎么样 集中 的 提供 好 一个 好的 模型， 然后 给 到 自己的 一些 垂 类 应用 能够 用 起来， 在 下一步 走到 端 这 一侧， 可能 还是 有 大量 的 工作 要。

做 的这 也是 一个 我 感觉 挺 有意思 的 课题， 就是 未来 会有 很多 这种 变化。 当然 大部分 变化 肯定 是 会 带来 我们 生活 工作 体验 的 提升。 是 最后 有没有 觉得 可以 给 在座 A I 的 朋友 一些 建议 的？ 就 是从 技术 层面。

其实 前面 有 提到 一点 就是 A I 这个 事情 就是 我们 肯定 大家 都 认可 这个 方向。 可能 如果 要 往 一些 技术 大 模型 的 领域 去 转， 去 投入 的话， 可能 是要 考虑 对 这个 问题 要 做 一个 比较 详细 的 论证 的。 你 就 这个 整个 综合 的 成本 和 难度 会 复杂度 会 比较高。 但是 在 垂 类 这边， 其实 国内 的 主流 的 大 模型 的 一些 成熟， 其实 基于 他们 去 生 一些 生态， 衍生 一些 垂 类 的 应用， 在在 这条路 上面 可能 是 会更好的。

第二个 就是说， 整个 模型 训练， 因为 它 也有 可能 是一个 如果 作为 创业 公司 来讲 的话， 它 也是 一个 周期性 的 东西。 比如说 你 要 训练 大 模型 可能 需要 两个月， 你 可能 需要 一个 集中性 的 资源 去 训练。 然后 你 其实 又不 希望 在 前后 链路 里面 去 卷入 大量 的 技术人员 去 投入。 你 可能 希望 算法 或者说 你 这个 业务 的 技术 同学 能够 快速 的 能够 去 把 这个 东西 跑 起来， 去 拿 业务 结果。 在 这种 情况下， 其实 可能 去 引入 一些 比较 open 的 这个 云， 就是 云 服务 的 这种 形式， 可能 会 各位 更 轻。 它 不像 我 24小时 的 在 提供 一个 A P P 的 服务。 最终 对课 的 部分， 你 在 推理 这 一侧， 你 可能 会有 一些 服务 的 请求。 但是 你 在 训练 这个 场景 下， 其实 你 对 他的 管理， 如果你 做 的 很重 的话， 你 投入 做 的 很多 的话， 你的 成本 可能 会 会 非常 高 会 非常 高。

我 觉得 这个 点 上 可能 也是 一个点， 因为 业务 层面 的 东西 我 个人 也 不是 特别 懂。 但是 我们 现在 能 看到 就是 可能 大家 都在 等 这个 大 模型 在 某个 垂 类 对 有些 应用 出来。 因为 其实 GPT4O 他们 发 的 这个 方向 其实 也 在 考虑， 其实 也 不是说 模型 肯定 不是 到 最后 只 有一条路， 就 从 从 千亿 到 万亿 到 10万亿 的这 一条路。 他 最终 还是会 走 一条 经济 又 实惠 的， 就 小 而 强 的 路， 对 吧？ 其实 有可能 你 在 某个 领域 你的 模型 规模 并不大， 但是 你的 整个 能力 和 模型 的 效果 非常 好。 可能 未来 会有 越来越多 的 这种 的， 就是 比如说 你 在 百亿 左右 甚至 更 小的 场景 下， 你 也能 跑 起来 的 这种 场景， 我 觉得 可能 会 更 多了。

其实 今天 我们 聊 的 大量 的 都 是在 所谓 水下 的 一些 成本， 我们 看不到 的 潜在 的 一些 风险 也好， 或者说 难题 也好。 这个 可能 也是 后面 在 如果 做 A I 这个 方向 的话， 大家 都都 得 考虑 的 问题。 是的， 还有 可能 不光 算 力， 硬件、 人力 等等 这些。

好啊， 今天 感觉 姚明 老师 提供了 很多 挺 有意思 的 视角， 有 很多 是 确实 想象 不到 的。 你 比如说 就是现在 这个 芯片 性能 变 高 之后， 就是 冷却系统 你 可能 都要 调整 你的 供电 怎么办， 包括 中间 的 中断 了 怎么办？ 其实 很多 问题是 可能 日常 想象 不到 的。 是的， 也 希望 给 大家 有 一些 帮助 或者 启发。 我们 今天 就 先聊 到 这儿， 我们 有 机会 我们 再聊。 好， 谢谢 大家 姚明 老师， 谢谢。 欢迎 在 小宇宙 苹果 podcast 的 订阅 和 收听 三 五环 也 欢迎 在 评论 区 留言 交流。 如果 喜欢 三 五环 的话， 也 恳请 能 在 苹果 pocket、 spotify 或者 喜马拉雅 留下 你的 宝贵 好评， 下期 再见。