如何应对ChatGPT？二级市场闭门研讨会精选 | S7E01 硅谷徐老师
01:27:20 Share

用 声音。

碰撞。

世界。

生动活泼。 Hello 大家好， 我是 丁丁， 欢迎 收听 全 新一集 next 科技 早知道。 大家好。

我是 刘灿。 在 2020年 5月底.

OpenAI 刚 推出 GPT30 硅谷。 徐 老师 就在 我们的 节目 里 提到， 他 感觉 语言 模型 的 天花板 一下子 被 打开 了。 未来 的 5到10年， 这项 技术 将 会对 科技 行业 产生 非常重要 的 影响。 我们 今天 再看 二三年 ChatGPT 的这 股 热潮， 徐 老师 也 开玩笑 说 这个 进展 虽然 比 他 想象 的 要 快， 但是 三年 前 中 节目 观点 的 分享 确实 是 做到 了 科技 早知道。 那 我们 最近 也是 看到 了 澎湃 新闻 的 一则 报道说， 从 年初 到 2月16日 收盘， 万德 的 ChatGPT 指数 收益率 是 超过 了 50%， 这个 指数 收录 的 24只 个股 中有 23只 上涨。

其实 最近 徐 老师 也 参加了 一场 海内外 投资人 的 研讨会。 这个 会议 的 主要内容 就是 二级 市场 的 投资人 应该 如何 去 看待 ChatGPT 这样的 一个 现象级 的 产品。 它 会 在 哪些 应用 场景 落地， 以及 它 对 科技 行业 的 价值 到底 会有 多大。 基于 时长 的 原因， 在 征得 会议 主办方 以及 与会 嘉宾 的 同意 后， 我们 将 闭门 会议 中 后半 部分 里 关于 应用 场景 和 价值 分析 的 精彩内容， 放到 了 科技 早知道 第七 季 ChatGPT 专题 策划 的 硅谷 徐 老师 专栏 节目 里。 节目 中 还有 秘 塔 科技 C E O 闵 可 锐， 腾讯 游戏 数据 科学 副 总监 孙玉珍， 天风 全球 前瞻 产业 研究院 联席 院长 孔融 和 天风 海外 的 分析师 李泽宇。 这 期 节目 开头 的 第一个 问题 就是 硅谷 目前 在 聚焦 ChatGPT 的 哪些 应用 场景。 那么 开头 的 第一个 回答 就是 硅谷 徐 老师 给出 的 回答， 欢迎 收听。

我 觉得 之所以 刚才 包括 我 在内 都 提到 非常 惊艳， 非常 的 很 不错， 对 吧？ 的 一个 原因 就是 它 其实 在 各行各业 都有 应用。 今天 的 任何 一个 A I 的 技术， 其实 都 更加 适合 在 一个 比较 容错 的 应用 场景 下面。

所谓 的 容错 的 是 指 当 你的 答案 不是 百分之百 对， 依然 是 可以 的那 你的第一 反应 可能 是 说， 凭什么 不是 百分之百 对， 对 吧？ 但 其实 你 要 想一想， 其实 我们 人类 做 的 事情 有有 多少 事情 是 百分之百 对的。 但是 有的 时候， 比如说 你是 一个 一个 外科医生 做手术， 你 最好 是 不要 擦 一点点， 对 吧？ 就是 有的 应用 场景 你是 不能 差 一点点， 有的 应用 场景 你是 其实 是 有 足够 的 容错 的。 比如说 你 去 写 一个 市场调研 的 报告， 类似 这种 报告 本来就 没有 一个 标准答案。 ChatGPT 或者说 这 新的 一代 技术 其实 能够 把 东西 写 的 很 不错， 像模像样 的。 你 叫 他用 什么样 的 语气 语调 给他 一些 关键 的 论点， 他 能够 写出 一篇 很 不错 的 文章。

另外一个 容错 是 指 如果你 是对 这个 答案 自己 都 不知道， 自己 都 不能 判断， 那 我 觉得 就 最好 不要 用。 因为 比如说 我不是 学生 物 的， 然后 我 叫 ChatGPT 写 一篇 关于 生物 的 论文， 说不定 他 写 的 很好， 百分之百 对的， 但 有可能 80% 对的。 如果我 没有 判断能力， 那 最好 不要 去去 用。 但是 如果说 我自己 是 有 判断能力 的， 但是 我自己 要 花 1个小时 去 写。 然后 现在 我 用了 ChatGPT 只是 十分钟， 他 马上 给我 了， 然后 我 又 花 十分钟 时间 去 修改 一下， 这个 就 省 下来 很多 时间， 我 觉得 这 是一个 比较 好的。 从 这个 角度 上 来讲， 其实 各行各业 每一个 职业 都 应该 去 思考 一下。 我 每天 做 的 事情， 有 多少 事情 是 能够 fault tolerant 的， 就是我 说 的 那个 容错。 而且 有什么 事情 是 值得 让 机器人 去做 的， 我 觉得 要把 这个 期望值 给 管理 好啊， 有 很多人， 包括 我 跟 小孙 同学， 前两天 也 在 私下 讨论 关于 hallucination ation 就是 ChatGPT 的 一个 很大 的 问题， 就是 一个 幻觉 的 问题。

他 会给 你 一些 编出来 一些 事实。 其实 人类 对话 的 时候， 你 跟 一个人 对话 的 时候， 你怎么知道 他 没有 去 编 一些 东西？ 其实 我们在 日常生活 当中 也会 碰到 这种 事情， 但 你 会 去 衡量， 你说 这个人 基本上 说话 靠谱 一点， 那个 我 不清楚 对 吧？ 其实 跟 机器人 也是 一样， 你 要 去 衡量 一下 他 到底 是 懂 什么 不懂 什么 你 自己 懂 什么， 你 自己 不懂 什么。

就是 我们 自己 那个 meta 有 一款 产品 的话 是 叫 秘 塔 写作 猫。 其实 是在 ChatGPT 出来 之前， 就是 release 我们的 这个 A I 写作 的 这个 功能。 到 目前 的话 其实 使用过 我们 A I 写作 的 中文 的 A I 写作 这个 功能 的 用户 的话， 也有 超过 上百万 的 用户。 其实 我们 看到 这 里面 的 分布， 比如说 学生 群体、 公务员 群体， 包括 是 一些 这种 白领 拿来 写什么 一些 跟 他的 什么 工作 周报， 写 一些 什么 思想 心得体会， 撰写 一些 营销 文案 等等。 这样的 也 确实 符合 说 他的 这个 答案 其实 本身 不 具有 这个 唯一性。

就是 大家 在 这样的 一些 场景 上面 的话， 实际上 是 已经 开始 把 相关 的 这个 技术 给 使用 起来 了。 包括 这个 在 ChatGPT 出来 之前 的话， 就是 美国 那 家 公司 jasper 实际上 是 去年 他们 媒体报道 还是 已经 做到 大概 几千 万美金 的 一个 A R R 的 一个 收入。 其实 就是 给 不同 的 这些 公司 去 提供 一些 快速 的 这种 营销 文案 撰写 的 这样 一个 应用 的 这个 场景。 实际上 是在 短短的 两年 时间 内 做到 了 一个 非常 快 的 一个 发展。

而 对于 那些 比如说 要求 更高 的 一些 场景 的话， 我们 觉得 其实 技术 的 突破 其实 也 像是 一个 渐进 的 过程。 就 有点 类似 于 大家 看， 比如说 无人驾驶 的 这件 事儿。 可能 这个 技术 发展 不是说 0或11次性 达到 一个 纯粹 的 一个 无人驾驶。 也是 规划 了 一个 从 1级到5级 的 这么样 一个 发展 过程。 就是现在 可能 大家 对 三级 的 这些 辅助性 的 一个 驾驶 已经 解决 的 比较 好了。 而 对 这个 精度， 对 这个 安全性 容忍度 要求 更高 的 这些 4到5级 的 这个， 其实 还有 待 突破 的 这么样 一个 过程。 好的， 谢谢 明 总。 然后 也 想 在 这个 问题 也 想 请教 一下 孙 总。

什么样 的 工作 会 被 A I 大部分 或者 完全 取代？ 就是你 会 用 搬 砖 去 形容 自己的 工作 的话， 我 这边 就会 被 A I 取代。 这个 是我 当时 一个 同事 问我， 就说 当时 我们 也 做了 很多 关于 这个 AIGC 的 调研。 然后 同事 就 问 说 以前 都说 蓝领 的 工作 会 很快 被 A I 取代。 但是 我们 为什么 看到 的 先是 这种 创意， 就是 设计师 然后 这些 工作 被 取代。 但是 我 后来 一 想， 这些 设计师 做 的 也 不是 真正 的 创意 的 工作， 他们 做 的 还是 一个 搬 砖 的 活。 就是 甲方 给 一个 需求， 然后 他 做 一个 图， 然后 感觉 是 抓 到了 这个 甲方 的 想法。 其实 有 1万种 方式 去 满足 这个 甲方 的 想法， 他 拿出 了 其中 一种， 这种 东西 其实 在 这个 X G B G 之后， 我 觉得 是 很 容易 被 取代 的。

然后 大家 也可以 看一下， 就是现在 最 受到 威胁 的 就 不管 是你 这个 市场营销， 写 方案， 然后 写 文件 等等。 如果说 你的 这个 文档 换 一个人 来 写， 和 你 写 差不多 的话， 那 我 觉得 或者说 你 这个 工作 换 一个人 在 做， 和 你 做 差不多 的话， 我 觉得 就是 快了。 我 觉得 两年 之内， 就是 在 GPT 不是 在 威胁 某 一个 公司， 它是 在 威胁 整个 人类 的 工作。 我 觉得 背后 还有 两个 点， 第一， 它 表现出来 的 这些 inference 能力 到底 是真的， 还是 只是 他 表现出来 的。 反正 现在 我没有 看到 任何 证据 能 说服 我说 这 是一个 假的， 就是我 感觉 他是 真的我 也没有 证据 证明 他 才是 真的。

第二 就是 这个 x GPT 它 到底 会 是用 一个 怎样 的 方式 去 给 大家 使用， 就 比如说 我们 到底 有没有 其他 的 公司 可以 做出来 一个 x GPT 这样的 能力， 还是 它 其实 是一个 独有 的 能力， 或者说 它 其实 是一个 五年 之内 没有 其他 任何 公司 能 做出来 的 东西。 这个 我 觉得 都 会影响到 它 到底 会 以 什么样 的 方式 去 开放 和 被 应用。 但是 假设 它是 一个 足够 开放 的 东西， 就是 它的 一些 比如说 人类 对 它的 调教， 这个 prompt engineering 是 能 开放 给 大家 去 使用 的。 它 能 去 和 你 进行 合作， 去 读 一些 你 公司 特有 的 数据， 或者 公司 特有 的 一些 使用 方式 的话。 然后 你们 公司 有人 可以 去 对 这个 A I 它的 给你的 回应 做出 一些 调教， 或者 跟 他 对话 的 过程中， 教 他 怎么 样子 去 产出 你 更 喜欢 的 内容 的话， 那 他 应该 很快 就能 取代 你们 公司 大部分 搬 砖 类 的 工作。

另外一个 问题 就是 这 可能 不是 一个 创业 公司 去做 的。 就是 OpenAI 一家 公司 就 把 这个 所有的 东西 给 都 做了。 就是 他 只要 开放 一个 prompt 这个 接口， 然后 你来 调用 他， 然后 他 就能 帮你 干 很多 事儿。 比如说 帮你 编程， 帮你 写 各种各样 的 文案， 帮你 总结 你的 会议 等等。

感谢 孙 老师 分享， 我是 对 天风 的 李泽宇， 我 觉得 这个 问题 很 有意思， 在 首先 就是 在 各行各业 有 哪些 不能 有？ 我 觉得 好像 那些 需要 很强 的 一个 抽象 能力 的， 好像 这些 行业 似乎 他 不会 太 有 说。 就 我们 以 大家 的 一个 思考 模式 来说， ChatGPT 它 有 很强 的 一个 归纳 能力 对 吧？ 或者说 它 有一个 比较 类似 于 人类 能 感知 到 的 一个 演绎 的 一个 能力？ 但是 他 好像 并没有 什么 抽象 的 能力。

比方说 我们 要 做 一个 数学 上 的 一个 归纳， 我们 要不是 用 数学 那种 程序化 证明 或者 归纳 的 法 来看 的话， 我 觉得 好像 就是 对于 数学家 来说， 比方说 他 要 从 我们的 一个 各种 元素 去去去 总结 出 一个 集合论， 数学 里面 再 转 出 各种 递归论。 好像 就 以 这种 它 背后 的 一个 神经网络 的 这种 东西。 他 好像 是 没有 办法 这 两个 看似 毫无关系 的 一个 东西 能 建立起 这么 一种 能力 的。 所以 我 觉得 如果我们 对 人类 的 一个 不 被 替代 的 一个 还有一个 信息 的话， 就是 好像 他说 他 可能 暂时 还不 具备 这种 抽象 能力。

但是 具体 到 一个 场景， 我 觉得很有 意思 的 就是说， 其实我 想 先 问 一下 明 总 这个 问题。 因为 比方说 大家 都说 对于 错误 要 有一个 一定 的 一个 容忍性。 很多 搬 砖 的 工作， 然后 法律 是一个 最 可能 说 最 不能容忍 一个 错误 的 一个 场景。 就 想 问 一下， 比方说 像 不管 是 他的 GPT 还是 别的 这种 内容 生成 的 一个 工具。 他在 法律 这种 场景 下， 他 会不会 用 的 一些 技术手段 就和 别人 完全 不一样。 或者说 不管 是 ChatGPT 还是 别的 一些 工具， 它 在 这种 法律上 的 一个 是不是 有 很大 的 特殊性， 还是 说 没有 很大 特殊性， 只是 一个 界面 的 一个 变化。 我想 先 问 一下 明 总 这个 问题， 谢谢。

就是 我们会 思考 这么样 一个 事儿， 比如说 会不会 威胁 到 人类 工作， 会不会 对 这个 人的 这个 工作 构成 一个 取代。 实际上 这 里面 有 两个 完全不同 的 子 问题， 就是 你到底 是 把 这个 人类 作为 一个 整体 来 考量， 说 他 是不是 能够 做到 全人类 做不到 的 事儿， 这 其实 是一个 分 问题。 另外一个 问题是 说， 他 如果 是 把 这样 一个 ChatGPT 的 能力， 或者 未来 的 类似的 技术 能力， 和 现在 这个 行业， 就是 这个 特定 行业 里面 的 从业人员 相比， 他 究竟 能 打败 多少 的 这个人。 我们会 觉得 这 两个 事儿 其实 它的 差距 是 很大 的。

包括 刚才 周伟 总 说到 的 这个， 比如说 他们 对 一些 数学 问题 去做 这个 集合， 就是 这个 层面 的 抽象。 这个 目前 确实 是一个 你 连 formulate 这个 问题 给 这样的 一个 机器 都很 困难 的 一个 问题。 但 换句话说， 这个 问题 恰恰 也 是从 人类 历史上 能 达到 这个 高度。 比如说 抽象代数， 能 达到 能 提出 这个 高度 的， 人类 历史上 可能 也就 数 得 出来 100个这样的 人。 所以 他 作为 这个 人的 这个 能力 上面 来讲， 其实 也是 极其 稀缺 的， 可能 也是 千 万里挑一 的 这么样 一个 能力。 就 包括 刚才 您 提到 法律 这个 行业， 其实 也是 类似 中国 的 注册 这个 律师 的话 已经超过 60万人。 其实 分布 在 包括 二线 城市 以及 二 三线 城市 以及 以下 的 这个 比例 还是 相当 之高 的。

他们 在 很多 日常 在 解决 的 一些 问题， 其实 是 具有 大量 的 重复性。 比如说 就是 真正 排名第一 的 就是 查 这个， 比如说 中国 裁判 文书 网 去 看 相关 的 一些 判例。 那 排名第一 的 是什么？ 可能 是 类似 于 什么 机动车 肇事， 这样的 一些 案子。 再 往后 就是 比如说 常规性 的 什么 离婚， 这些 相关 的 案件。 其实 你可以 认为 就是这样 一些 常见 的 这种 案件， 它的 这个 判定 也好， 它的 一些 法律 的 说理 的 这个 部分 的 reasoning 这个 部分 其实 也 不是 一个 特别 长 链条 的 一个 reasoning， 去 做了 一个 复杂性 的 判断。

比如说 刚才 提到 的 一些 离婚， 纠纷， 就是 常见 的 这类 的 问题， 其实 是在 这个 基层 法院 就 解决 了。 而 这个 基层 法院 解决不了， 还 具有 更高 的 争议 的， 才会 逐层 的 去往 上 上溯 到 更上一层 的 人民法院。 最终 到 比如说 最高院 对于 有 一些 很 新兴 的 问题， 拿出来 一个 指导性 的 一个 判例。

越 往上走 的 那个 部分， 我们 说 它 可能 离 替代 的 这个 部分 越 遥远。 但 恰恰 就是说 从 整个 从业 的 人员 的 角度 来看， 很有可能 是 说 现在 机器 能 达到 说 能够 做 大部分 的 从业人员， 日常 做 的 常规性 的 事儿。 可能 它的 出现 的 时间 比 绝大多数 人 想象 的 要 更 早。

对我 觉得 还有 一点 就是 很 这也是 媒体 或者说 大众 的 一个 可能 需求。 就 觉得 成天 讨论 机器人 取代 人 或者 不 取代 人我 觉得 这个 其实 并不是 一个 主要 的 一个 应该 讨论 的 问题。 主要 应该 讨论 的 问题是 个人 之间， 比如说 一个 拥抱 ChatGPT 这类 太 技术 的 人 跟 一个 不 拥抱 这个 技术 的 人 他们的 对比。 最终 取代 你的 工作 的 不是 这个 机器人， 而是 取代 你的 是 拥抱 这个 机器人 的 人类。 而且 你 要 一件 事情 把 它 从头 做做 到底， 我 觉得 短期内 还是 一个 比较 不 现实 的。 但是 他 能够 做 你 一部分 的 事情， 我 觉得 是 已经 是 今天 了， 或者 昨天 已经 能够 做到 了， 所以说 我们 不应该 去 看 这么 一个人， 一个 机器人 是不是 能够 互相交换。 我 觉得 那个 有点 你 是 适合 媒体 去 讨论。 尤其是 比如说 我们 在这里 的 在座 的 每一个人， 我 并 不相信 机器人 能够 取代 你的 所有的 工作， 就 变成 笑话 了。

大家 都是 有 需要 很多 判断能力 的。 但是 如果说 你 不去 研究， 不去 理解， 不去 拥抱 机器人 这个 技术， 有可能 你的 工作 被 另外一个 不管 是 分析师 也好， 研究员 也好 取代。 这 完全 可能 就 好像 当年 互联网 来了 或者说 P C 来了， 你可以 不去 拥抱， 但是 你 自身 的 价值 就会 大打折扣。

刚刚 泽宇 那个 问题 其实 是我 这 段时间 一直 在 想 的 一个 问题。 因为 它 背后 其实 是一个 很大 的 哲学问题， 就是 到底 什么 是 智能？ 我们 当时 这个 深度 学习 刚刚 出来 的 时候， 我 觉得 我 有 这个 东西 的 答案， 而且 这个 东西 答案 是 2017年 的 时候 U C L 的 这个 朱松 纯 教授 他说 的。 就是 你看 鹦鹉 和 这个 乌鸦嘴 他们 就是 两种 智能 模式。 鹦鹉 只会 鹦鹉学舌， 但是 乌鸦 其实 是 会 思考 的， 它是 有 这个 influences 能力 的。

我们的 过去 的 你 叫 machine learning 也好， 叫 A I， 叫 deep learning， 反正 都是 mine learning 的这 这 这个 范式。 他 做 的 东西 是 寻找 你 这个 数据 之间 的 pattern。 就是你 给他 一堆 X 给他 一个 Y 然后 他 把 这个 X 和 Y 的 关系 找 出来。 当然 你 有 一些 不同 的 用法， 比如说 说 你可以 根据 规则 自己 去 生成 这个 X 和 Y 你 也可以 把 这个 方程 做 的 更长 一点。 总之 最后 就是 包括 自然语言 之前 做 的 很多 东西， 就是 一个 填表， 或者说 是 生成 一个字。 总之 它是 在 这个 范式 下 你 就 需要 有 很多 数据， 尤其是 很多 高质量 的 数据， 来 让 这个 机器 把 这个 pattern 给 这个 pattern 应该 是 规律， 把 这个 规律 给 很 好的 给 找 出来。

但是 其实 所有的 deep learning y 他 找 规律 上 它 都 是一个 over fitting motion。 就是 他 你 给他 任何 一组 随机 的 数据， 它 都能 给你 在 这 里面 找到 规律。 我们 很多 的 工程 就是 在于 怎么 样子 把 这个 规律 最好的 一个 规律 给 找 出来， 让 它 有 一定 的 泛化 能力， 而且 泛化 的 越 准 越好。

机器学习 过往 都 是在 做 这件 事情。 它 和 鹦鹉 确实 很 像， 鹦鹉 它是 不 带 思考 的， 他说 一句话 的 时候， 他是 不知道 这 句 话 是什么 意思 的。 但是 乌鸦 它 有一个 很 有意思 的 点， 就是 youtube 说 也有 很多 相关 的 视频。 就 比如说 在 日本 的 城市 里边 有 这样的 一个 乌鸦， 有 这样 一群 乌鸦， 就是 他们 在 这个 城市 里边 想 找到了 坚果， 他们 想 吃 坚果， 但是 他们 没有 办法 打开 这个 坚果 的 壳， 他们 试图 从 天上 把 这个 坚果 往 地上 摔 也 摔 不破， 然后 他们 试图 拿 石头 去 砸 也 砸 不破。 我们 可能 听 过 乌鸦喝水 的这 故事， 不知道 这个 是不是真的。

那 接下来 干 的 是什么 事情 呢？ 就是 他们 发现 车 的 轮子， 是 可以 把 这个 坚果 给 压碎 的。 他们 又 发现 红绿灯 是 可以 控制车 的， 就是 红灯 的 时候 车 会 停下来， 绿灯 时候 车 会 走。 那 他们 干 的 事情 就是 他们 去 把 这个 坚果 扔 到了 红绿灯 路口， 让 车 去 把 它 压碎， 然后 再从 绿灯 变成 红灯 的 时候， 飞下去 把 这些 坚果 给 捡起来 了。 要 知道 这里 边 他是 没有 任何 的 试错 空间 的， 他 被车撞 一次 就 死 了。 所以说 他 这些 认知， 或者说 他 这些 能力， 他 这些 东西 全都 是在 别的 地方 学 来 的， 或者说 是 他 自己 思考 来 的。 我们 不管 把 它 叫做 什么， 这 在我看来 就是 很 好的 总结 了的 能力。

这个 是我 觉得 X G B T 和 过往 的 这个 machine learning 最大 的 区别 就是 插 gbt。 如果 大家 深度 使用 一下， 尤其是 大家 如果 是 使用 一下 那个 new 病 的 那个 GPT， 它 和 之前 两年 前 的 那个 GPT3， 我们 觉得 最大 的 不同 有一点， 之前 的 GPT3 它是 有 in context learning， 就是 它 可以在 上下文 中 进行 学习。 但是 ChatGPT 有了 in context correction 的 能力， 就是 在 上下文 中 纠错。

这个 其实 看上去 是一个 小的 区别， 其实 是一个 很 夸张 的 东西。 其实 在我看来， 因为 这个 in contest correction 就 需要你 跟 他 给你 一个 答案 以后， 你 跟 他说 不， 我 觉得 你 这个 东西错 在哪儿， 你 能不能 给我 一个 新的， 他 要 能 理解 你 对 他的 反馈， 然后 再 给你 一个 基于 你的 反馈 的 一个 更好 的 答案。 但是 你 给 他说 的 这个 东西， 大 概率 是 不存在 于 之前 的 互联网 上 的。 也就是说 他的 数据库 里边 是 没有 这个 现成 的 答案 的。 他 要 能 理解 你说的 是什么， 并且 产生 一个 新的 新的 答案。 这 在我看来 就 是从 这个 鹦鹉 的 智能 进化 成了 一个 乌鸦 人士。 所以说 我 把 它 叫做 influence， 我 觉得 这个 能力 是 很 重要 的。

然后 刚才 泽宇 说 的 那个 演绎， 我 觉得 它 有 两点。 第一个 是 deduction， deduction 是 就是 根据 事实 进行 演绎。 比如说 我在 图书馆 看到 一个人， 然后 躺在 地上 流了血， 然后 身上 插 了 一把刀。 我的 演绎 我的 deduction 就是 这个人 可能 被 谋杀 了。 但是 我的 这个 influence 就是 可能 有人 不 喜欢他， 所以说 去杀 了 他。 这是我 现场 的 所有 这些 东西 看不到 的。 反正 就是 我们 过往 的 这个 程序 是 有 很强 的 deduction 的 能力 的。 但是 我们 过往 的 任何 一个 程序 都 没有 influence 的 能力。

现在 拆 GPT 有了 influences 的 能力， 我 接下来 就是 一个 信仰 的 环节 了。 接下来 的 我没有 任何 的 证据， 就是我 觉得 它 和 人类 的 区别 就是 第一 它 和 人类 的 区别 是 人类 有 判断力， 但是 在 GPT 可能 是 没有 判断力 的， 就是 他 可能 心中 有一个 哪个 东西 更好， 但是 他的 这个 判断 我 觉得 和 人类 的 判断力 可能 是 有一个 区别 的。 然后 第二个， 就是 刚刚 说 的 这个 抽象 能力。 我 把 它 用 一个 例子 去 总结 的话， 就是 牛顿 发明 万有引力。 就是 牛顿 是 看到 苹果 掉下来， 然后 发现 了 星星 之间 这个 运动 的 规律。 我 觉得 拆 gbt 它 看到 了 苹果 掉下来， 它 能 举一反三 的 去 看到 离 掉下来 会 怎么样， 椰子 掉下来 会 怎么样， 甚至 一个 石头 掉下来 怎么样。 但是 他 可能 未必 能 发现 万有引力， 他 未必 能 发现 行星 之间 的 运动 到底 是 遵循 了 一个 什么样 的 相似 的 规律。

说说 就是 刚才 那个 小孙 是 讲 的， 他 对于 ChatGPT 或者 今后 的 技术 的 一个 天花板 的 一个 预测。 我 基本上 是 同意 他说 的。 因为我 觉得 至少 在短期内， 我说 的 短期 就是 五年、 十年， 过了 50年 谁 都 不知道， 五年 十年 之内 我 觉得 这个 判断 应该 是 对的。 但是 这 里面 我 觉得 还有 一点 我不是 很 确信 GPT 模型 也好， 或者说 今后 的 一些 优化 或者 怎么样， 还是会 不断 的 让 我们 感到 惊诧， 你不知道 他 让 我们 惊诧 的 天花板 是什么。 就 这么说， 就像 刚才。

我们在 说 的 上下文 理解 吧？ 这是 GPT3 这个 模型 所 能 做到 的。 现在 ChatGPT 大约 是 3.5， 或者说 是 接近 于 4， 已经 有 上下文 correction 纠错 理解 学习 能力。 但 说老实话， 即使 上下文 理解 这一点， 我们 还是 很 难以 溯源。 到底为什么 这个 GPT3有 这个 能力， 他的 这个 能力 到底 是 哪里 来 的？ 然后 到了 ChatGPT 有一个 思维 链， china thought 就是说 能够 去 理解 一些 以前 就像 给 一个 小朋友 做 应用题， 给他 看 几道 例题， 他 马上 就 能够 做 其他 应用题 了， 这个 也没有 一个 答案。

当然了， 有 一定 的 猜想。 从 一个 理论上 来讲， 认为 可能 是因为 代码 训练 作为 训练 数据 可能 是一个 主要原因。 但 即使 是 那样， 也 只是 一个 猜想。 所以说 我 觉得 小孙 同学 说 的 我 基本上 是 非常 同意 的， 模型 不断 的 在 让 我们 突破， 我们 对 它的 认知， 它 是不是 会 不断 的 让 我们 突破。 今天 我们 觉得 它 天花板 会 这么 高， 会不会 比 我们 想象 的 更要 高个 十倍、 100倍， 还是 有 这个 人性 的。 对我 我 比较 好奇 小孙 小明 你们 两个人 是 觉得 会不会 超出 人类 可控 范围？

目前 的 这个 应用 大 概率 还是 需要 人工 去 辅助 迭代 的 一个 过程。 这 是一个 比较 偏 理想， 比较 偏 科幻小说 式 的 这么样 一个 描述。 但 换句话说， 我们会 认为 比如说 现在 的 一个 技术 的 一些 进步 迭代， 这个 是不是 本身 就是 人 其实 是 参与 到 其中 的。 但是 人 也 在 利用 这样 一些 技术 去 增加 自己的 一个 生产力， 去 增加 它 一个 自己的 开发 的 一个 效率， 从而 去 进一步 的 去 改进。 我 觉得 这个 间接 来看 的话， 也是 一个 利用 了 这样的 能力 去 改进 的 一个 这么样 一个 过程。

我记得 应该 是在 前段时间， google 一年前 左右 的 一个 新闻。 就是 设计 他们的 这个 比如说 T P U 的 一些 大规模集成电路 的 设计， 比如说 它的 一些 排布， 那 就用到 了 这个 深度 学习 相关 的 技术。 本身 这个 深度 学习 的 技术 就是 非常 依赖于 T P U 的 一些， 就 包括 这种 特定 的 asic 的 这种 计算 去做 相关 的 优化。 所以 从 一定程度 上 你可以 说 它的 T P U 本身 的 出现， 让 他 帮 他 deep learning 这件 事 有 提升。 而 deep learning 提升 又 进一步 在 对 T P U 本身 的 这个 设计 有 改进 的 能力。 只不过 这个 中间 不是 一个 全自动 全 自我 学习 的 一个 过程。 而是 人 其实 深度 的 参与 到 其中， 去做 这样的 一个 改进， 然后 让 机器 的 这些 答案 作为 辅助 的 这么 一个 过程。

我 想到 两个 场景， 就是 A I 怎么 样子 out of control 的。 第一个 就是 天网 terminator 终结者 这样？ 我 觉得 这个 不会 发生 的， 它是 图灵机 的 物理 现实， 就是 他 做不到 这一点。 但是 像 硅谷， 它 最后 有一个 就是 它 里边 的 A I 不断 自我 进化， 然后 把 世界上 的 加密算法 都 给 破解 了。 他 一开始 可能 花 十分钟 破解 了 比较 弱 的 加密算法， 后来 就 几秒钟 就可以 破解 一个 世界上 最 牛逼 的 加密算法。 我 觉得 这个 不是 没有 可能， 就是你 破解 那个 加密算法 本质 也是 一个 算法。 如果 机器 的 目标 是 为了 让 自己 这个 破解 算法 变得 更 有效率 的话， 它 又能 不断 的 去 学习 和 迭代， 我 觉得 这 不是 一个 不可能的事 儿。 但是 当然 我也不知道 他 现在 能 怎么 做到， 这是 一。

第二 就是 刚刚 明 总 说 的 这个人 在 这 中间 的 作用， 我 觉得 是 很 有 道理 的。 但是 同时 我 觉得 现在 人 在 这 中间 的 作用， 不管 是 这个 reinforce learning with human feedback？ 还是 其他 的 东西， 只是 为了 让 我们 已经 掌握 的 这个 大 模型 和人 更 适配 一些。 就是 他说 的 这些 东西， 我们 人听 起来 觉得 更 像 我们 人 说 的话， 然后 他 做 的 这个 事情 更 符合 我们的 要求。 但是 机器 本身 肯定 是 更 efficient 的， 如果我们 不 要求 它 适配 人 的话， 它 其实 可以 做 的 更快， 然后 学 的 更快， 迭代 的 更快。 所以 我 觉得 就是 在 这个 机器 的 进化 的 环节 中人 的 作用 也许 是 可 选 的对。

就是我 觉得 这个 机器 的 未来 的 演化， 就像 我们 说 的， 它 确实 很多 能力 是 涌现 出来 的。 我们 没有 办法 判断， 包括 大家 在 创业 的 微软 的 一个 GPT4， 没有 办法 判断 它 到底 会有 什么样 的 能力。 我 先 想 问 一下 各位 老师， 你们 觉得 A I 的 这个 能力 的 步伐 无法 判断 是 它的 一个 本质， 我们 是不是 应该 永远 期待 它的 一个 惊喜。

然后 第二个 问题 就是说 我们 先 不 把 时间 做 的 那么 长。 我 觉得 浩 威 老师 刚刚 说 的 有 个 很 好的， 就是说 用 chat P T 的 人 淘汰 不用 chat G P 的 人。 用 ChatGPT 的 这种 类似的 技术 的 公司 淘汰 不用 他的 技术。 我们在 这种 类似 于 那种 fail is now 的 这种 情绪 里面， 我们在 未来 的 一年， 我们 应该 投入 我们 企业 的 一个 预算 是 多少？ 我们 应该 投入 我们 个人 的 一个 预算 去做 多少。 然后 我们 从 这 里面 看到 一些 机会 有 多少， 是不是 我应该 就现在 私下 我 这个 工作， 我 去 帮别人 去 问 更好 的 问题， 做 更好 的 prom， 做 这种 创业 了。 或者说 这 里面 大家 觉得 就在 一年 的 维度 上 来说， 这 是一个 东西。 所以 我想 请教 一下 各位 老师 这个 问题。

从 硅谷 的 角度 来看， 我 觉得 机器人 的 发展 其实 是 打破 一个 竞争 格局 的 一件 事情。 很 明显 的 例子 就是 谷歌 的 搜索， 对 吧？ 突然之间 已经 是 90%几 的 市场占有率， 就是 一个 印钞机 器， 没有 任何人 能够 撼动 他的 地位。 但是 现在 微软 的 就 能够 进来。

我 觉得 对 一个 竞争 格局， 如果你 本身 是 处于 劣势 的， 你可以 思考 一下， 我怎么能够 靠 这个 翻身。 如果 你是 本来 是 老大， 我 觉得 应该 担心 一点。 因为我 觉得 人家 可以 做 非常 不一样的 事情， 基本上 没有 什么 事情 颠覆 不了。 连 搜索 这么 一个 固若金汤 的 一个 印钞机 都 可以 被 至少 潜在 的 被 颠覆。 其实 都是 数字 革命 的 一部分， 从 P C 对 吧？ 一直 到 互联网， 然后 到 最近 几年， 其实 大家 都说 低 代码 无 代码 的 一些 革命， 或者说 是 R P A 的 一些 进程。 其实我 觉得 这些 事情 都 已经 在 发生 了。 ChatGPT 是 能够 加速 一些 这些 低 代码 无 代码 的 进程。

所以说 并不一定 是 说 是一个 今天 跟 明天 做 的 事情 是 非常 不一样， 而是 说 在 今后 几个 月 能够 要 思考 的 东西 就是我 的 武器 变 多了。 竞争 格局 可能 会 因为 这个 会 受到 改变。 不管 你是 一个 公司职员， 还是 你是 一个 公司 的 C E O， 我 觉得 都 应该 去 思考 这么 一个 问题。 公司 的 C E O 的话 要 思考 的 问题 是一个 大 的 竞争 的 格局。 公司 的 一个 junior 的 一个 职员 可能 要 去 思考 的 问题是， 我 怎么可以 弯道 超车， 对 吧？

因为 很多 时候 在 一个 行业， 人家 在 这 里面 做了 十年、 20年。 但是 如果 今天 技术 开始 来 颠覆 的 时候， 说不定 你 能够 一下子 就 能够 做得 很 不错。 至于 说是 今后 六个月 到 12个月， 我 觉得 每 一行 的 答案 都会 很 不一样 一点。

可以 感谢 浩宇 老师 的 分享。 那 林总 对 这个 问题 有什么 看法 呢？

这个 可能 也是 有 两个 非常 不同 的 维度。 一个 维度 是 说， 就像 比如说 meta 这个 定位 本身 就是 在 做 这个 技术， 做 比如说 自然语言 行业 相关 的 产品。 那 我们会 做 有一个 什么样 的 判断 和 选择？ 这个 可能 是一个 比较 特定 的 问题。 因为 相关 从业人员， 可能 包括 今天 咱们 一起 线上 讨论 的 这个 同事， 可能 并没有 这么 多。

另外 可能 大家 更 关心 的 是 说， 如果不是 本身 投身于 技术 这个 行业， 对于 这么样 一个 新的 技术 来临， 应该做 什么样 的 一个 选择 和 一个 判断。 比如说 像 我们 这样的 这个 创业 公司 来讲， 其实 是一个 挺好的 一个 机会。 一方面 其实 让 大家 去 对于 相关 的 技术， 相关 的 这个 自然 源 处理 到 目前 的 这个 状况 的话， 有一个 更高 的 一个 关注度， 有一个 更 深入 的 一个 理解。 因为 可能 你 在 这个 之前， 大家 对于 这个 事儿 还 停留 在 可能 上 一代 的 比如说 关键词 这样 上面 的 一个 想象 上面。 到 今天 这个 时间 节点， 可能 给 全民 做了 一次 非常 好的 一个 普及。 让 大家 知道 就是 新一代 的 真正 的 人工智能 其实 能 做到 什么样 的 一个 环节。 然后 从 我们 自己的 这个 研发 落地 的 角度 来讲 的话， 我们 其实 也 在 比较 积极 的 去做 相关 的 一些 技术 的 研发 和 落地。 因为 其实 这是 跟 我们在 做 这个 包括 A I 的 一些 智能 写作， 这块 其实 是 一脉相承 的 一个 技术。

所以 包括 我们 之前 做 的 一些 翻译 等等， 其实 都是 一些 在 相对 比较 大规模 的 这种 语言 模型 上面 去做 一个 按照 一些 特定 的 条件 的 一个 生成。 这个 其实 也是 我们在 做 的 一个 落地 的 一个 方向。 Check 这件 事儿 的 一个 新的 一个 interface， 能够 得到 这么 广大 的 一个 使用 和 喜欢。 这 一定程度 上 也是 说 就是这样 的 云 interface 在 未来 其实 它的 一个 可用性 可能 比 我们 之前 想象 的 还要 更大。 所以 我们 也会 去做 一些 相关 的 进一步 的 一些 研发 投入。 比如说 我们 要 去 追赶 的话， 大概是 一个 什么样 的 相关 的 一个 成本， 一个 代价。 以及 我们 能 做到 如果 以 ChatGPT 是一个 90分的 一个 产品 的话， 我们 自己 在 一个 相对 比较 有限 的 投入 下面 大概 能 做到 多少 分？ 这个 其实 是 作为 一个 技术 团队， 我们会 去 评估 的 一个 事儿。

其他 行业 的话， 我 觉得 就像 刚才 这个 徐 老师 分享 的那 更多 的 就是 可以 很 直接 的 去 思考。 就是 当 有了 这么样 一个 潜在 的 一个 新的 一个 技术， 而 这个 新的 技术， 它 其实 往往 它的 扩散， 它的 一个 整个 被 大家 接受， 是 需要 一个 可能 会 比较 比 想象 的 还要 更长 的 一个 时间 的 这么样 一个 周期。 在 这个 阶段， 恰恰 是对 新技术 的 采用 者， 相比 起 一些 传统 的 一些 没有用 新技术 的 这样的 一些 比如说 你的 同事。 你 其实 是 有了 这样的 一个 很 显著 的 一个 比较优势。 我们 之前 有 个 同事 和 我 讲 过 一个 例子。

他 原来是 在 一家 很 好的 中国 其实 最 顶尖 的 一家 律所。 他说 他 原来 在 做 给 这个 客户 做 尽职调查 的 时候， 他 让 他的 这个 senior 会 非常 surprise。 就是 他 会 比 其他 的 junior 的 这个 同事， 在 他们 律所 的 同事 的 进 调 的 速度 会 快 三倍 以上。

他 悄悄 告诉我 说， 他 当时 有一个 什么样 的 一个 杀手锏 呢？ 就是 他 知道 有一个 产品 叫做 企 查查。 当 你不知道 企 查查 这个 东西 的 时候， 你 要 去 拼凑 很多。 比如说 公司 在 竞 调 报告 上 的 很多 信息 的 时候， 你 可能 是要 在 不同 的 中国 的 这些 监管部门 相关 网站， 再 找 十个 网站 把 这个 公司 名 输入 进去。 然后 把 这样的 一些 信息 去做 copy pace 的 去 粘贴， 然后 形成 你的 这么样 一个 报告。 但 当 有了 一个 产品， 它 其实 一次性 现在 可能 已经 自动化 的 帮你 把 这些 内容 做好 了 以后， 就 使得 它的 效率 其实 提升 了 很多。

但 这个 时候， 哪怕 是 从业 很多年 的 一些 senior 的 一些 资深 律师 合伙人， 他 其实 还 并没有 这样的 一个 概念。 所以 他们 反而 会 对于 说， 为什么 比如说 我的 五个 junior 里面 有一个 他的 执行 速度 能 快 这么 多。 其实 这个 就是 他在 利用 了 新的 这个 技术 上面 达到 的 一个 竞争性 的 这么样 一个 优势。 所以 我 觉得 各行各业 确实 在 不同 的 领域， 不同 的 场景 下面， 到底 怎么能 和 一些 新的 技术 去 结合。 这个 事儿 可能 很难 有一个 简单 的 一概而论 的 一个 结论。 这个 其实 也是 下一个 阶段 技术 公司 企图 把 这个 技术 做 的 更 鲁棒， 更 通用。 而 非 技术类 能够 对 技术 进行 应用 的 公司， 可能 也是 需要 能够 更 主动 的 去 寻求 一些 他的 一些 落地 和 使用 的 可能性， 就是 两边 共同 去寻找 的 这么 答案 的 一个 过程。

其实 泽宇 你 刚刚 问 了 两个 问题。 第一个 是 技术 是 线性 进步 的， 还是 一个 指数 进步 的， 或者说 是一个 意外 的 进步。 然后 第二个 是 大家 怎么 准备？ 第二个 问题 我 觉得 我没有 特别 好的 答案， 我 先 简单 说 一下 第二个， 然后 我想 稍稍 详细 说 一下 第一个。

第二个我 觉得 在我看来 他 就是 多了 很多 很 厉害 的 助手。 这个 助手 懂 很多 知道 很多 知识， 然后 他的 判断 现在 还 不是 很 准， 但是 会越来越 准。 他 很有可能 在 很多 地方 做起 事 来 比 你 现在 的 水平 比较 中游 或者 中游 偏 上 的 同事 做 的 更 有效率， 做 的 更 全面。 他 也能 给你 带来 更多 的 灵感， 我 觉得 是 这 样子 的。 但是 这个 是个 生产力 工具， 它是 个 生产力 和 效率 工具， 它 不是 一个 取代 什么 新的 场景。 这 在我看来 就是 它 当然 有 chat 和 这个 interface 的 这方面 的 东西， 但是 更多 的 我 把 它 看成 是一个 生产力 上 的 变革。

前面 这个 问题 其实我 觉得 还是 蛮 值得 探讨 的， 也是 拆 GPT 带 火 的 一个 词， 叫 涌现 对 吧？ 涌现 的 能力。 就是 突然之间 好像 他 读 了 代码， 他的 这个 influence 的 能力 就 涌现 出来 了。 或者说 他在 很多 这个 呃 任务 上， 本来 一开始 做 的 不好， 但是 模型 变大 了， 突然 一下子 就 变 好了。 而且 是 一下子 有一个 set function， 就是 一个 阶梯 性 的 提高。 这个 东西 我们 会不会 在 未来 也 看到 它的 很多 涌现 的 能力。 就是 我们 到底 有没有 办法 对 这个 东西 做 一下 预测。 我们是 到底 是在 一个 阶梯 性 提高 的 前夜， 还是 它 会 线性 甚至 是 发展 下去， 现在 的 我们 叫 深度 学习 之类 的， 还在 遵循 一个 摩尔定律。

这 摩尔定律 是什么 呢？ 就是 它的 模型 的 质量 的 进步， 适合 数据量 和 算 力 都是 成正比 关系 的。 就是 传统 的 模型 上线 很 容易 达到， 你 数据 再 多， 你的 模型 很快 就 跑 了， 然后 你 也 不能 做 的 更好 了。 但是 在 这个 深度 学习， 起码 从 深度 学习 发生 一直 到 现在 还都 在 遵循 这个 定律。 可是 这个 定律 就像 这个 芯片， 它 不是 这个 摩尔定律， 它 只不过 是一个 对 结果 的 总结， 是 吧？ 它 中间 一定 是 有 很多 技术 的 发展， 才 导致 它 这个 摩尔定律 一直 是 能 成 真的我 觉得 这个 大 语言 模型 就是 一个 很 明显 的 这样的 技术 发展， 导致 数据量 和 这个 算 力 在 大 语言 模型 这里 边 又是 数据 越多 效果 越好。 那 在 多 模态 上 会不会 也有 这样的 效果？

我 觉得 应该 还需要 等待 一个 在 多 模态 上 的 模型 的 范式 更新 才有可能 发生。 不然的话 我们 现在 图像识别 的 精准度 那是 能 提高 为 更多 的 数据， 更好 的 数据 和 更高 的 效率 确实 能 提高， 但是 它 提高 的 这个 增量 其实 是 变慢 的。 但是 如果你 有一个 像 GPT3 这样的 一个 模型 的 算式 提高 的话， 我 觉得 未来 的 可能性 还是 很高 的。

对于 大 语音 模型 本身， 它 如果 能 有一个 方法 把 其他 多 模态 的 信息 标准化 到 这个 语言 模型 的 token 上。 就是我 作为 这个 大 语言 模型， 我 本身 具备 的 推理 能力， 我 现在 是看 不了 任何 的 图像， 对 吧？ 我 现在 是看 不了 视频， 就是我 没有 一个 理解 视频 和 图像 的 方式。 如果我 找到了 这样 一个 方式， 那 这个 大 语言 模型 本身 可能 就会 变得 厉害 很多。 我 觉得 这个 是我 很 期待 它 会 发生 的 一件 事儿。 然后 我 觉得 这个 只能 是一个 直觉 了， 它 会 发生 的。

对我 听 了 一个 很 有 感触， 就是 两个 事情。 第一个 就是说 就是 我们 做 的 很多 的 事情， 其实 并不是 换 一种 做 的 方式， 而是 我们会 做 更加 正确 的 事情。 比方说 我们 做了 各种 的 自动化 对 吧？ 各种 低 代码 不是 完全 换 了 一个 方式， 而是 把 这个 事情 做 的 更加 高效， 很多 的 subtask 来去 分解。

第二个 就是我 作为 一个 二级 投资人， 其实我 比较关心 优势 的 问题， 或者说 S 的 问题。 刚刚 明 总 也 谈到 了， 包括 郝伟 老师 和 孙 老师 也 谈到 了。 就是 当 一个 技术 你 开始 看到 它的 日 活 很高， 1300万 的 时候， 但是 你 会 去除 以 整个 20亿的 一个 创作者， 或者 是 40亿的 一个 网民， 你 会 发现 这 整个 渗透率 好像 或者 是 开始 用 的 这个人， 就 其实 也 只有 它 里面 的 一个 0%点 几 或者 是 多少。 然后 我们 去 看 的话， 就是 在 一个 技术 变化 的 时候 肯定 是 有 新的， 就像 我们 说 的， 之前 那个 会 不用 去 查查 的对 吧？ 或者 是 会有 新的 这么 一些 使用 的 人， 他 会 在 这 里面 会有 更高 的 一个 优势。 包括 我们 作为 投资人 的话， 可能 也会 很 关注 这 里面 的 一些 机遇。

其实我 更 感兴趣 就是 一个 技术 问题。 我们 大家 都 知道， 我们 大家 其实 都说 GPT 或者 是 GPT， 它 有了 比 bert 好的 很多 的 一个 泛化 的 一个 能力， 对 吧？ 大家 也可以 把 它 进行 去做 in turning。

但是 我 比较 感兴趣 就是说 在 比方说 一个 细分 的 一个 领域 里面， 这 两个 东西 去 结合起来 是 有 多难。 或者说 你 要 区域 结合 那种 更 接近 于 符号 式 推理 的 那种 知识 图谱 的 那种 东西 到底 有 多难。 我 觉得 这个 东西 很 可能 是 结合 的 一个 难度， 对 吧？ 以及 它 提高 思考 一个 正确率 的 一个 东西， 很 可能 是 决定 在 某 一些 很难 的 细分 行业 里面， 它 能不能 很快 的 发展， 或者说 有没有 很快 的 变化， 或者说 能不能 很 好的 和 一些 垂直 行业 结合 的 一个 东西。

对， 关于 细分 行业 这里 确实 是 有 很多 可以 聊 的， 我 觉得 是 这 样子 的。 首先 你 刚才 提到 符号语言， 或者说 数学， 语言 模型 或者说 ChatGPT 这 一类 的 模型 不 一定要 去做 数学 的 东西。 我 觉得 有 那么 好的 数学 的 工具 不 一定要 他 去做。 但 这 只是 一个 很小 的 一个点， 更重 要的就是你 刚才 提到 的 有 那么 多 的 细分 行业， 然后 ChatGPT 或者说 这 一类 的 技术 能够 跟 细分 行业 去 结合。

今天 我们 看到 的， 你 如果 能够 登录 ChatGPT， 能够 跟 它 交互， 怎么 你 看到 的 是一个 我们 叫 foundation model 基础 模型， 这个 基础 模型 已经 是 非常 不错 了， 已经 是 非常 让人 惊艳 了。 你 怎么能够 让 这个 基础 模型 跟 各行各业， 不管 你是 做 船运 的， 做 高技术 的， 做 某些 商业 的 能够 去 结合。 这 里面 有一个 很大 的 一个 问题， 就是 一般来说 我 有一个 朋友 是在 欧洲， 他是 专门 做 海洋 运输 的 一个 公司。 他 这些 数据 或者 他 所有的 这些 肯定 不是 这个 foundation model 或者 这个 基础 模型 已经 有的。 然后 怎么 个 去 结合起来， 这 不容易。 我可以 说 我 把 我 所有的 数据 给 了 这个 基础 模型， 我可以 做 一个 微调 的 一个 模型 find to the model。

但 这 里面 有 今天 还是 蛮 难 的 一件 事情。 就是 理论上 这些 事情 都 可以， 而且 已经 有人 在 做了。 但 大规模 的 实现 还有 很多 的 问题， 有 很多 现实 的 问题。 比如说 多 贵 对 吧？

然后 你是不是 愿意 把 数据 给 OpenAI， 然后 是不是 有 更加 便宜， 更加 轻巧 的 方式， 我是 相信 在 今后 五年、 十年， 应该 有 更加 轻巧 的 方式， 使得 你 自己的 数据 跟 大 模型 能够 结合起来。 以前 我们 编程 就是 做 一些 workflow 对 吧？ 做 一些 网站 或者 怎么样， 今后 的 编程 可能 更多 的 是 做 一些 新的 模型 出来。 这些 模型 是用 你 自己的 数据， 然后 也 依赖 somehow， 或者说 怎么样 去 依赖 基础 的 模型。 所以说 我 觉得 这 是一个 不一定 是 十年， 但是 我 觉得 今后 五年 我会 期待 有 蛮 大 的 突破。 这个 突破 不是 理论上 的 突， 理论上 今天 已经 能 做 我 刚才 说 的 这些 事情 了。 但是 实际上 你 要 去做 起来 还是会 碰到 一堆 问题， 有 多 贵 多 快， 隐私 问题。 然后 是不是 有 一些 什么 best practice， 我 觉得 还是 会有 很多 的 要 去做。

所以说 你 就 看 OpenAI 自己 这个 公司， 它 其实 也有 两个 方向。 一个 方向 就是 把 这个 模型 越做越 好， 基础 模型 越做越 好。 另外一个 是 培养 一个 eco system， 就是 一个 生态圈， 使得 大家 都 能够 跟 它的 系统 能够 交互。 我 目前 看上去 他是 把 精力 更多 的 是 放在 把 这个 模型 越做越 好， 没有 放在 交互 上面。 我 觉得 其实 还是 给 了 一些 不管 是 初创 公司 或者 其他 公司 很多 机会 去 把 这 一块 给 做好。

直接 回答 你的 问题。 我是 觉得 有 很多 细分 行业 都 应该 去 跟 ChatGPT 这个 技术 去 结合。 但是 还是 有 很多 现实 上 的 一些 问题， 我 觉得 在 今后 几年 会 被 解决。

感谢 浩 伟 老师 的 分享。 对， 就是 大家 可以 用 语言 处理 的 东西 很多， 就有 语言 处理 涉及到 传感器 的， 你 也可以 把 传感器 的 数据 得到 foundation model 里面 去 训练， 然后 找出 怎么样 你的 比方说 光伏 发电 更 有效率， 电网 的 那种 浪涌 这种 带来 的 一个 效率 损耗 更 低。 就是 各行各业 其实 它 确实 都是 有 很 不一样的 一种 大 模型 的 应用 的 空间。 关于 刚才 那个 问题， 我也是 想 继续 问 一下 林总。 就是 关于 比方说 在 一个 细分 的 一个 领域， 或者 是啊 这种 大 模型 的 能力 和 比方说 这个 专家 知识 去 结合， 是 提高 他的 一个 正确率， 到底 是 难度 有 多 高 的 一个 事情。

我们 做 过 一些 相关 的 还是 在 比较 早期， 比较 初步 的 一些 实验。 在 这种 百亿 规模 级 的 一些 这种 数据 上， 他在 比如说 一些 已经 有一个 这种 foundation model 这个 基础上 再 添加 一些 这种 新的 一些 fine 的 数据。 这个 其实 也是 取决于 说 咱们 在 新的 这样的 一个 领域 的 数据， 可能 和 你 旧 的 以前 学习 的， 比如说 全网 的 公开的 这些 信息， 这些 数据 之间 它的 差异 究竟 是 有 多大。 这个 OpenAI 他 自己 比如说 去做 这个 align 的 时候， 用 一些 这种 增加 学习 这个 方法 它 其实 一定程度 上 是用 较少 的 标注 数据， 就让 这个 模型 拥有 很 好的 一些 比如说 对话 和 判断， 什么 对话 是 适合 出的， 什么 对话 可能 是 不 适合 的。 这个 方面 的 标注 量 的话， 就 他们 InstructGPT 的 论文 的 公布 是 不到 10万条 的 一个 级别。

之所以 能够 在 几万 条 的 一个 标注 量 级别 达到 一个 不错 的 效果， 其实 很 重要 的 一个 原因 是 说 这个 foundation model 其实 已经 具备 了， 说 我的 这个 知识 是 已经 足够 的。 就是 对于 你的 这个 问题， 我 可能 已经 在 我的 这个 系统 内部 掌握 了 3版甚至 5版不同 的 这个 回答 方式。 但是 我只是 不知道 在 一个 我们的 设定 的 这个 场景 下面， 我 究竟 应该 以 一种 什么样 的 比是 什么样 的 态度， 用 一个 偏 正面 的 方式 来 回答， 还是 一个 偏 消极 的 一个 方式 去 回答 这个 问题。 所以 如果 是 这个 知识 本身 可能 已经 在 这个 大 模型 里面 已经 存在 了。 很有可能 它的 去 适配 的 一个 过程， 可能 就是 一个 万条 级别 的 一个 数据， 就能 达到 一个 还 不错 的 一个 效果。 就 像你 刚才 提到， 比如说 他 是不是 需要 一些 额外 的 一些 知识 图谱。 那 另外一个 情况 是 说， 我们 进入 到 一个 新的 行业 的 时候， 这个 知识 本身 可能 对于 传统上 你 训练 的 本身 的 那个 foundation model 可能 是一个 完全 陌生 的 领域。

那 这个 时候 你 可能 就 还是 得 预期 是 说 他 要 的 这个 标注 量 可能 不是 一个 几十条、 几百条 就能 达到 一个 足够 好的 一个 效果。 我们会 认为 它是 有 一定 的 知识 和 这个 能力 的 迁移 的 这个 能力。 但是 不能 高估 到 说 当 他的 模型 大 了 以后， 他 就 完美的 去 解决 一个 他 从来 完全 没有 见过 的 陌生 的 一个 问题。 我 举 个 极端 的 例子， 就 像你 如果 纯粹 用 一个 非常 干净 的， 百分之百 是 中文 的 一个 语料 去做 这个 训练。 无论 你的 这个 模型 训练 的 再 大， 他 可能 也没有 办法 去 当你 用 俄文 去 问 他 问题 的 时候， 他 能 得到 一个 正确 的 一个 回复。

那 我想 接着 明 总 这个 回答 问个问题， 其实 这个 我 很感兴趣， 就是说 我们 用 去 训练 他， 或者 用 不同 领域 知识 都 训练 他。 然后 我们会 发现 他 有 一些 在 分布 外 的 一些 知识 的 一个 推理 能力， 对 吧？ 刚才 孙 老师 也 谈 这 是一个 inference 的 能力。

现在 大家 其实 也 挺 关心， 比方说 有了 github 的 一个 代码 库， 所以 open I 训练 出来 的 这个 好像 逻辑推理 甚至 比 google 会 更 领先 一点。 是不是？ 因为 比方说 代码 和 人类 自然语言 在 本质 上， 在 某种 生成 的 概率 上， 它是 比较 共通 的。 就是 您 的 自己的 一个 研究 有没有 感觉 就是 比方说 有 哪些 它 确实 有一个 逻辑 共通， 还是 说 我们 现在 其实 从 我们 目前 的 一个 数学 能力， 也没有 办法 判断 哪些 东西 它 生成 的 概率 说明 是 数学 共同 的。

我 觉得 这个 挺 有意思， 就是 我们 未来 如果 要 加 这种 整个 一个 大 的 训练 集， 不是 一方面 训练， 我们 要 加 很多 有 资料 群体。 我们是 继续 去 写 代码 呢？ 还是 继续 去 写 中文 对话 呢？ 还是 继续 去做 哲学 推理 或者 逻辑推理 呢？ 我想 问 一个 比较 宏观 的 一点 问题 给 明 总。

我 觉得 这个 问题 其实 还是 一个 非常 深入 的， 而且 是 偏 research 的 一个 问题。 一个 就是 刚才 大家 谈到 那个， 比如说 涌现 的 能力， 其实 可能 对于 现在 目前 整个 业界 来讲， 就是 还没有 一个 完全 定论 或 公认 性 的这 一把 就 包括 我们 自己 的话， 对 这个 事儿 其实 可能 会有 一些 和 业界 主流 的 各种 观点， 可能 会有 一些 不太 一样的 一些 思考 和 想法。 比如说 我们会 认为 说 从 现象级 来看， 这个 可能 是一个 我们 说 它 这 是一个 一个 ability。 但 这个 事儿 很有可能 只是 我们在 对 这个 数据 的 一个 拟合 和 抽象 整合 上面， 做到 了 更进一步 的 一个 自然 的 一个 体现。 我 换句话说， 这 就像 说 比如说 一个 非线性 的 一个 函数， 做 一个 泰勒 级数 的 一个 展开。 由于 你的 数据量 有限， 你的 算 力 有限， 拟合 的 这个 精确 程度 它 可能 只能 做到 一个 二阶 三阶 的 一个 展开 的 程度。 因为 现在 有了 这个 大 模型， 你 又 给他 了 更多 的 数据 和 算 力。 他 其实 现在 能把 原来 这个 二阶 的 函数 拟合 到 一个 4到5 阶 的 这么样 一个 程度。

而 恰恰 是 说 在 很多 的 包括 语言 上 的 推理 上 的 这个 能力， 它 不是 一个 大家 在 比如说 新闻报道 里面， 在 这样 一些 最 常用 的 文本 里面 最 经常出现 的 一些 应用。 它 恰恰 是一个 从 整个 比如说 我们 说 一个 T 的 这个 数据集 里面， 它 可能 只有 非常 小的 一个 部分 是 真正 涉及到 可能 是 多步 推理 相关 的 这个 部分 的 数据。 当你 只有 一个 小 模型 的 时候， 你 从 全局 去 fit。 由于 你的 能够 memorize 的 这个 内容 有限， 你 一定 是 优先 解决 那些 更 低阶、 更 高频 的 东西。 那些 更 低频 的 东西 你 实际上 是 关注 不到 的， 这个 是 我们 对 这个 事儿 的 一个 理解。 就是 他 可能 不一定 有 大家 想象 的 这么 神奇。 它 可能 更多 的 是 说 我 有了 更多 的 数据 和 算 力 以后， 我 确实 是 能把 一个 方向 能够 fit 到 更 高阶。 而 恰恰 有些 推理 能力 是在 高阶 它 才会 出现 的。 它 不属于 一个 简单 的对 内容 的 一个 续写 的 这么 方面 的 一个 能力。

我 觉得 这个 通常 也很 深刻， 把 一个 方形 推 到 更 高阶， 我不知道 它 是不是 类似 于 比方说 像 物理学 涌现 道 化学 或者 是 这种 不同 学科 之间 涌现， 但是 可能 有所 类似。 我 觉得 这个 问题 也 想 问 一下 孙 老师 怎么看 这个 事情。 就是 怎么样 结合 你 垂直 行业 的 一些 知识， 或者 垂直 专家 的 一些 经验。 个人 的话 比方说 我 怎么 去 写 prompt 让 他 越来越 聪明。

就是 有 几个 东西 刚刚 听 了 前面 的 对话 我想 聊 第一个 就是 怎么样 做。 但是 背后 其实 有 两个 挺 重要 的 点， 就是我 觉得 大家 还是 对 这个 chat P T 到底 怎么 样子 做到 现在 这个 结果 的 有一个 认知 上 的 不一样。 我 还是 想 把 我自己 的 认知 说 的 更 清楚 一点， 这样 在 当 大家 来 指出 我 认知 错误 的 时候， 也能 指出 的 更 清楚 一点。 先 说 结论， 就是 他 可能 很 简单， 他 就是说 你 把 我们 公司 的 代码 读 一下， 然后 他 就 做 完了 这件 事儿， 为什么呢？

我们 其实 群 里边 有一个 同学 想 自己 靠 这个 GPT3 的 A P I 给 自己 做 一个 问答 机器人。 他 一开始 发现 他 要 读 一个 长 句子 是 很难 的， 因为 那个 A P I 只 给 了 4000个token 的 这样 一个 limit。 然后 我们 还 分析 了 半天， 怎么 样子 去 把 这么 长 的 信息 feed 进去， 然后 变成 4000的token， 是 切片 的 还是 怎么样。 然后 OpenAI 为什么 会有 这样的 一个 限制， 是不是 因为 这 算 力 的 限制 等等等等。

他 后来 上网 找 了 github， 然后 看 别人 是 怎么做 这件 事情 的。 发现 原来 他 只要 跟 PPT3 说， 这 是一个 长文 的 一部分， 你 把 这部分 读 了， 但是 我 还 会给 你 一些 别的 东西 就行了。 他 真的 是在 用 自然语言 就可以 解决 这样 一件 事情。 我们 现在 看到 就是 new bing 和 chat B T 的 能力 又有 一个 非常 强 的 提高。 我在 群 里面 还 发 了 一下 他 对我 这个 频道 的 总结。

大家 一 看到 他 和 chat B T 已经 不是 一个 层次 的 总结 了， 就 总结 的 非常 的 好。 而且 我 还 让 他 总结 了 一些 不同 的 人， 然后 他 对 不同 的 up 主的 重点 抓 的 也很 好。 比如说 介绍 我会 介绍 我的 思维方式， 介绍 我们 腾讯 的 一个 虚拟人， 会 介绍 这个 虚拟人 的 性格， 这个 能力 又是 很 不一样。 但是 根据 网上 的 这个 泄露， 从 这个 叉 G B T 到 这个 new bin， 大多数 是 通过 这个 instruction prompting， 就是 让人 去 跟 他 对话， 不断 的 通过 这个 对话 告诉他 你 应该 做什么， 不应该 做什么 而 做到 的。

然后 我们 去 看 chat P T 的 文献 也会 看到， 很多 时候 他的 所谓 的 reinforce learning human feedback， 和 我们 之前 的 人工 给他 贴标签 的 这个 做法 是 不一样的。 它是 人 用 instruction 的 方式 把 他 做 的 这个 东西 去 更 适配 人类 的 preference。 所以说 我 觉得 林总 前面 说 的 那个 点 我 非常 同意。 就是 他 可能 有 几百种 方式， 我们 用 人类 给他 反馈 的 方式， 找到了 比较 适合 人类 的这 一种。 但是 我 觉得 大家 一定要 把 他的 这种 方式 和 过往 的 机器学习 的 find tuning 有一个 区分。 就是 它 虽然 可能 都 叫 分内， 过往 的 机器学习 是我 这个 模型 有一个 找 pattern n 的 能力。 现在 我给你 一个 数据集， 它 更 符合 我的 真实 使用 场景。 你 在 这个 数据集 里边 找到 一个 新的 规律， 或者说 利用 之前 找 规律 的 方式， 找到 一个 更 适合 新的 数据 的 规律， 提高 这里 的 准确率。

拆 GPT 不是 这样 做 的， ChatGPT 的 instruction 是真的 就是 利用 它的 推理 能力， 而且 它的 推理 能力， 我在 群 里面 发 的 这个 文章 他 也 讲 的 很 清楚。 就是 在 GPT3 的 这个 series 里面， 它是 不太 有 这个 推理 能力 的当 他 读 了 很多 代码 之后， 就是 这个 GPT3.5 series 之后， 他 就有 了 这个 推理 能力。 而且 这个 推理 能力 泛化 到 没有 见过 的 任务， 利用 思维 链 进行 复杂 推理， 这些 东西 全都 是 他 读 了 代码 以后， 同样 的 一个 模型 就 具备 了 这样的 能力 的。 所以说 我 觉得 大家 在 对 这一点 上， 我 始终 无法 表达 清楚， 过往 的 机器学习 和 chat P T 是 有 本质 不同 的， 这个 本质 不同 在 inference。

我 最后一个 问题 就是 关于 交互 和 场景 的 这个 事情。 我想 先 问 孙 老师 这个 问题。 因为我 觉得 如果 ChatGPT 能 让 机器人 更 像 人 的话， 那 他 可能 和 虚拟 助手 交往 是一个 非常 有 乐趣 的 一个 事情。 就是 他 可以 帮助 你 去 学 知识， 甚至 是 完成 一些 情感 上 的 一些 安慰。 我 觉得 他 好像 他在 Q C 的 会有 就像 触摸屏 那个 时代 对 吧？

出现 短 视频 这种 比较 大 的 一个 变革。 就是我 觉得 从 我 今天 一个 想象 来看， 我是 如果 能 有一个 智能 音箱 带 屏 的， 我会 是 非常 兴奋 的 把 它 摆在 我的 旁边， 然后 不停 的 和 它 交互。 我 觉得 它 好像 会对 别的 场景 是 很多 替代。 如果 游戏 里面 一个 有 交互 能力 的 游戏， 好像 会对 没有 交互 能力 的 游戏， 它 当然 它 不是 场景 替代， 但是 它 也是 一个 比较 大 的 一个 范式 的 一个 转变。

我想 先请 孙 老师 回答 这个 问题。 就 是从 游戏 或者 从 媒体， 或者 从 互联网 的 这种 交互 来看， 这种 ChatGPT 加上 或者说 M R 或者 是 别的 什么东西， 会不会 出现 新时代 的 一个 短 视频， 或者 会不会 出现 新时代 的 场景， 还是 您 认为， 因为 其实我 也 通过 有些 比较 密切相关 的， 他们 觉得 这个 东西 还是 现在 生产力 上 有。 对我 就 想 问 一下 你 自己 喜不喜欢 和 他 聊天。 然后 第二个 就是说 你 觉得 他 会不会 出现 新的 一个 Q C 的 一个 爆款 应用。 谢谢。

谢谢 你的 问题， 这个 问题 非常 的 有趣 和 ironic， 为什么呢？ 因为我 其实 跟 徐 老师说 起来， 就是我 十月份 的 时候 去 采访 一下 他 那个 视频 的 标题 在 B 站 比较 火， 是我 最 火 的 一期 视频。 那个 视频 的 标题 是 这 轮 衰退 中有 哪些 机会。 徐 老师在 十月份 的 时候 非常 明确 的 指出 来， AIGC 是 我们 这 轮 衰退 中的 最大 的 一个 机会， 而且 他 可能 就是 类比 到 过去 的 这个 移动 互联网 和 云计算 的 这么 大 的 机会。 就是 非常 推荐 大家 去 看 这个 节目。

今天 我们 说 的 这个 话， 无疑 就是 在 应验 徐 老师 的 预言 而已。 他说 我们 当时 可能 对于 移动 互联网 和 云 已经 有 很大 的 热情 了， 但是 每个 人都 低估 了 这些 事情。 我 觉得 今天 也是 这 样子 的， 每个人 似乎 都在 讨论 ChatGPT， 但是 对 他的 真正 的 revolutionary 可能 反而 认知 又是 不够 的。 总之 就是 十月份 的 时候， 那个 时候 连 AIGC 的 那些 图， 那些 都 没有 火 起来， stable diffusion 都 没有 火 起来。 徐 老师 已经 非常 明确 的 讲 了， 这就是 机会。 但是 当时 我 跟 徐 老师 的 一个 观点 不同， 就是说 徐 老师 你 好像 说 的 都是 to b 的 东西， 就是 他在 想 AIGC 在 公司 里边 能 取代 什么人， 然后 我在 想 AIGC 听起来 不 像是 一个 非常 sexy 的 to c 的 东西， 它 不能 在 to c 上 解决 很多 问题。 所以说 我 当时 反而 是 站在 了 你的 这个 观点 上， 我会 去 更多 的 去 想 AIGC 在 two c 上 到底 有什么 革命性 场景。

然后 今天我 再 回想 这件 事情 的 时候， 或者说 我 再去 想 我的 观点 的话， 我 仍然 觉得 他在 to c 上 的 场景 没有 让 我 对 to b 的 场景 上 这么 兴奋。 To c 当然 说 你 interactive 的 一个 东西， 也许 它 能 怎么样， 但是 我不 觉得 这个 是 to c 的 一个 真实的 需求， 就是你 在 C 端 上 的 真实 需求， 还是 短 视频 也好？ 你 想 去 得到 一些 多巴胺 的 分泌， 你 想 去 诉诸 感性， 想 去 得到 一些 感官 的 刺激。 你 在游戏 里边 玩， 你可以 得到 一些 刺激 的 体验 等等。 你 有了 ChatGPT， 也许 能 让 你的 N P C 更加 栩栩如生。 但是 他在 这个 游戏 好玩的 这件 事情 上， 可能 未必 是一个 特别 重要 的 事情。 它 在 一个 视频 的 生产 的 过程中， 它 能 提高 视频 生产 的 效率。 但是 它 不会 是一个 视频 好不好 看 的 决定 因素。

同样 的 就是 网文， 它 也许 能 让 一个人 原来 更 100期， 一下子 变更 17000。 但是 网文 的 市场 也就 那么 大， 就是 他在 to c 的 市场上 到底 能不能 带来 一个 增量 的 场景， 我 其实 是 抱 怀疑 态度 的。 像 明 总 这个 其实 也是 一个 to b 的 产品， 对 吧？ 他在 to b 上 我 觉得 是 能 提高 很多 工具 的 效率 的。 但是 在 to c 上 起码 我没有 想到， 就是我 确实 是一个 一直 做 to c 产品 的 人。 但是 我没有 觉得 它 有一个 特别 满足 消费者 人性， 且 人们 必然 要 使用 它的 东西。 它 更 像 V R， V R 它 看上去 很酷， 我 玩 的 V R 的 那些 游戏 我也 觉得 挺好玩， 但是 我 也没有 天天 想要 玩 V R， 大概 就 这种 感觉。

这个 很 有意思。 宋 老师 也 Q 了 明 总， 明 总 咱们 做 的 肯定 是 Q B 的 业务。 就是 这个 东西 会 让 比方说 律师 和 律师助理 关系 好 一样， 然后 律师 和 自己的 律师 助手 好。 或者说 在 内容 生成 上 我们 有没有 看到。 因为 在 内容 生成 上， 其实 大家 有 很多 的 一些 有趣 的 一些 社交 的 一些 应用。 明 总 你 觉得 比方说 这种 ChatGPT 加 社交， 当然 他们 很多 热度 可能 都 只 持续 了 一段时间。 您 觉得 有没有 一些 比较 持续的 在 这种 场景， 或者 是在 这种 交互 上 的 一些 Q C 或者 是 Q 个人 的对 吧？ 然后 又会 出 一场 对 这种。

谢谢 理解。 首先 就是我 觉得 可能 是 对于 我们 公司 定位 而言 的话， 我们 可能 也 不能 纯粹 说 自己是 一家 to b 的 公司。 其实 我们 C 端的 个人 的这 注册 这个 用户 的话， 也是 有 大 几百万 的 这么样 一个 级别。 所以 其实 我们是 拥有 大量 的 C 端的 个人 的 这种 对 我们 进行 提高 生产力 的 方向 的 使用 的 产品。 另外 就是我 觉得 刚才 包括 泽宇 总 在 说到 的， 可能 已经 不是 一些 假设性 的 一些 问题 了。 国外 其实 在 过去 的 一两年， 应该 是 涌现 出来 不止 一两家 在 试图用 包括 一些 跟 新一代 的 语言 模型 相关 的 去做 一些 类 社交， 或者 是 虚拟人 陪伴 这 方向 的 产品。 应该 我记得 最有 代表性 的 国外 的 一家 叫 replica， 他们 好像 也 做到 了 一个 大概 年收入 几千 万美金 的 一个 A R 的 这个 程度。

包括 我自己 去 观察 的话， 我会 发现 一些 社交 媒体 上 对 这 类产品 的 一个 讨论。 他们 其实 有些 是 比如说 用户 是 非常 上头 的。 他 会 是一个 每天花 几个 小时 时间 和 他的 虚拟 伴侣 去 进行 沟通， 去 聊天， 去做 一个 养成类游戏 的 类似的 这个 模式。 所以 其实 现在 我 觉得 他们 应该 已经 有一个 至少 上 千万级 的 注册 使用 的 群体。 就 说明 陪伴 类 的 应用 其实 已经 逐渐 在 起来。 而 它的 一个 limit 在哪里 呢？ 就是 这个 事儿 其实 还是 相当 跟 技术 相关 的。 你 要 达到 一个 很 好的 一个 陪伴， 给 人一个 比较 好的 一个 personality， 比较 温暖 的 效果。

它 对 技术 的 要求 其实 相当 之高 的。 而 恰恰 是 我们会 认为 可能 优先 的 一些 像 营销 文案 的 一些 撰写， 这个 反而 是从 技术 的 现在 发展 角度 上， 你 可能 跳起来 一下 就 能够 得着。 而 你 要 长期 去 塑造 一个 人物， 保持 他的 personality， 保持 他 类似 真人 一样， 有一个 相对 比较 统一 的 一个 世界观。 并且 可能 还有 long term 的 这个 memory。

你 三天 以前， 比如说 你 告诉他 一件 事儿， 然后 你 今天 问 他的 时候， 他 可能 还能 回想 的 起来 这么样 一些， 就是 一系列 的 这个 问题。 我 觉得 本质 上 在 背后 都有 一系列 的 现在 还没有 完全 解决 的 一些 新的 一些 技术 的 问题 需要 攻克。 你 可能 每 攻克 一个点， 你 就会 觉得 他的 能力 可能 就 更 像 人 一些， 他的 陪伴 的 这个 能力 就能 做 的 更好 一些。 所以 我们 觉得 这个 应用 从 一个 更长 的 一个 时间 来看， 我会 相信 它是 有 足够 的 一个 市场。 它 很有可能 我 觉得 是 会 和 一些 比较 主流 的， 比如说 游戏 厂商 大规模 的 语言 模型 去 塑造 一些 N P C 的 角度 上去 做 一个 更 下一代 的 游戏， 让 这个 游戏 具有 更 深入 更 沉浸式 的 体验 的 一个 过程。 两三个 月 以前 我 看到 米哈 游 他们 应该 有一个 team 在 招 人我 看 了 一下 那个 叫 description 的话， 想 干 的 应该 就是 类似的 事情。

非常感谢 李总 分享。 对我 还有 个 问题 想 问 浩宇 老师， 就是 比方说 to b 的 情况， 大家 可以在 很多 平台 上 编程， 可以 就 深入 到 最 下面 的 linux 命令行， 这是 一种 交互。 然后 我们 可以在 亚马逊 的 云上 或者 是 docker 对 吧？ 我们 可以 搞 一个 aw less 的 londa 在 上面 去 编程。 我们 可以 搞 一个 hot file 的 那个 worker， 它 好像 也是 一个 可以在 上面 编 自己的 应用， 我们 可以在 手上 编 自己 应用。 我们 可以在 ChatGPT 上 别人 自己的 应用， 他们 都 是一种 交互， 都 是一种 平台。

您 觉得 这个 平台 他们 之间 差 的 是什么？ 就是说 成本 和 便利性 吗？ 还是 说 有什么 更 深刻 的 一个 东西， 或者 你 想 分享 一下 Q C 这边 的 观点 也可以， 对不对？ 我想 请教 一下 浩宇 老师， 谢谢。

其实 这方面 我 觉得 刚才 两位 同学 已经 说 的 蛮 多了， 没有 什么 太多 的 可以 加。 唯一 我 觉得 就是 因为 小孙 他 提到 去年 10月份 他 采访 我的 时候， 我 收到 了 一个 观点， 就是 AIGC 以后 会 火 起来。 在那 一个 访谈 里面 我 还 提到 一句话， 我说 希望 在 不远 的 将来， 我们 这个 访谈 的 这段话 的 质量 能够 超过 机器人 产生 的 一个 访谈 的 质量。 我 到时候 说 的话， 我 其实 是 比较 serious 的， 比较 严肃 的， 并 不是开玩笑 的。 我 觉得 以后 确实 是 会有 很多 访谈， 他的 质量 也会 蛮高。 所以说 作为 我们 一个 不管 是 做主 播 也好， 还是 作为 一个 嘉宾 也好， 其实 以后 面对 的 是 那些 机器 产生 的 content。

Right 我 觉得 那一天 其实 是 肯定 会 到来， 而且 比 我 预想 的 更 早 到来。 你 如果 看 过去 20年 互联网 的 发展， 很大 的 一个 突破 就是说 本来 是 少数 的 人 写 content， right 就是 记者 什么。 现在 人人 都是 自媒体， 人人 都 可以 写写 东西， 推特、 博客 对 吧？ 人人 都 可以 去 写。 所以说 大家 老百姓 自己 产生 的 信息 在 网上。

然后 我 觉得 今后 二三十年， 一个 我 既 期待 又 觉得 是 非常 可怕 的。 就是 99% 的 材料 资料 是 机器人 写 的， 而不 只是 我们 人类 写 的。 那个 时候 我期待 的 是 在于 有 更多、 更 广泛、 更好、 更 自动化 的 一些 材料 产出。 但是 也有 一些 诚惶诚恐， 就像 我在 那个 访谈 里面 说 的， 作为 一个 做 节目 的 人， 怎么能够 超过 机器人， 这 成为 一个 真正 的 话题。 在 不远 的 将来。 所以说 关于 to c 的， 我 就 稍微 补充 一下 我自己 刚才 两位 会 在 讲 的 时候 我 想到 的 一点。

我 这 是要 补充 一下。 欢迎 你 刚刚 说 的， 就是 你说的 那个 实在是 让 我 你 当时 说完 那句话 了 以后， 我 就 一直 在 想 这件 事儿。 然后 一直 想到 了 刚才 泽宇 说 人的 智能 和 机器 的 智能 到底 有什么 不同 的 时候， 也是 我 一直 的 一个 延伸。 就是我 就在 这儿 稍微 补充 一下， 就是我 是 觉得 人的 洞见 可能 跟 那个 判断力 是 有关的。 为什么 我 觉得 机器 虽然 也 在 做 判断， 但是 人的 判断 和 机器 的 判断 会有 本质 的 不同。 就是 所谓 的 original， 所谓 的 incremental 的 这些 知识， 我 觉得 机器 是 创造 不 出来 的。 也就是说 你 一个人 的 如果 发 的 内容 就是 为了 追 热点， 然后 把 热点 总结 一下， 然后 为了 去 给 大家 一些 看似 有用 但是 其实 没有用 的 知识， 那 这个 东西 机器 完全 可以 取代。 所以说 我 就 特别 怕 我们的 对话 成为 了 一个 x GPT， 未来 可以 做出来 一个 对话， 那 我们 怎么 样子 才能 做出来 一个 对话 是 x GPT 它 永远 都 做 不 出来 的 呢？ 我 觉得 就是 要 不断 的 去 把 我们 自己的 mental model 去 想方设法 的 去 贴合 这个 真实世界。 然后 从 这个 mental model 里面 去 得到 一些 对于 世界 什么 是 重点， 什么 是 本质 的 一些 认知。

所以说 说 创 还是 需要 有 一些 洞见。 泽宇， 你 刚才 是 想 问我 to b 的 什么 问题， 再 能不能 再 重复 一下。

就是 我们 说 我们 可以在 linux 那个 命令行 里面 编程， 我们 可以 把 都 可以 变成 对 那个 问题。

说起 这个， 其实我 个人 还是 蛮 有 自己的 一个 观点 的。 其实我 在 去年 的 时候 写 过 一篇 文章， 在 硅谷 的 主流 媒体 其实 也是 被 报道 过 几次。 开 GPT 刚 出来 的 时候， 大家 11月30 号 出来。 然后 之后 的 大概 两三个 星期， 在 硅谷 的 整个 氛围， 大家 都 觉得 这 是一个 google search 的 一个 replacement。 我 觉得 对 google search 肯定 是对 google 的 搜索 肯定 是 有 一定 的 影响， 或者说 有 不小 的 影响。 这 我相信。

但 我 个人 觉得 它 更 深远 的 影响 其实 是对 整个 云计算 的 影响。 其实 就是你 泽宇 你 刚才 提到 的， 像 我们 过去， 那个 云计算 本来 是 虚拟机， 我 个人 是 参与 了 虚拟机 的 从无到有 的 那个 几乎 是 全过程， 对 吧？ 然后 后来 是 到 那个 container docker， 后来 serverless， 然后 这些 local 的 local 的 这些 东西。 然后 我 觉得 这些 如果 看 计算机 的 平台 也好， 云计算 的 平台 也好， 过去 10年、 20年 甚至于 50年， 他 做了 一件 什么 事情 呢？ 他 做了 一件 事情 就是 obstruction level， 或者说 是 编程 的 环境 越来越 高级。 本来 是在 汇编语言， 后来 到 C 后来 到 visual basic。 然后 机器 也 是从 physical 的 machine， 从 物理 机 到 虚拟机 到 容 就 越来越 高级， 越来越 把 下层 的 给 掩盖 掉， 就是 下层 的 那个 细节 给 掩盖 掉。

小孙 刚才 说 了 一句话， 其实 我们 这个 x GPT 不是 一个 聊天机器人， 是一个 机器人。 正好 只是 有一个 聊天 的 一个 窗口， 或者 聊天 作为 一个 交互 的 方式。 我 觉得 自然语言 会 成为 今后 编程 的， 或者说 控制 计算机， 或者说 跟 计算机 打交道 的 一个 交互 的 借口。 所以说 今天 我们 至少 多数 的 程序员 还要 去 学 这些 语言。

我 觉得 在 今后 的 20年， 我 觉得 人人 都 应该 是 程序员 不需要 去 读 计算机。 但是 你的 语言 不管 是 中文、 英语、 法语 也好， 就是你 的日常 语言 就可以 去 编程。 因为 编程 这件 事情 不应该 是一个 需要 有 读 了 50年 前、 40年 前 你 需要 读 一个 计算机 的 博士 才能 去 编程。 现在 你是 读 几门 课， 聪明 一点 的 人上 几门 课 就 可能 可以 开始 编程 了。 但是 还有 很多人 不会 去 上课， 一辈子 不会 编程。 但 我 觉得 在 今后 的 20年 可能 不需要 更多。

20年 之内 我 觉得 人人 都 应该 是一个 编程 者， 人人 都 应该 去 能够 跟 云计算 的 平台 打交道， 这是我 看到 的。 所以说 我 觉得 从这一点 来讲， 如果你 想 把 任何 一个 企业， 每一个人 都 给你 配 了 三个 程序员， 一天 24小时， 每周 七天 给你 干活。 你 想要 编 什么 他 马上 就 给你 编出来， 这 对你 来说 是一个 巨大 的 一个 改变。

感谢 浩宇 老师， 对我 今天 就是 作为 一个 prompt 的 司机， 我们 这个 超级大 的 一个 参数 特别 亮， 数据集 特别 大 的 一个 模型， 不停 的 去 产出 高质量 内容。 但是 我 这个 prom 的 还是 能力 有限， 所以 我们 还是 请 嘉宾 们 他们 自己 最 关心 的 问题。

看看 线上 的 听众 有什么 问题 吗？ 不管 是 上班 也好， 或者说 是在 chat 里面 提问 也好。 这 里面 有人说 是不是 输入 所有的 科学 人文 历史 著作， 会不会 影视资料？ 我们 其实 刚才 已经 说到 这一点 了。 推理 能力 我自己 觉得 应该 是 会 高 很多， 但是 如果 是 不同 的 资料 的话， 要 看你 怎么做。 我 觉得 应该 是 会 至少 在 一两年 内， 我 觉得 应该 会有 更多 的 资料， 更大 的 数据量 给 接下去 的 模型 会不会有 一个 天花板？ 会不会 到 一个点 给 很多 数据 好处 会 低 很多， 那是 有可能 到 那 一个点。 但 我不 觉得 在 不远 的 将来， 我 觉得 还有 一段距离。

其实我 知道 听众 他们 都 有一个 很 问题， 但是 这个 问题 的话 也 特别 不好 回答。 就是 有 三个 数量 上 的 问题， 大家 可以 随便 给 一个 数字， 也 不用 说明 理由。 第一个 问题 就是 我看 也有 听众 问 了， 我们的 大 模型 相比 那个 GPT 的话， 国内 的 大 模型 距离 还有 几年 对 吧？ 第二个 问题 就是说 深度 学习 它的 一个 成本 未来 每年 会 下降 多少 年？

中国 的 差距 我 一点 都 没有 任何， 因为我 主要 还是 生活在 硅谷。 我 觉得 对于 硬件 的 成本 的 下降， 我 觉得 应该 是 会 比较 大 的 下降。 当然 如果你 去 套用 摩尔定律， 不一定 是 很 科学， 因为 摩尔定律 的 上下文 会 很 不一样。 但是 如果你 要 我 猜想 的话， 我 觉得 还是 一个 摩尔定律 这么 一个 数量级 往下面 走， 训练 的 成本 未来 能够 下降 到 什么 水平？ 如果 你是 问 那个 OpenAI 的 人， 他们 会 告诉你 未来 会 下降 到 几乎 是 零。 但 这个 东西 未来 是 什么时候， 然后 什么 速度， 我们 还是 仁者见仁 智者见智。

我 个人 觉得 历史 不断 在 重复。 从 这个 角度 上 来讲， 我 觉得 摩尔定律 这么 一个 下降 速度， 我会 更加 相信 一点。 但 没有 任何 的 证据， 只是 一个 自己的 一个 感觉。

那 民众 怎么看 这个 问题 呢？ 我们的 看法 和 业内 绝大多数 可能 不太 一样。 就 因为 我们 也 注意到 说说 尤其是 最近 一个月 左右， 谈到 这个 比如说 国内 的 各种 的 研发 和 比如说 国际 上， 尤其是 跟 直接 拿 P I G B T 这条 线 作为 对比 的话， 这个 差距 有 多大？ 对， 有的 可能 说 两年， 有的 说 甚至 两 还 超过 两年， 然后 要 多少 的 成本 才能够 去 浮现 出来。 有的 可能 说 需要 上 亿美金， 有的 可能 说 两个 亿 到 3个亿美金， 可能 还 不足以 去 把 这件 事 浮现 起来。

我们的 看法 偏 客观 一些。 如果 有一个 比较 好的 团队， 在 相对 资源 比较 充足 的 这个 情况下， 很有可能 是 他 要 去 做到 一个 接近 的 一个 效果。 可能 需要 的 这个 成本 以及 这个 花费 的 时间 会 比 大家 想象 的 要 短 一些。 因为 毕竟 我们 说 就是你 第一个 把 这件 事儿 做出来 的 人， 第一个 登上 月球 也好， 你 第一个 造出 原子弹的 和 你 当你 得知 了 有 这么样 一个 可行性 路径， 以及 也许 大致 的 这个 方法 以后， 你 要 去做 这件 事儿。 它的 这个 成本 下降 一个 几倍， 甚至 下降 十倍 的 这个 级别， 我们 觉得 都 是一个 非常 合理 的 这么 一个 逻辑。 就 包括 我们 自己 团队 在 内部 的话， 也 在 实践 一些 百亿 乃至 达到 几百亿 规模 的 一些 参数 的 这个 模型 的 训练。 用 足够 好的 一些 工程 上 的 技巧， 我们是 认为是 可以 把 它 降到 一个 还 比较 低 的 一个 程度。 这个 是 我们 对 如何 追赶 这个 事儿 的 一个 判断。

而且 我们 应该 会 在 不久 的 将来， 我们 自己 会 release 一个 demo。 把 这样的 一个 多轮 对话 的 这个 能力， 也 在 比如说 小 程序 等等 这么样 一个 形式 给 release 出来。 大家 可以 感受一下， 就是 我们。 国产 的 全 自 研 的 版本 的 对话 的 这么样 一个 系统 和 ChatGPT， 就是 目前 到底 差距 还有 多大。 我们 可能 是 用到 一个 比 ChatGPT 小 两个 0到3个 零 数量级 的 这个 成本 去 做出来 的 这么样 一个 效果， 这个 是 其一。

然后 第二个， 其实 刚才 谈到 那个 对 训练 成本 的， 包括 这个 算 力 的 成本 的 下降。 刚才 那个 问题 我 更 乐观 一点。 但是 对于 这个 算 力 成本 下降 这 事儿， 我 反而 会 更 偏 悲观 一点。

就 从 半导体 这个 摩尔定律 这个 事情 来讲 的话， 早期 在 提出 这个 摩尔定律 的话， 更多 的 还是 针对 于 这个 单核 的 半导体 集成电路。 而 可能 在 十几年 以前， 大家 会 发现 这种 单核 的 system 基本上 已经 复习 到 接近 于 这个 摩尔定律 的 极限。 所以 大家 看到 现在 比 说 对 芯片 上 的 纳米 的 工艺 等等， 其实 基本上 也 改进 到 一个。 除了 有一个 更 突破性 的 物理 上 的 进展， 你 可能 没有 办法 去 突破 这种。 比如说 两 纳米 一 纳米级 的 这种 芯片， 就是 再 往往 下走， 你 就 涉及到 很多， 就 比如说 什么 量子 的 隧 穿 等等 的 一些 新的 可能 现在 还 尚未 解决 的 一些 问题。 所以 更多 的 现在 还是 在 比如说 把 更多 的 由 单核 改变 成 多核， 由 原来的 一个 指令 然后 一个 数据 进行 处理， 变成 了 可能 是 单个 指令， 然后 多个 数据 进行 处理。

但 其实 就 包括 大家 可以 看到 最新 的 这个 N V D R 的 H 100这个 芯片。 虽然 在 算 力 上 其实 是 有一个 显著 的 上涨， 但 背后 其实 对于 电力 的 消耗 其实 也 几乎 是一个 翻倍 性 的 一个 上涨。 它 其实 是用 了 一个 更大 的 一个 功耗 去 换 它 更高 的 一个 算 力。 所以 它的 实质性 就是 瓦特 的 进步， 其实 已经 没有 像 五年 以前， 四年 以前 的 那种 突飞猛进 的 进展 的 一个 了。 但 当然 就像 大家 在 谈 那个 说， 未来 我们 能够 把 电 这件 事儿 的 成本 降到 0， 那 也许 是 可能 的。 这个 就是 大家 一直 在 期待 的 一些 什么 可控 核聚变， 就 新的 一些 这种 可能 目前 也 还在 可能 十年 为 周期 的， 短期 看不到 一些 马上 能 应用 落地 的 一些 方向。 所以 我 反而 对于 未来 的 五年 就 觉得 这个 算 力 下降 很有可能 是 会 减缓。

对了， 明 总 就是我 还 有一个 快 的 一个 问题， 您 说 的 那个 半导体 制程 对 吧？ 它 导致 这个 功耗 没法 完全 提高， 就 很 同意。 还想 问 一下， 您 觉得 咱们 这个 训练 里面， 感觉 这个 显卡 的 内存 它 会 是一个 瓶颈 嘛？ 就是 不管 说是 V 100可能 是 瓶颈， 或者说 是 H 800或者 A 800可能 是 瓶颈 这种 感觉。 谢谢。

他的 问题 实际上 是 这样的， 就像 现在 对 一些 比较 大规模， 超大规模 的 一些 模型 的 训练， 因为 它的 这个 容量 已经超过， 哪怕 是 最新 的这 一代 的 这个 H 100， 它 其实 在 显存 上面 和上 一代 的 这个 A 100其实 并没有 改进。 它 现在 最新 release 出来 那个 spec， 其实 最 顶 配 的 那个 也是 80G的 这么样 一个 规模。 所以 它 其实 本身 就 没有 办法 在 单个 的 芯片 上 的 显存 上去 承载 单个 的 模型。 所以 像 原来 包括 google 的 最大 的 P L M 的话， 它的 公布 的 最 大规模 的 训练 应该 是在 把 整个 运算 分摊 在 6000张的 它的 T P U 的 上面 去 进行。

所以 这个 带来 的 问题是 说， 你 需要 非常 好的 节点 到 节点 之间 的 快速 通信 的 一些 能力， 这个 也是 包括 NVIDIA 去做 所有的 什么 N V link， 包括 它的 节点 之间 有 一些 比 传统 的 一些 比如说 网线 更好 的 什么 in fini band， 甚至 更进一步 的 一些 这种 硬件 技术。 就 相当于 是 直接 在 比如说 和 机器 之间 通过 一些 特殊 连接 来 去做 的 模型 之间 的 信息 的 传输。 这些 发展 都是 同步 在 对 大 模型 的 训练 同步进行 当中 的。 换句话说， 如果 是 咱们 用 传统 的 一些， 比如说 机房 的 一个 G 10个G 这种 传统 的 网线 来 连接 的话， 实际上 给你 十台 A 100， 它的 这个 训练 速度 并 不会 提升。 因为 你的 瓶颈 全部 卡 在 机器 之间 的 这个 模型 参数 交换 上面 了。

好的， 感谢。 这个 问题 也 问 一下 曾 老师 一个 看法， 就是 我们 对 大 模型 相比 国外 落后 几年， 然后 大概 就是 深度 学习 的 一个 成本， 每年 您 感觉 会 下降 多少？

大 模型 到底 是一个 原子弹 还是 一个 飞机 引擎， 我没有 定论， 我 觉得 他 可能 不是 原子弹， 不是说 我们 兑 一下 就能 兑 出来 的 东西。 如果说 是一个 check box， 那 肯定 可以， 百度 现在已经 有了 对 吧？ 然后 它的 文献 肯定 有 很多 参数。 我相信 未来 肯定 有 很多 中国公司 会 出 一个 参数 数 比 OpenAI GPT 参数 更多 的 一个 这样的 模型 的这 肯定 没问题。 但是 他 能不能 涌现出 这个 influences 能力 我 不确定。

然后 据我所知 也 很多 是从 徐 老师 这 了解 的。 就是 open N I 它 其实 是个 工程 能力 非常 强 的 公司， 然后 他们是 做了 很多 工程 上 的 创新 和 不断 的 迭代 的， 包括 GPT 的 这条路， 对 吧？ 他们 一开始 GPT2 的 时候 是 比 bert 要 弱 很多 的， 就是 在 各个 任务 上都 是 不如 人家 的。 但是 为什么 人家 的 founder 就是 sam， 他是 有 这样的 convention， 他是 能 沿着 这条路 走下去， 他 是不是 已经 看到 了 未来 是什么 样子？ 就是 我们在 公司 做 这个 东西 的 时候， 他 不是 从头到尾 发明 了 一个 模型， 然后 训练 参数 了， 然后 这个 效果 就 达到 了， 对 吧？ 它 一定 是 有 每天每天 都有 很多很多 的 工程 和 科学 上 的 选择， 最后 这些 选择 累积到 了 现在 这个 结果。 我 很 担心 我们 不管 是 教育体制， 社会 氛围， 然后 人才 密度， 包括 大家 底层 思维 的 这些 能力 也好， 或者说 习惯 也好。 我 担心 他 不支持 我们 做出来 一个 拥有 influence 能力 的 大 模型， 就像 我们 做 不 出来 一个 战斗机 的 引擎 一样。 我 这是我 一个 比较 悲观 的 想法， 但是 我 当然 希望 我们 能 做出来。

对我 听说 各种 消息， 说什么 open I 它 可以 用 很多很多 对 吧？ 超过 一万 甚至 几万 的 G P U 同时 训练。 然后 微软 的 自己的 工程师 可能 就 几千块 的 各种 bug， 然后 其实 速度。

特别 我相信 这些 问题 都能 解决， 我相信 钱 的 问题 肯定 能 解决。 我们 国家 不 缺钱， 这 不是 问题 的 本质， 问题 的 本质 是 你为什么 要 决 尽量 几万 个人 去 训练， 对 吧？ 在 尤其 在 你 商业化 的 前景 还 不确定 的 情况下， 你 怎么 敢做 这个 决策， 这个 我 觉得 是 最难 的。

刚才 小孙 你 另外一个 问题 还没 回答， 就是 那个 算 力 下降 的 速度 大概是 什么样？ 你是 怎么 想 的？

计算成本 下降 这个 我 觉得 G P U 的 发展 我没有 算 过， 但是 他 应该 把 G P U 的 算 力 的 提高 的 这个 东西 给 往 上 叠加 一下， 这样的话 就 差不多。 也许 他 未来 会 遇到 瓶颈， 但是 我相信 如果说 你 针对 就现在 的 G P U 还是 为了 这个 移动 设备 或者 个人 设备 而 做 的。 如果你 真的 A I 的 算 力 要求 到 那么 大， 你 可不可能 出现 一个 很大 的 显卡 然后 来 算？ 我 觉得 也有 可能。 但 而且 很大 的 显卡 它 会有 很大 的 功耗 问题。 就是现在 为什么 做 这么 小， 不光是 为了 便携， 更多 的 是因为 你 这个 传输 的 距离 小， 然后 你 省电。 但是 不管 怎么样， 我 觉得 算 力 它 肯定 是 会 按照 现在 的 规律 大 差不差 的 下降。

可是 这个 就是 取决于 模型 效果 来说， 更多 的 不是 算 力， 而是 你 这个 模型 本身 的 研发。 就是 话语 说 之前 OpenAI 的 人 会 觉得 它的 这个 token 的 数量 和 本身 原始 数量， 它是 一个 平方 的 关系。 所以说 可能 我们 没有 办法 scale 这么 大 的 数据， 但是 champ sup 就 解决 了 这个 问题。 我 觉得 更多 的 是在 现有 的 这个 模型 的 training， 我们 是因为 不知道 什么东西 是 重点， 所以说 我们会 就 只能 全都 扔 进去。 当我们 对 这个 东西 理解 越深 的话， 我们的 训练 就 会越来越 有效率。 所以说 达到 同样 的 效果， 我相信 可以 指数 性地 提升 效率。

但 我 补充 一点， 其实 对于 这个 文本 的 生成， 我们 其实 也 看过 一些 业内， 包括 去做 这个 剪枝 蒸馏 的 一些 算法。 我们的 一个 基本 逻辑 的 判断 是 这样的， 就是 对于 很多 偏 判别 类 的， 比如说 分类 的 这种 问题， 减脂 和 一些 模型 的 压缩， 就是 把 一个 训练 好的 模型 做到 一个 10分之1 甚至 1% 的 规模 是 有效 的。 但 对于 生成 模型 来讲 的话， 这里 有一个 基本 的 一个 信息论 的 一个 下界。 就是你 其实 在 比如说 问 ChatGPT 的 时候， 实际上 是 把 它 当做 一个 世界 知识 的 一个 库。 而且 它 还是 在 做 这个 闭卷考试， 它是 不能 查 互联网。 它是 需要 通过 它 参数 内部 的 这些 储存 的 信息， 去 调取 所有的 信息， 以及 给你 正确 的 一个 回答。 所以 这个 事儿 的 可压缩性 可能 没有 大家 想象 的 这么 高。 也就是说 这里 有一个 信息论 的 下限， 就是你 要 记 比如说 一 亿个 这个 数字， 你 最少 需要 encode 多少 个。 这个 就 低于 这个 拜特 以后， 你 无非 就是说 你 得 把 一些 信息 给 扔掉。 比如说 扔掉 了 以后 就会 造成 就像 之前 我们 说 的 这种 pollution ation， 你 有些 信息 可能 它 就是 根据 这个 差值， 它 可能 就是 编出来 的那 精确 的 这个 东西 它 就 储存 不了 了。

所以 我们 恰恰 觉得 对于 生成式 模型， 很有可能 在 一个 比较 长 的 周期， 还 不能 放到 一个 纯 这种 尤其是 文本 型 的 手持 设备 上 能够 做 很快 的 这个 in 可能 还 比较 早。

其实 这样 如果 是 像 您 这种 信息论 的 一个 原理 来看 的话， 那 其实 最 方便 的 方式 还是 我们 把 那些 最 常 问 的 问题 先 把 它 归类 一下， 对 吧？ 先 给 它 画 程序。 然后 每次 的 调动 其实 反而 是 效率 更高 的 一个 方式。 从 降低成本 这个 角度 上 来说。

但 其实 就像 这种 V K P D R 的 英文版， 我记得你 压缩 完 以后， 它 其实 大概 也是 一个 6到7个 G 的 规模 的 大小。 我们 说 如果 是你的 模型 显著 的 低于 这个 大小， 你说 你 能不能 把 这个 V K P 的 很多 信息 给 retrial 出来， 可能 是 很 困难 的。 是不是 存在 一个 更好 的 一个 表达， 就像 刚才 咱们 提到 知识 图谱 这样的 一个 形式， 我们 认为是 有可能 的。 或者 换句话说， 我们 觉得 未来 的 一个 模型 的 构成， 很有可能 就说 是一个 sparse 的 知识 加上 一个 dance 的 一些 推理 能力 的 一个 组合 的 这么样 一个 形式。 就是你 也许 不需要 把 所有的 信息 放在 你的 模型 里面， 它 其实 是 应该 是 一个半 闭卷 半 开卷考试 的 这么 一个 模式。 或者 换句话说， 其实 咱们 现在 看到 的 这个 ChatGPT 结合 到 新的 这个 search 上面， 实际上 就是 这么样 一种 模式。 它 不需要 把 100亿的 网页 信息 全部 都 存在 模型 内部， 但是 他 有 对 这个 网页 信息 的 调取 和 搜索 的 能力。 然后 再 结合 他 本身 对于 语言 的 掌握， 他 其实 就能 给你 写 一个 很 好的 一个 summary 和 一个 问题。

的 一个 回答我 想 有一个 补充 和 一个 反问 可以吗？ 好的， 你说 就是 刚刚 针对 明 总 说 的， 他的 transformer 必须 要 调用 全局 信息。 这件 事情 是 这 样子 的， 然后 业界 会 提出来 一个个 大概 就是 文本检索 加 large language models 这样的 路线。 就 相当于 用 文本检索 的 方式 可以 有效 的 提取 这里 边 的 有效 信息。 大概是 这种 感觉， 这 是一个 探索 路径。

但是 我 更 想 了解 的 是， 泽宇 你 问 这个 问题 背后 的 原因 是什么？ 因为 在我看来 现在 large language models， 它 更 重要 的 东西 就是 它的 技术， 它的 发现 是什么。 然后 我们 就要 想方设法 的 多 堆 数据， 然后 多 这个 就现在 更更 多是 增效， 不是 降本。 那 为什么 要会 问 这个 的？

因为 二级 投资者 最 关心 的 无非 就是 你的 现金流 什么时候 体现， 你是 在 三年 之后 体现 还是 在 十年之后 体现。 所以 我们 就 用 问 的 是 最 粗俗 的 一个 问题， 就是 什么时候 你 能把 成本 降到 谷歌 的 引擎 用 它 不对 的 一个 情况？ 什么时候 能 让 这个 快速 的 走进 大业， 然后 这个 对于 I T 投资者 是 挺 重要 的 一个 问题， 我相信 对于 可能 对于 谷歌 也很 重要， 他 也 不想 每天花 很多 的 钱， 然后 去做 他 特别 大 的 一个 或者 是 card 的， 或者 是 topic？

这些 东西 的 一个 我 担心 的 是不是 一个 线性 发展 的 东西。 它是 一个 指数 发展 且 到 一定程度 以后 它 会 特别 牛逼 的 东西。 所以说 如果我们 去 看 成本 的话， 成本 永远是 线性 的， 但是 它的 这个 application 是 指数 的。 如果 我们 一开始 在 这个 时候， 明显 看到 它是 一个 很 牛逼 的 技术， 然后 很 计较 它的 这个 性价比 的话， 那就 没有 办法 投资 了。 或者说 就 等 我们 算 过账 来 的 时候 已经 晚 了。

我是 上银 基金 的 慧 君， 就是我 我 有 几个 问题， 就是我 看 那个 ChatGPT 它 训练 数据 是从 美国 的 这个 英文 互联网 上面 下载 的， 对 吧？ 那 将来 的话 这种 我不知道 他用 了 这个 互联网 多少 数据， 就是说 以后 因为 这个 模型 参 数量 是一个 指数 级 的 增长。 那 如果 数据 是 有限 的话， 那 将来 现有 的 这些 训练 的 数据量 会不会 成为 它的 一个 瓶颈。 另外 就是你 像 国内 的 这个 互联网， 其实 这个 数据 的 质量 我 觉得 还是 挺 差 的那 这个 会不会 限制 我们 中文 的 这个 车 必须 的 这样 一个 发展？

要 不明 总 可能 回答 这个 问题是 好的。

我 简单 先 说 一下， 首先 GPT 的 训练 数据 其实 不完全 是 英文。 当然 最新 的 ChatGPT 的 很多 的 细节， 它 其实 本身 那个 open s 是 没有 公布 的。 就 从 他 之前 公布 的 GPT three 的 这个 论文 来看 的话， 其实 很大 一部分 是从 类似 于 那个 common core， 其实 是一个 国际 上 的 一个 非盈利 的 一个 组织。 其实 每个 月 的 时间 它 会有 它 从 定期 的 去 扫 全世界 的 这些 网页， 然后 把 这个 网页 给 存 下来， 然后 打包 到 他的 这个 服务器 上， 然后 免费 提供 出来。 如果 有 任何 想要 做 任何 研究 的 用户， 你 自己 去 下载 好了。 所以 他 每个 月 大概 会 打包 差不多 100个T 左右 的 数据 放在 它的 服务器 上。

很多 现在 的 不管 是 google 也好， OpenAI 也好， 他 很多 的 拿来 训练 的 数据 的 一个 原始 材料 的话， 很多 是从 这个 地方 来 的。 然后 再 拿到 了 这个 数据 以后， 其实 会 做 大量 的 清理。 因为我 看到 网上 有 很多 传说， 这 三 用了 45个 T 的 数据 进行 训练。 这个 说 的 不是 特别 准确。 因为 从 他们的 原始 的 文章 来看 的话， 他是 拿到 了 45个 T 的 原始 的 文本。 然后 其实 经过 他们的 各种 的 数据 的 清理 filter 以后 的话， 其实 只 留下来 了 一个 大概 八百多个 G 的 这么样 一个 文本 的 一个 规模。 所以 事实上 你可以 理解 他 现在 的 一个 训练， 真实 用到 的 这个 数据 的 量 还 没有想象 的 那么 大， 到 一个 天文数字 的 程度。 就是 基本上 是 大家 现在 个人电脑 的 这个 硬盘 能够 储存 下来 的 程度。

对， 就 主要是 由于 模型 的 这个 参数 增加 了 以后， 它 对于 这个 训练 这个 成本 其实 是 跟 模型 的 这个 参数 在 最好的 情况下 是 现行 增加。 在 你 优化 的 不太好 的 情况下， 它 可能 还是 一个 超 线性 增加 的 一个 参数。 所以 其实 现在 很多 成本 其实 来源于 这个 模型 参数 规模 增加 的 需要 并行 的 这个 集群 上面。

在 一个 T B 级别 的 数据 上面， 其实 我们 认为 还 全球 的 互联网 还是 有 比较 精品 的 数据 能够 支撑 到 它， 再 把 现有 的 这个 效果 提升 到 更好 的 一个 级别 的 一个 程度。 而 中文 的 互联网 的 数据 质量 确实 有 比较 好的。 这个 数据 的 比例 的话， 其实 相较 于 英文 的 互联网， 我们 认为 可能 是在 10% 的， 这个 就是 至少 是 应该 少 一个 数量级 的 一个 规模。 就 包括 我们 自己 在 训练 的 时候 会 发现， 比如说 跟 一些 比较 严肃 的 论文 相关 的 一些 这种 场景。 国外 有 好 一些 开放 的 数据源， 它 其实 内部 有的 这个 数据 就是 有 全篇 的 论文 的 规模 都 是在 千万 级别。 甚至 就是 光 人家 有些 一个 领域， 比如说 这种 pop mac 生物医学 这个 领域 的 论文， 就是 过去 几十年 的 都有 电子化， 都有 全文 可以 下载 进行 使用， 都有 千万 的 级别。 但 中文 互联网 你 确实 很难 找到 有 这么 高质量 的 相关 的 数据。

但 我们 觉得 其实 也有 一些 方法 可以 去做， 包括 这种 多个 语言 的 数据 的 学习。 就是你 其实 本质 上 英文 的 数量 和 互联网 的 数据， 和 中文 的 互联网 数据， 其实 很多 数据 都 可以 为你 所用， 可以 训练 一个多 语 的 一个 版本 的 数据。 因为 它 其实 很大程度 上 很多 知识 的 表达 还是 类似的。 你 可能 只是 换 了 一个 具体 的 语言， 不同 的 token 的 形式 表达出来。 但 他 compress 到 整个 模型 内部， 它 其实 是 可以 去 share 一些 相似 的 一些 知识 和 内容 的 表达。 所以 如果我们 说中国 做 不 出来 一个 好的 类似 于 ChatGPT like 的 这么样 一个 程序， 纯粹 怪 数据 的 质量 差。 它 只能 在 这个 里面 我们 认为 这个 因素 的 比较 小的 一个 部分， 它 确实 差， 但是 其实 是 有 办法 可以 进行 一些 克服 的。

对我 现在 忽然 想 起来 这个 问题， 就是 如果 视力 局 极差 的话， 比方说 我们 国家 各种 产学研？ 他 要求 大学教师 去 贡献 他 自己的 一个 带有 china flow 的 这种 类型 的 这种 不管 是 论文 还是 作为 这个 东西 会 或者 是 怎么样， 比方说 让 他 让 大家 每个 周 抽出来 一天 去做 这种 事情。 那 会 大幅 加速 整个 A I 的 一个 训练 集 的 一个 质量 的 发展 了。 还是 说 这个 量 比起 互联网 的 量， 其实 也没有 大 很多。

的 以 一个 更大 我的 人工 标注 的 方式 去做 数据 的 一些 收集， 对 吧？ 我们 甚至 会 认为 由于 大 模型 给 了 你 一些， 包括 你 去 阅读 代码 也好， 你 去 阅读 全网 的 数据， 给 了 你 一个 基础， 还 挺不错 的 一个 质量。 其实 我们 应该 对 一个 更好 的 模型 的 一个 正确 预期 是 说， 它 恰恰 不需要 有 那么 大规模 的 一个 标注 的 数据， 就能 产生 一个 还 不错 的 一个 结果。

我 举 一个 跟 这个 有 相关 的 例子， 其实 就是 应该 是在 一年 多 以前， 其实 全网 刷屏 的 就是 这个 deep mind 做 的 蛋白质 的 折叠。 这个 本质 上 是一个 非常 考验 算法 的 一个 项目。 它 跟 这种 训练 比如说 在 全网 你可以 去 爬 数据 去 训练 这个 模型 不一样的 是 像 蛋白质 折叠 这样的 一个 问题， 它 其实 在 人类 过往 历史上 累积 的 能够 被 测 出来 过 的 这个 数据集， 好像 大概 也是 在 2到30万 的 这个 级别。 所以 他 需要你 在 模型 的 设计 上面 做 的 足够 的 好。 把 相关 的 一些， 比如说 假设， 包括 把 3D的 结构 的 一些 信息 也 建模 到 整个 你 这个 模型 里面。 就是 让 它 拥有 足够 好的 一些 这种 限制 条件 和 先验 知识。 在 这个 条件下， 你 其实 你 也能 用 更 少 的 数据 给出 最好的 一个 解。 它 其实 不 纯粹 是一个 体力劳动 去 堆 这个 数据 的 一个 过程。

非常 谢谢。 要不 咱们 就 先 结束。

大家 如果 有 兴趣 的话， 可以 关注 一下 小孙 同学 的 公众 号 跟 我的 公众 号， 可能 我们 都 可以 再 继续 交流 好了。

好的， 谢谢。 拜拜。

这 期 what's nex 科技 早知道 就 到 这里 了。 听 完 之后， 如果你 有 任何 的 想法， 欢迎 在 评论 区 里面 给 我们 留言， 我们 每 一条 都会 认真 的 看。 如果 你喜欢 我们的 节目， 请 记得 给 我们 五星 或者 好评， 分享 给 更多 的 朋友， 也会 对 我们 非常 有 帮。 帮助 你 也可以 单独 写邮件 给我， 邮箱地址 是 听 T I N G 艾特 声 点 F M， 我 都会 一一 回复。 同时 公众 号 和 微博 也可以 搜索 生动活泼 声 是 声音 的 声， 节目 相关 的 更多 信息 会 在 公众 号 里 出现， 微博 和 公众 号 都 会有 不定期 的 福利 给 到 大家。

如果你 想要 跟 我们 更加 紧密 的 讨论 和 分享， 或者 是 想要 认识 和你一样 有 求知欲 的 新 朋友， 可以 加入 我们的 微信 群。 进入 听众 群 的 方法 是在 公众 号 文章 中 扫 码 添加， 或者 是 公众 号 后台 回复 科技 早知道， 即可 获取 邀请码。 期待 你的 加入， 我们 下期 见。