23: 人工智能又一里程碑式突破，GPT-3红了
56:07 Share

有人说 他们 当时 看到 这个 技术 的 感觉 是一个 超级 电子 对撞机。

对 这个 话题 也是 最近 推特 上面 不断 的 在 争论 或者 思考。 我的 想法 很 简单， 并 不是说 他 能 做什么， 我的 想法 是 他。

不能 做什么。 从 上周 开始， 一个 新的 语言 模型 GPT3 在 硅谷 迅速 占领 了 社交网络， 成为 了 twitter 的 热 搜 关键词。 一些 人工智能 的 C O C T O 们 在 看完 他的 演示 以后， 确实 有 被 它的 智能 程度 吓 到。 而 硅谷 的 风险投资 人们 终于 不再 去 讨论 政治 了。

我自己 看到 这个 技术 演示 的 时候， 也是 非常 的 兴奋。 因为我 认为 它 可能 会 深远 的 影响 未来 的 5到10年 甚至 更 久。 所以 这 期 我 就 挑战 了 一下 自己， 去 聊 这么 一个 非常 技术 的 话题， 有人 把 它 称作 是 阿尔法 狗 发明 之后， 甚至 是 比特币 发明 之后 最大 的 技术进步。 当然 其中 也 不乏 有 批评者 认为 我们 是不是 过分 高估 了 这个 技术。 那 GPT3 到底是什么？ 我们 这 期 就 用 它 做了 一些 小 实验。

欢迎 收听 硅谷 101， 我是 主持人 洪军。 硅谷 正在 发生 什么？ 我 将在 这 档 节目 中 告诉你。 这 一期 跟 我们 坐在 一起 聊 的 嘉宾 是 郝伟 徐徐。 浩浩 伟 是 一位 连续 创业者 与 投资人， 他 曾经 创建 了 人工智能 的 网络安全 公司 trust part， 在 trust parts 被 硅谷 云计算 安全 上市公司 z scaler 并购 以后， 他 现在 是 负责 人工智能 与 机器学习 的 副总裁。 同时 howe 也是 硅谷 老牌 风险投资 机构 grey lock 的 入驻 企业家。

Hello 后卫 你好， 嘿 红军 你好。

我们 今天 要 来 聊 的 这个 话题 其实 很 技术， 很 烧 脑。 我 之前 很 想做 这个 话题， 但是 其实我 一直 都 不知道 该 怎么 去 切入， 直到 我 看到 了 你的 朋友圈， 不然 我们 先 从 你 朋友圈 发 的那 四张图 的 一个 demo 去 说吧。

大概是 两个月 月前， OpenAI 它 讲 了 它 要 release GPT3 的 一些 功能。 直到 大概 两个 星期 前， 他 把 正式 的 用户界面 给 一小部分 的 用户 去 试用 了。 虽然 说 一直 有 说 这个 模型 数据模型 大概是 怎么样 的， 也就是 最近 两个 星期 有 少部分 的 人 开始 用了。 陆陆续续 有 一些 文章 也好， 或者说 结果 也好 就 出来 了。 比较 让 我 非常 震惊 的 就是 他的 写 的 一些 文章 都很 不错。 然后 我 就 想 我 就在 朋友 圈里 面试 一下， 看看 大家 是不是 能够 看出来 是 人工智能 把 它 给 写 出来 的， 还是 人 给 写 出来 的。 这是我 发 朋友圈 的 大致 的 意思。

对对对， 因为我 看见 他的 这个 论文 其实 是 5月29 号 OpenAI 公布 的 下一代 文本 生成 神经网络 GPT3 的 研究 论文。 一直 到 这 两周 开始， 大家 才 开始 非常 热 的 讨论。 不然 我 先 给 听众 简单 的 介绍 一下 你的 那个 朋友圈。 就是你 大概是 发 了 四张图， 有 四篇 文章 对 吧？ 对你说 其中 有 三篇 是 人工智能 机器人 瞎编 的， 然后 有 一篇 是人 话。 然后 这 四篇 都 分别 是， 第一篇 是 说 G P3是 区块 链 之后 最大 的 技术进步。 第二篇 是 说 联合 卫理 工会 不 允许 神职人员 主持 同性 婚礼， 由此 可能 造成 社会 分裂。 第三篇 是 说 川普 总统 和 亲戚 们 讨论 国务院 是个 针 插不进去 的 独立王国， 一个 亲信 觉得 国务院 需要 来 个 文化大革命。 第四篇 是 川普 对 穆斯林 和 媒体 的 批评。 做了 这样 一个 实验 以后， 我 非常 想知道 一个 结果， 就是 有 多少 人 猜 对了。

对， 大概是 一天， 一天 不到 一点 的 时间， 有 33个 朋友 猜 了。 你是 要 我 公布 正确 答案 吗？

其实 如果你 想 设 一个 小 悬念 也可以。 我们 这个 样子， 回头 我 把 你的朋友 圈里 的那 四张图 放在 我们 这 档 音频 的 公众 账号 硅谷 101上， 大家 可以 去 猜 一下 哪 三张 是 机器 写 的， 哪 一张 是人 写 的那 如果 是 想要 玩 一 玩 这个 游戏 的 朋友， 大家 可以在 微信 上 搜索 硅谷 101， 我们 下周 会 公布 答案。

好的， 还有一个 可以 澄清 一下 的， 其实 在 朋友 圈里 有的 朋友 就 问 他说， 到底 给 了 机器 什么？ 然后 机器 来 写 这 篇文章。 其实 你 刚才 读 到 的 就是 我们 给 机器 的。 比如说 联合 卫理 工会 不 允许 神职人员 主持 同性 婚礼， 由此 可能 造成 工会 的 分裂。 这就是 他 给 机器 的 那句话， 下面 洋洋洒洒 写 的 所有 的话 都是 人工 机器人 给 写 的。

所以 它 其实 相当于 我们 给 机器 一个 开始 的话， 它 会 去 续写。

接下来 的话 对 来 怎么 去 阐述 发生了什么 或者说 怎么样。

我们 先 把 这个 悬念 留在 这， 正式 开始 介绍 一下 我们 今天 的 GPT three 的 新技术。 不然 你 先 给 大家 讲 一下 这个 GPT 它是 什么？ 为什么 它的 出现 会 让 大家 眼前一亮？

对 最近 自然语言 处理 这 一个 方向 已经 热火 了 很多年 了， 至少 5到10年。 自然语言 处理 其实 是一个 几十年 的 一门 学科， 但是 真正 的 长足发展 也就是 最近 大概 十年 左右。 因为 最近 十年 人工智能 各个领域 都在 发展， 这 里面 其中 一个 比较 大 的 领域 就是 自然语言 的 处理。 自然语言 处理 经过 了 很多 个 阶段。 以前 比如说 是 先 用 一些 逻辑 来 告诉你， 人的 语法 是 怎么 样子 的， 来 帮助 你那 是 几十年 前 到 最近 一段时间， 或者 最近 十年 来讲， 基本上 就是 机器学习 了。

在 靠 机器学习， 在 之前 大概 十年 或者说 是 5到10年 之前， 大家 主要 依赖 的 还是 一个 我们 叫 监督 学习。 就是说 我告诉你 从 中文 翻 到 英文 这个 词 到 那个 词， 我 来 给你 1000个1万个 样本， 告诉你 这是 怎么 来 翻译 的。 然后 你看 多了 你 就 知道 怎么 去 翻译 了。 如果 是 光 是从 翻译 的 角度， 基本上 是你 有 很多 样本 的对 吧？ 有 很多人 已经 中文 翻成 英文 了， 或者 英文 翻成 了 法语 了， 或者说 翻成 意大利语 了， 有 很多 已经 被 标注 的 数据 了， 这 比较 容易。 但是 如果说 我只是 问 你 一些 问题， 比如说 就像 问 你 3加3等于 几， 如果 我不告诉你 逻辑 这个 东西 是 很难 翻译 的。

在 过去 来讲， 但是 一个 比较 大 的 进步， GPT 这个 model， 这个 数据模型 比较 大 的 一个 进步。 几年 前 或者 三年， 过去 三年 左右 的 一个 大 的 进步 就是 用 无 监督 学习。 所谓 的 无 监督 学习 就是 没有 标注 的 数据， 我 就 给你 一堆 的 英文， 自己 能够 感知 到 这个 英文 应该 是 大概 怎么 写。 因为 我给你 大量 的 数据， 给你 成千上万 上亿 的 数据量， 然后 你 自己 去 琢磨 出来， 这 东西 英文 的 东西 放在 哪里， 中文 放在 哪里。 但是 我 并不 告诉你 这 一段 英文 匹配 这 一段 中文， 这 一段 英文 匹配 这 一段 法语。 我不告诉你。 但是 我 就 放 一堆 东西， 你看 多了 以后 你 自然而然 就会 学会 了。

这个 GPT model 它 主要 其实 就是 学 的 互联网。 互联网 基本上 是 可能 他 把 所有的 互联网 的 那个 跟 文本 有关的 东西 都 抓进去 了。 抓进去 以后， 他 也不 告诉你 这些 是 怎么 翻译。 但是 你 想 如果 一个 聪明 的 人， 他 把 互联网 的 东西 都 看透 了， 然后 都 记住 了， 下一次 他 有可能 自然而然 就会 去 说。 因为我 知道 什么样 的 内容 跟 什么样 的 内容， 经常 我在哪里 看到 或者 放在 一起， 我 就 自然而然 琢磨 出来 这些 东西 比较 大 的 进步 就是 一个 无 监督 的 学习。

这一次 GPT3 或者 GPT3 这个 第三代 的 模型， 它的 一个 比较 大 的 一个 突破。 从技术上 来讲， 很多人 其实 有 批评 的。 从 算法 上 来讲 没什么 大 的 突破， 但是 它的 算 力 特别 大。 他用 的 算 力 大约 是 我们 这一次 他 五月份 他 宣布 的 时候， 大多数 人的 估计 是 大约 花了 1200万 的 美金， 训练 这么 一个 模型， 光 训练 一次 就 花了 1200万， 训练 出来 以后， 他用 了 大概是 1750亿 的 参数。 那 也就是说 他 有 大量 的 互联网 所有的 数据。 然后 这些 数据 用 什么样 一个 特征 去 展示 出来？ 你可以 用 十个、 100个、 1000个， 他用 了 1750亿个 参数 去来 表达 这 我 所有的 大概 400亿个 文字， 就是 那个 word 从 互联网 面 抓下来 的这 样子 他 就 能够 理解， 就 相当于 是一个 机器人， 它 就 对 这个 互联网 的 理解 的 深刻 程度 就 比 以前 大概 要 高 很多。

这一次 比较 大 的 进步 就是说， 我 以前 如果说 告诉 你是 怎么 去 翻译 的， 从 英文 翻 到 中文， 中文 翻 到 英文， 可能 还要 做 一些 优化。 这一次 他 基本上 就是说 把 这个 400亿的 文字， 互联网 上 的 文字 把 它 吞进去， 花了 1200万美元 去 计算， 就是 去 训练 这个 模型， 后来 发现 他 可以 做 一些 很 惊人 的 事情。 举 一个 很 简单 例子， 我们 从来 没有 在 标注 数据 里面 教 过 他 去 怎么做 加减乘除。 它 居然 能够 做 两位数、 三位数 的 加减乘除。 基本上 两位数 的 告诉你 78加上 5十六大概是 几， 你 就 用 语言 去 问 他他 基本上 能够 做到 正确， 即使 是 三位数 的， 它 能够 做到 大约 80% 的 正确。 所以说 有 几个 突破。

第一个 突破 是 大概 几年 前， 是一个 无 监督 的 学习， 我不需要 标注 的 数据 就 能够 给你 答案。 但是 这 需要 有 一些 做 一些 局部 的 优化。 比如说 我 来 告诉你， 你 怎么 去做 加减乘除， 我给你 一些 有关 加减乘除 的 一个 数据。 这一次 基本上 没有 做 任何 的 优化， 局部 的 优化， 为 某 一个 task 或者 某 一个 任务 去做 优化， 它 就 能够 做 一些 非常 通用 的 一些 任务。 他 五月份 发布 了 以后， 七月份 他 开始 让 非常 少量 的 人 去 有 一些 局部 的 开始 用 这些 A P I。 其实我 觉得 可能 每天 每周 我们 都 发现 有 一些 新的 应用 场景 在 用。

对， 根据 你说的， 我 可不可以 理解 成， 比如说 以前 我们 觉得 3加3等于 六 是一个 很 简单 的 加减乘除。 是因为 它是 一个 特定 领域 的 人工智能， 就是 相当于 大家 比如说 我 去 告诉你 这 一套 机器 是 怎么 算 的。 但是 GPT3 它的 不一样， 是 它是 一个 通用型 的 人工智能， 它 并不是 针对 数学 算法 去做 的。 而 你 去 问 他， 比如说 法国 的 首都 在哪里？ 巴西 的 首都 在哪里？ 或者 问 他 狗 有 几条 腿 这样的 一些 问题 的 时候， 他 其实 都能 做。 就是 他 相当于 不是 针对 于 一个 特定 领域， 而是 一种 通用 进行 的 更加 广阔 意义 上 的 人工智能。 所以 他的 想象力 是 更大。

的对 他的 想象力 更加 大。 其实 我们 还在 处于 想象 的 阶段。 但是 有一点 也 能够 理解， 他 学习 到 的 那些 知识 还是 基于 互联网 上面 看 得到 的。

互联网 上面 如果 从来没 看到 过， 那 还是 可能 会 比较 难。 举 一个 例子， 比如说 2020年 发生 了 很多 新的 事情， 最近 一周 也好， 一个月 也好， 或者 三个月 也好， 发生 了 很多 大家 很 难以想象 的。 不管 是 政治 上 的、 经济 上 的， 还是 我们 公共卫生 上 的 一些 新的 事情 层出不穷。 那 他 这个 数据量 据我所知， 基本上 是 到 大约 是 今年年初 大约 1月份 左右 为止 的 所有的 互联网。 一月份 以后 的， 包括 五月份、 六月份 发生 的 事情， 互联网 上面 从 没有 发生 过 的 事情， 他 不一定 知道 这个 东西， 不一定 是 取决于 具体 是 什么样 的 事情， 就像 我说 的 一些 政治 上 的 事情。 如果说 是 按照 以前 的 事情 能够 推理， 他 有可能 能 推理。 但是 有 一些 事情 是 很难 想象， 但是 发生 了， 然后 你 让 这个 机器人 去 判断， 其实 可能 也是 比较 难 的。

我 当时 在 看到 GPT3 的 时候， 我 就 发给 了 一些 我的朋友， 收集 到 一些 反馈。 就 有人说 他们 当时 看到 这个 技术 的 感觉 是一个 超级 电子 对撞机 的 发明。 还有一个 朋友 说， 简单 来说， 你 去 理解 他 可以 做什么， 你 差不多 可以 理解 成 机器 就可以 自动 去 续写 红楼梦 的 后 40回了。 不知道 这样 准 不准确。

我 觉得 刚才 你说的 这 两个 都是 很 不错 的 一个 想法。 至于 说 红楼梦， 我是 这么 想 的， 他 能够 写 出来 红楼梦 后面 两回 40回或者说 多少 回 都 有可能， 而且 有可能 写 的 出奇 的 好。 但是 也不 排除 他 写 的 有 漏洞 也好， 或者说 讲 的 故事 是 太 离谱， 让 人家 觉得 可信度 减低 都是 有可能 的。 是 这 样子， 因为 包括 我的 朋友圈 里面 发 的 几篇 文章， 其实 都是 选 他 写 的 比较 好的 文章， 我没有 发 他 写 的 不好 的。 所以说 我们 有的 时候 在 判断 事物 的 时候， 一般 容易 是 把 好的 东西 拿出来 吹， 不 代表 这个 机器人 所有的 文章 都是 好的。

但是 我 觉得 从 方向 上面 来讲， 你 想他 如果 能够 十篇 文章 里面 写 出来 两篇 特别 让人 惊诧 的， 已经 是 非常 不容易 的。 随着 时间 的 推移， 随着 技术 的 往前走， 随着 算 力 越来越 便宜。 我 觉得 从 十篇 里面 有 两篇 特别 好， 到 5篇特别 好， 到 甚至于 九篇 十篇 都 应该 是 很快 的。 有可能。

是的， 我看见 在 这个 事情 出来 以后， 大家 其实 对他 还是 有一个 质疑 的。 因为他 现在 A P I 的 测试 邀请， 他 现在 还是 一个 邀请 制 的。 而 不是说 任何人 放在 网上， 大家 都 可以 去 免费 的 去 调用， 直接 的 去 调用 的。 因此 在 没有用 的 一些 人 看来， 他们 就 觉得 我们 普通人 很难 去 验证 这样的 结果。 可能 你 看到 的 是 他们的 工作人员 或者 他们的 首批 试用者 测试 出来 的 最好的 一个 结果。 但是 比如说 如果你 让 他 去做 翻译， 他 翻译 的 怎么样， 我 随便 给 一句话， 他 是不是 都能 翻译 出来， 就是 他的 这个 准确率 达到 了 一个 什么样 的 程度， 现在 还是 不太 知道 的。 就是 我们 只能 看见 一部分 的 极少数 的 一个 demo。

对我 个人 倒 并不 怀疑。 比如说 我 朋友圈 里面 发 的 那个 卫理公会 那 篇文章， 其实 算是 里面 比较 优秀 的 一篇 范文， 拿出来 作为 机器人 写 的， 我 并不 质疑 他 写 出来 这些 文章 的 是不是 有 造假， 什么 是 一丁点 都不 怀疑， 我 觉得 是 百分之百 是 事实。 而且 我相信 有 很多很多 这样 非常 好的 文章。 但是 我们 人都 是 有 一些 selection buyer， 是 选择性 的 歧视 也好， 或者 怎么样 也好， 就是 有的 时候 看到 几篇 文章 觉得 他 就是 这个 程度 了， 不一定 能够 概括 成为 机器人 现在 写 的 所有的 文章 都 好。 这个 我 觉得 是 唯一 是 可以 说 去 debate 或者 去 有 争论 的。

刚才 你说 有些 你的朋友 也 你说 是不是 他 只 给 少部分 人 在 用， 他 给 少部分 人 用， 我 觉得 它的 主要 的 出发点 并不一定 是 说 他的 东西 是真是假。 我 觉得 主要是 有 几个 考量。 第一个 我 觉得 主要是 OpenAI 这个 组织， 它 虽然 说 它 有 非 营 盈利 的那 一部分， 但是 这个 组织 他 要 往前走， 其实 还是 一个 盈利 那 一部分 也是 非常重要 的。 所以说 他 其实 是 也是 想 从 给 少部分 人员 用， 然后 给他 一些 启发。 然后 看看 这样的 一个 机器人 也好， 或者说 模型 也好， 可以在 哪 一些 应用 场景 给 人类 能够 带来 很大 的 进步。 我 觉得 这是 可能 是从 他的 角度 来讲， 他 也是 想 学习， 学习 并 不是说 给 所有的 人 一下子 有 那么 多 的 负担。 而且 他是 只是 想 学习， 我 觉得 这 是一个。

另外一个， 其实 从 安全性 角度 来讲， 因为 AI 或者 人工智能 到底 是 给谁 用， 怎么用， 其实 是 可能 会 产生 很大 的 影响。 其实 我们 可能 还没有 聊 那个 OpenAI 的 历史。 OpenAI 其实 创始 的 时候， 它的 一个 很 重要 的 一个 宗旨 就是说 怎么 让 人类 能够 比较 安全 的 去 用 人工智能。 所以说 他 也是 非常 顾及 到， 我 这 东西 不能说 是 人人 都 用， 你 要 告诉我 你 怎么 个 用。 我 来 想一想， 我 是不是 能够 让 他 成就 商用 的 价值。

对对对， 我 觉得 在 你说 到 OpenAI 的 时候， 我们 其实 有 必要 给 听众 补充 一下 这个 GPT3 他的 论文 背后 的 研究机构。 OpenAI 是 马斯克 联合 硅谷 大佬 投资 10亿美元 成立 的 一家 非盈利组织。 然后 他 最 开始 说 他 成立 这家 组织 的 目的 就是说 他 要 防止 人工智能 去 毁灭世界。 所以 这个 组织 也 汇聚 了 硅谷 很多 最有 权势 和 名望 的 人。 比如说 硅谷 的 孵化器 y cabinet or 的 创始人 sam 奥特曼、 山姆 奥特曼， 还有 前 stripped C T O greg brookman、 格雷格 布劳 克曼， 还有 linked in 被 称为 硅谷 人脉 王 的 联合 创始人 rate hofman， 以及 大家 都很 熟悉 的 硅谷 的 知名 投资人 Peter till。 包括 像 y combi latter， 还有 特斯拉， 还有 微软、 亚马逊， 他们 都 愿意。 就 比如说 validator 跟 特斯拉 愿意 去 开放 数据 给 OpenAI， 微软 跟 亚马逊 也是 OpenAI 在 云 方面 的 合作伙伴， 好像 这一次 他们的 整个 的 训练 也是 在 微软 上 进行 的。 它 跟 deep mind 的 有 什么样 的 区别 呢？

这 两家 机构 其实 都是 主要 是从 研究 为主。 Deep mind 本来 是 一家 独立 的 公司， 被 google 几年 前 收购 了， 所以说 它 其实 算是 google 的 一部分。 OpenAI 实际上 是 伊朗 musk sam Y C 的 创始人， 这 一波 人 他们 给 大概 2015年 的 时候 给 创立 的。 他们 当 时候 的 一个 想法， 其实 伊朗 musk 一直 是 有一个 比较 强烈 的 观点， 就是 人工智能 如果我们 不小心 的话， 有可能 get up control 都有 不可 控制。 当 所谓 的 不可 控制， 尤其是 他 这个 技术 落到 有 不良 企图 的 人的 手里， 他 有可能 对 人类 造成 甚至于 毁灭性 的 打击。 那 从 他的 角度 上 来讲， 他 想来 影响 A I 人工智能 这个 技术 的 发展。 所以说 这是 他的 初衷。 但是 实际上 从 这个 角度 上 来讲， 从 执行 上 来讲， 你看 因为 deep mind 是 google 的 一部分， 所以说 它 不可能 仅仅 或者说 只 做 研究， 它 还是 有一点 压力， 要 给 google 这家 公司 产生 一定 的 商用 价值， 它 多多少少 可能 对 商用 价值 的 思考 要 更加 深 一点， 这个 压力 是 有的。

相对 来讲， OpenAI 它 其实 也有 两 部分 组成， 一部分 完全 是 没有 盈利性 的 机构， 另外 一部分 是 有 盈利性 这方面 的 考量 的。 但 即使如此， 因为 他的 公司 其实 你看 他 大概 有 一年 多 前 从 微软 拿了 10亿美元 的 资金 注入。 其实 相对 来讲 这方面 压力 比较 小。 所以说 他 更加 能够 天马行空 的 去 思考， 我 怎么样 能够 对 社会 有些 贡献。 所以说 你看 这次 GPT3 出来 其实 也 一样， 他 做了 这么 大 的 一个 模型， 让人 觉得 那么 的 impressive。 但是 商用 价值 到底 在哪里， 其实 他 自己 没 思考 清楚， 或者说 他 也 还没有 来得及 思考 清楚。

这是 两家 侧重点 会 相对 来讲 不一样。 当然 从 口号 上 来讲， 其实 这 两家 都 差不多， 都是 想说 我 把 那个 我不 只是 为 商用， 我是 想 把 研究 作为 一个 很 重要 的 一方面。 OpenAI 相对 来讲 对 社会 因素 的 考量 可能 会 更加 多一点。

这次 他 有 这样 一个 GPT three 的 A P I 接口， 你 有 去 申请 接口 的 使用 吗？

对我 有 申请， 但是 还没 被 批准。 他是 这 样子 的， 其实 每个 人都 可以 去 申请， 你 也可以 去 到 OpenAI 到 org 去 申请。 然后 你 要 给出 自己的 用途， 写 一个 用途 就可以 了。 我 觉得 他 一方面 他 也是 想知道， 因为 他的 那个 目前 的 接口， 他 目前 还是 属于 测试阶段， 他 不可能 给 所有的 人 用。 他 至于 以后 是不是 会给 所有的 人 用， 我 觉得 一方面 他 可能 自己 不一定 已经 决定 了， 另一方面 也是 随 事态 的 发展， 我 觉得 也是 会 改变 的。 所以说 目前 来讲 只是 给 少部分 的 开发者 在 用。 那 给 少部分 开发者 用， 他 就 想 一方面 他 自己 也 想 学习 一点 应用 的 场景， 但 另外 一方面 他 也 想知道 你到底 是 坏人 还是 好人， 所以 他 也要 做 一个 过滤。 所以说 目前 来讲 是 这么 一个 阶段。

同时 因为 OpenAI 的 现在 的 C E O 是 以前 Y C 的 总裁 sam。 他 其实 前 一段时间 给 他的 Y C 的 一些 下面 公司 的 一些 C E O 发 过 邮件， 问 他们 是不是 有 兴趣 来 测试。 我 有一个 朋友 他 其实 是 有 A P I 的 接口， 我 还 让 他 问 了 一个 问题， 初衷 是 这 样子 的， GPT three 有 这么 强大 了， 都 已经 能够 编程 了。 当然了， 今天 他 编 的 程序 可能 还 简单 一点， 有可能 五年 10年 以后 能够 变 非常复杂 的 程序。 我的 问题 就是说 今天 是不是 90% 的 那些 程序员 做 的 事情， 在 10年 以后 就 被 AI 给 取代 了。 他 给 我的 回答 是， 基本上 这 是一个 已经 不可逆转 的 一个 事实 了， 尤其是 一些 简单 的 编程 会 被 A I 取代。 你看 其实我 就是 问 了 一个 是不是 这么 一回 事情， 让 他 来 拓展。 然后 他 给 了 充分 的 理由 来 告诉我， 其实 还是 能够 显示 出来 这个 GPT 还是 蛮蛮 强大 的。 他 还 引用 了 一些 例子， 还要 去看看 他 引用 的 例子 到底 是不是 靠谱。

但是 有一点 我 觉得 也 是从 他的 回答 当中， 我 发现 也有 GPT three 还是 有一点 相对 来讲 有点 漏洞。 他 虽然 说 能够 论证 一件 事情 非常 的 看上去 蛮 缜密 的， 但是 实际上 有 一些 比较 深 的 思路， 我 觉得 他 还是 匮乏 的。 比如说 我们 说 程序员 90% 的 工作， 是不是 能够 取代 掉 表面 上 可能 是 90% 的 工作 可能 是 确实 是 简单 的。 但 你 要 知道 对于 一个 程序员 来讲， 我们 其实 花 的 10% 的 时间 在 做 那些 简单 的 事情。 90% 的 时间 是在 做 一些 非常复杂， 或者说 是在 调 一些 也好， 或者 怎么样 也好。 并 不是说 是 90% 的 事情 能够 被 取代 掉， 有可能 90% 的 code 被 取代 掉， 但 这个 并不 代表 难 的 东西 能够 被 取代 掉。

GPT 他 没有 去 思考， 就是说 写 程序 到底 是 哪 一部分 难 一点， 哪 一部分 容易 点。 然后 要 思维 两层 或者 三层 以上 去 思维 的， 他 可能 还 浅 一点。 当然了 这也是 2020年， 到了 2022年 二三年， 我 觉得 他 可能 会 思考 的 更更 深入 一点。 这个 问题。

我 刚刚 看到 你 之前 问 GPT three 的 那个 问题， 还有 回复 了。 我的 第一 反应 是 他 其实 是在 顺着 你的 意思 去 说。 我 当时 还在 想， 如果我们 给他 一个 相反 的 意思 的 表达， 就 比如说 说 做 一个 判断 A I 在 未来 的 10到20年 只能 取代 少量 的 程序员 的 工作。 就像 你说的， 可能 程序员 只会 花 10% 的 精力 去做 写 程序 的， 他 还有 更多 的 更 深层次 的 工作 的 内容。 我 其实 还 挺 好奇 他 会 怎么说 的， 我不知道 他 这个 说的是 他 自己 已经 有的 一个 判断， 还是 他 基于 你的 上文 的 一个 举 的 例子 去往 下 顺着 你 的话 去 说 的， 他 会不会 批判性思维？

我 觉得 你 这个 问题 很好， 等到 节目 以后 我问 一下 P P T three。

好的， 对我 想 这个 会 非常 有意思。 我们 刚刚 提到 了 现在 它的 A P I 接口， 他 其实 是 可以 做 这种 提问 回答 模型 的。 然后 我看见 在 一些 介绍 的 文章 中 提到 他他 还 可以 做 翻译 模型 和 写作 模型。 现在 他 总共 能 做 的 事情 是不是 就是 这么 多？

对， 其实 主要 的 就是 像你 刚才 说 的这 三件 事情， 翻译 其实 人工智能 早就 能够 做 的 比较 好了。 这一次 比较 能够 有 比较 大 提高 的， 更多 的 可能 是 写作。 写作 不 只是 写 一点 没有 头脑 的， 他 可能 写 的 东西 还是 让 你 看上去 是 非常 像 人类 写 出来 的 东西 一样。

就 好像 这一次 问 卫理 工会 怎么样 了？ 其实 卫理公会 他说 要 分裂， 或者说 然后 还 有板有眼 的 说 昨天 开 了 会 怎么样。 这个 有板有眼 的 能够 写 出来 是 蛮 令人 惊讶 的。 因为 确实 是 卫理 工会 大约 在 2020年 的 一月份 有过 这个 讨论。

当然了， 他 列举 的 那个 数字 或者 引用 其实 是 假的。 因为 华盛顿邮报 并没有 说 这些 话。 但是 他 能够 有板有眼 的 说， 华盛顿邮报 报道 了 过去 两天 他们 开 了 一个 什么 会， 因为 什么样 的 原因 学会 分裂。 其实 显然 它是 捕捉 了 互联网 上 的 那么 多 信息， 你来 给我 一个 话题， 我 就 能够 确实 能够 展开。 所以 这 篇文章 写 的 是 特别的 好， 多数 的 人都 没有 判断 出来 这是 一篇 机器人 写 的 文章。 还有一个 就是 问 他， 问 你 现在 疫情 下面 你 应该 做什么 事情？ 类似 这样的 问题。

对 之前 我们 也有 讨论， 就是 我们 有 半 开玩笑 的 说 V C 看到 这个 模型 以后， 担心 自己 会 被 取代， 为什么？

对， 从 表面 上 来讲， 我 觉得 这个 担心 是 非常 可以 理解 的这 是 推特 上面 最近 几天 推特 上面 的 一个人 给 VC 提 的 问题。 因为 V C 做 的 很多 事情， 就是我 一年 可能 见 个 成百上千 个 创业者 和 公司。 等到 见到 下一个 公司 的 时候， 我 就 看 这个人 是不是 靠谱， 是不是 有 可能成为 独角兽， 是不是 能够 以后 成为 一个 上市公司 的 C E O， 就 做 这些 判断。 他 之所以 能够 做 这些 判断， 有一个 很 重要 的 原因 就是我 看 了 成百上千 个， 每年 能够 看 成百上千 个 创业者 和 公司， 我 来做 这么 一个 匹配。 GPT three 它 其实 做 的 事情 是 一样的。 他 看 了 互联网 几乎 所有的 互联网 的 网页， 他 学习 到了 你 今天 来 提问 他 一个 问题， 我 今天 出门 是不是 要 戴 口罩？ 他 大概 知道 是什么 情况 或者 是 怎么样 的 社会 环境， 然后 来 回答 你， 也是 做 一个 这么 一个 匹配。

但是 实际 像 今天 的 GPT3， 我 觉得 是 远远 到不了 取代 V C。 因为 V C 要 做 的 事情 不是 看 议程， 还要 去 推。 比如说 为什么 人家 不能 做 这件 事情？ 为什么 你的 竞争者 不能 做 这件 事情？ 你的 竞争者 在 想什么？ 然后 你的 竞争者 是 怎么 来？ 如果你 你 怎么 去做 一件 事情， 他 会 怎么做？ 这 还 不像 下围棋 或者 象棋。

还有一个 规则， 你可以 自己 左手 跟 右手 可以 去 互相 的 去 比赛。 在 V C 或者说 创业环境 规 这 并不 明显， 今天 还没有 到 这么 一个 程度， 机器人 可以 去 推演 没有 规则 的 场景。 看 现在 最近 一两年、 两三年， 自然语言 处理 的 一个 能力 的 飞速发展， 我是 一点 都不 奇怪。 等到 两年、 三年、 四年 以后， 他 能够 做 很多 V C 能够 做 的 事情。

投资人 能够 做 的 事情。 对你说 到 这个， 其实我 也 想到 有一个 例子， 有一个 twitter 的 网友 叫 迪丽 娜， 他 也是 家 风险投资 公司 的 创始人。 他 就 用 GPT three 做了 一个 问题 的 开始， 就是说 如何 召开 董事会 的 会议， 他 自己是 输入 了 一些 怎么 开会 的， 相当于 前一段 或者 前 三段。 GPT three 他 就 根据 他 输入 的 前 几段 列出 了 剩下 的。 比如说 你 要 具体 怎么 操作 你的 目标 清单， 怎么 从 自己的 朋友 跟 同事 入手 资格 清单， 什么样 的 人 可以 进 董事会， 最后 就是 怎么 去 沟通。

GPT3 自己 写 了 一个 这样的 文本， 他 自己看 了 演示 的 结果 以后， 他 就说 GPT three 呈现出 的 结果 是 远超 他的 预期 的。 他 自己 把 GPT three 形容 成 它 就像 一个 iphone， 将 全世界 的 知识 装进 了 你的 口袋。 相当于 是 GPT3 给你 提供了 1万个 可以 回答 任何 领域 的 专家。

然后 我 当时 看到 这个 的 时候， 再 结合 你的 朋友圈 发 的 他的 一些 写作 模型。 我 当时 都在 想他 是不是 都 可以 取代 一个 稍微 深度 一点 的 记者 了。 因为 比如说 像 我们的 工作 也是 在 热点新闻 出现 以后， 去 跟 各行各业 的 专家 聊， 来 把 它 总结 成 一篇 深度 的 文章。 可能 说 他 短期 还 达不到 这样的 智力 水平， 或者说 就像 我们 刚刚 说 的， 引用 华盛顿邮报。 但是 他 华盛顿邮报 可能 也没有 说过 这个 话， 会 产生 一些 假新闻。 但是 长期 如果 不断 训练 的话， 我 觉得 这个 趋势 也是 有可能 的。

对我 觉得 这个 推特 这 篇 写 的 蛮 不错 的。 他 做 董事会， 因为 大家 都 知道 在 美国 董事会 并不是 一个 橡皮图章， 还是 蛮 复杂 的。 他 能够 让 他 感觉到， 我在 董事会 做些什么 事情， 能够 让 他 感觉到 蛮 吃惊 的。 就 从 另外 一方面 也 说明 这一次 的 GPT3 的 影响力 还是 蛮 大 的。

就是说 像你 刚才 问 到 的， 是不是 能够 取代 记者。 我 觉得 今天 目前 还是 停留 在 归纳 已经 有的 知识 上面。 比如说 作为 一个 记者， 你 想 去 采访 百度 过去 发展 怎么样？ 我 觉得 有可能 机器人 记者 能够 写出 了 一篇 很 深度 的 报道， 为什么呢？ 因为 对 百度 的 采访， 网上 已经 有 很多 了。 李彦宏 是 怎么样 一个 C E O， 他的 性格 怎么样？ 他 内部 发生 过 一些 什么 事情 能够 写 出来 确实 是 机器人 记者 能够 写 出来 蛮 深度 的 一件 事情。 但是 对 一些 正在 发展 一些 新鲜 的 事物， 这就 并不一定 是 这 样子 了。 就 好像 疫情 是 最 近几个月 的 事情。 主要 GPT three 的 数据 它 主要是 到 1月份 为止。

可以 总结 一下 来说， 他在 总结 人类 的 已有 知识 的 这种 提问 回答 模型 跟 写作 上 还是 有 经验 的。 但是 对 人类 的 未知领域， 现在 互联网 上 没有 数据 的 新的 知识， 他 就 不是 那么 了解 了。

对他 还是 从 互联网 上面 给你 什么样 的 数据， 你 能够 学到 什么样 的 知识点。 他的 学习 能力 很强， 他的 归纳 能力 很强， 他的 表达能力 很强。 这是 这一次 GPT3 给 我的 感觉。

我们 可以 来 畅想 一下 未来 这个 GPT3 它 可以 应用 到 哪些 领域， 会 诞生 哪些 创业 类型 的 机会 呢？

对 这个 话题 也是 最近 推特 上面 不断 的 在在 争论 或者 思考。 我的 想法 很 简单， 我的 想法 就是说 并 不是说 他 能 做什么， 我的 想法 是 他 不能 做什么， 其实 很少 有 事情 他 不能 做。 当然了， 他 今天 还是 一个 自然语言 的 处理 的 一个 系统， 他 不能 做 一些 物理 世界 的 或者说 化学 世界 的 一些 事情。 但 他 实际上 因为你 想 人的 大脑 很多 时候 还是 在 思考， 他 如果 能够 思考， 他 还是 能够 做 很多 事情 的。

包括 从 写文章， 我们 已经 说 了 很多遍 了。 但是 除了 写文章 之外， 还有你 刚才 说 的， 我 建 一个 初创 公司， 我 这个 初创 公司 我 明天 需要 做什么 事情， 我的 侧重点 是 怎么样， 我 写 一个 市场调研， 如果 机器人 能够 给我 写 这些 报告， 自动 的 写 出来， 这 都是 非常 有用的。 从 我的 角度 来讲， 并 不是说 只是 一个 好玩的 能不能 写 一个 曲子 出来， 能不能 写 一篇 文章 出来。 而是 说 我们 每天 的 吃喝 住 行 工作， 每一个 moment 我 都 去 想， 我 这个 moment 机器人 能不能 做？ 我 觉得 GPT three 可能 今天 让 我们 看到 了 一个 希望， 但是 还 不是 很 完美。 但是 我 完全 能够 看到 一个 机器人 能够 给我 取代 很多 我的 日常 想做 的 事情。 刚才 我们 提到 记者 的 一些 报道， 但是 我 如果说 是 写 程序 的， 有 多少 是 可以 被 取代 的？ 我 觉得 还是 有 蛮 大 的 一部分 会 被 取代。

这个 模型 它 我看见 它 其实 是 5月30 号 发布 出来 的， 它 其实 是在 这 周 或者说 从 上 一周 开始 才 成为 大家 的 讨论 的 热点话题 的， 尤其是 在 twitter 这样的 社交网络 上。 是因为 跟 他 最近 开放 A P I 接口 以及 它的 很多 demo 出来 了 有关系 吗？

对， 因为 很多 时候 大家 都 是要 试一下， 百闻不如一见， 见 所谓 的见 就是我 自己 去 试一下。 因为 我们 其实 从 GPT two 这个 model， 我们 已经 知道 它 能够 写文章， 而且 写 得 不错， 能够 去 推断 一些 句子 或者 怎么样。 但 这一次 确实 是 让 大家 是 更加 大 的 一个 惊喜。 应该说 是 觉得 这个 机器人 写 出来 的 东西， 不 只是 让 我 能够 感觉到， 让 我 觉得 写 的 很 不错。 有 很多 地方 是 能够 超过 了 有些 段落 至少 是 能够 超越 了 绝大多数 人类 能够 写 出来 的。 像 我们 去 看， 像 比如说 我在 朋友圈 发 我说 这 文章 人类 写 的 还是 机器 写 的。 大家 一看 我 都 写 不出 这么 漂亮 的 文章， 就有 这种 感觉。 一下子 我 对 机器人 能够 做 的 事情 和 想象 空间， 一下子 就 从事 玩玩 而已。 变成 一个 哇哦 应该 是 有 很多很多 事情， 机器学习 人工智能 能够 去 取代 的 这个 模型。

其实 你 刚刚 提到 了， 之前 就 已经 有 GPT two， 我看见 有 很多人 在。 的 时候 也 说 到了 一点， 就是说 现在 GPT three 他 论文 的 主要 进步 是因为 他 花了 很多 钱， 花了 1200万美元， 把 它 训练 在 了 一个 更大 的 数据集， 更 复杂 的 模型 上。 因为 它 有了 更多 的 数据 参数。 但是 这个 跟 GPT two 是否 有 本质 的 区别 呢？

对， 确实 是 有些人 在 批评 说 h GPT three 并不是 这么 一个 飞跃。 你看 算法 都 没有 什么 太大 的 改变， 我是 这么 看 的。 首先 即使 说 算法 没有 改变， 当然 也 不是 一点没 改变。 但 即使 是 算法 没 改变， 但是 我 如果 能够 看到 这个 结果 是 随着 我 给 他的 算 力 能够 得到 线性 增长 的 更好 的 结果。

我 觉得 这 本身 就是 一个 论证， 并 不是说 以前 人类 是 能够 有 这方面 并不 肯定 是 能够 达到 这样的 结果 的。 因为 我们 做 计算机领域 的 人都 知道， 很多 时候 某 一个 维度 提高 了 算 力 也好， 提高 了 储存 空间 也好， 提高 了 数据源 也好。 结果 并 不是说 你 提高 十倍 就有 十倍 的 回报， 往往 是 有的 时候 没有 十倍 或者 远远 没有 十倍 的 回报。 这 其实 就是 计算机领域 当中 要 解决 的 很多 问题。

当你 碰到 这些 事情 怎么办？ 这一次 我们 发现， 当我 提高 了 算 力 100倍， 从 15亿到 1750亿 这个 参数值 的 时候， 我 发现 我 确实 是我 结果 是在 不断 的 线性 的 往 上 增长。 这个 论证 本身 我 觉得 就 给 我们 一下子 就 打开 了 一扇 天窗。 就是说 本来 觉得 这是 有 心灵 的， 或者说 很有可能 有 心灵 的。 现在 我知道 我 花了 1000万美元， 我 就 能够 做 这么 伟大的 事情。 那 我相信 有 1000万美元 的 人 还是 有 很多， 这是 第一个。 第二个， 这 1000万美元 随着 时间 的 增长 也是 在 往往 下走。 所以说 大家 就 发现， 其实 花 不了 那么 多 的 钱 就能 做 这么 伟大的 事情。 那 我们 其实 是 还是 给 我们 带来 很多 的 惊喜。

你 刚刚 提到 就 比如说 花 1200万美元， 1000万美元 就可以 去做 这样的 一个 模型。 对 大公司 来说， 或者 当 大家 看到 一个 更大 的 商机 的 时候， 1000万美元 其实 大公司 那 可能 不是 一比 很大 的 数字。 当 有一个 商机 的 时候， 风投 都 可以 去 支持 你。 这 是不是 意味着 以后 只要 有心， 所有人 都 可以 去 用 他的 这种 GPT3 的 训练方法， 去 训练 一个 新的 特定 领域 的 模型。 那 怎么 去 防止 这个 模型 去做 恶， 或者 是 防止 他 有 恶意 用途 呢？

对 怎么 去 防止 恶意 用途 被 恶人 去 用 人工智能， 我 觉得 这 是一个 非常 好 非常 大 的 话题。 我们 先 放在 一边， 先 说 第一层。 你说的 如果说 我 有 找到 一个 好的 用途， 其实 还是 有 蛮 多 公司 能够 有 实力 这个 财力 或者说 能力 去做 这么 一件 事情。 是不是 很多人 就 能够 去 做了？ 相对 来讲 这 是一个 伪命题。 今天 是一个 伪命。

因为 你看 人工智能， 虽然 说 我们 长足发展 了 很多年 了， 几十年 的 发展。 最近 十年， 尤其是 有 这么 一个 深度 学习 的 一个 突破， 确实 是 蛮 不错 的。 但是 从 应用 上 来讲， 说老实话， 从 商业用途 上 来讲， 还是 非常 浅 的。 就 这么说， 当然 我们 也 看到 无人驾驶 的 汽车， 还有 安保 安防 这些 已经 在 用 或者说 已经 在 试用 了， 但是 能够 产生 很大 的 商用 的 价值。 你看 世界上 的 500强的 公司 对 这 世界上 500强公司 对 它的 营收 产生 正面 或者说 极大 影响 的。

其实 人工智能 今天 做到 的 还是 非常 浅 的， 也许 是 像 google facebook 这样的 公司， 它 确实 用了 人工智能。 它 使得 它的 广告 的 精准 投入， 更加 精准 的 能够 投放 了， 这一点 确实 是 做好 了。 对此 像 google、 facebook 都是 加起来 每年 都是 千亿 以上 营收 的 公司， 那 确实 是 有 很大 的 进步。 但是 对 其他 的对 多数 90% 的 财富 五百， 不管 是 你是 GPT three 有没有 也好， 或者说 其他 的 一些 人工智能 方法论 也好， 来 产生 对 它的 营收 产生 很大 效果。

其实 说老实话， 还是 在 早期 阶段， 是不是 很多人都 会 用。 那你 要 找到 一个 商业用途， 比如说 那个 无人驾驶 是一个 商业用途。 对， 但 除了 无人驾驶 还有什么 广告？ 是一个 世界上。

聊天机器人， 如果 客服 机器人 也就 这么 几个。

聊天机器人 很 有趣。 我不 觉得 聊天机器人 给 google 也好， 或者说 是 百度 也好， 或者说 微软 也好， 对他 带来 实际 的 营收 带来 太多 的 影响。 比如说 微软 最近 把 他的 小 冰 机器人 给 spin off 了， 我 觉得 有 很多 原因。 我想 其中 有一个 原因 就是 这个 小 冰 机器人 本身 对 微软 的 年 营收 其实 是 基本上 没有 什么 太大 的 影响。

商业 变现 这 一块， 人工智能 还是 非常 早。 那 GPT three 会不会 带来 更广 的 商业用途？ 我相信 是 有的， 但是 至少 今天 或者 到 昨天 为止， 是一个 伪命题。 会不会 今天明天 后天 或者说 明年 我们 能够 找到 一下， 找到 哇哦 用 GPT three 我们 来解决 这么 一个 问题， 然后 商业价值 体现 出来， 我 觉得 完全 可能。 但是 这一天 今天 还没有 到， 所以说 这是我 说 的 就是 商业 上面 是不是 会有 巨 多 的 人马 上 就 开始 开 做。 在 你 找到 这些 应用 场景 的 时候， 在 找到 这个 应用 场景 之前 是一个 伪命题。

但是 你说的 另外 一点， 怎么能够 防止 被 恶意 的 或者说 是 坏人 去 用， 这一点 我们 想 的 并不 早 也许 今天 就 应该 想， 或者 是 昨天 就 应该 想。 因为 华人 能够 做 的 事情 其实 蛮 多 的。 举 一个 简单 的 例子， 做 安全 的 都 知道 会有 恶意软件 也好， 或者 恶意 钓鱼 软件， 或者 钓鱼 的 邮件。 我会 给你 红军 打 一个 邮件， 为你 量身 而 做 的 一个 教育软件。 比如说 我知道你 大概 去年 在哪里 工作， 或者 你 去年 在哪里 做了 一件 什么 事情， 就在 网上 我 能够 知道。 或者说 我知道你 的 一些 不管 是 家庭 的 朋友 的 工作 的 一些 背景。 我 就 给你 写 一个 疫苗， 是 让 你 一看， 这个人 他 知道 我 这么 多 事情， 那你 就 会对 这个 邮件 的 相信 程度 就会 提高。

如果 否则 的话 是从 一个 拟人， 有一个人 说 你 给我 5万美金， 你不会 打， 你不会 付款。 但 有一个人 对你 这么 了解， 说 我是 有 这个 痛点， 我 为什么 要 问 你？ 你 给他 付钱 5500万块钱。 可能性 就会 高 很多。 那 这个 时候 你 人工 可以 做， 但 很 累， 效率 很低。 你 如果 能够 用 GPT three 来做， 我相信 能够 写 很多 很 广， 而且 非常 精准 钓鱼 的 邮件 也好， 或者 怎么样 也好， 这 是一个 可能 潜在 对 我们 社会， 对 我们 安全 领域 有 比较 大 的 一个 影响 的。 所以说 我是 觉得 防止 坏人 或者 防止 恶意 的 使用， 一点 都 不违 造 大规模 的 商业 的 广泛应用。 我们 还在 寻寻觅觅。

那 现在 GPT three 因为 它 其实 也 把 一部分 的 A P I 接口 放出去 了。 他在 放出去 的 时候， 如果 他 发现 你 作恶 的话， 他在 封锁 这个 接口。 是 来得及 的， 今天 肯定 来得及。

他 肯定 是 能够 跟踪 到 你 大概 怎么用， 用了 多少， 用 一些 什么 问 一些 什么 问题。 今天 肯定 是 来得及 的， 潜在 的 来不及 的 地方 是 另外 一层。 大家 已经 看到 了 GPT spring 天花板 很高， 能够 线性 的 根据 我的 算 力 的 提高， 数据 的 提高， 能够 线性 增长。 说不定 我自己 也能 去做。 以前 我 不一定 会 花 个 1000万2000万 去 论证， 因为 这个 东西 我不知道 是不是 现在 我知道 了， 已经 有人 能 做成 了。 那 我 有可能 现在 有 更多 的 动力 去做。 因为 尤其是 GPT three， 它的 算法 跟前 一代 的 基本上 没什么 太大 的 区别。 前 一代 的 算法， GPT two 的 算法 源代码 其实 都是 公开的。 潜在 的 一个 危险 就是说 大家 自己 去 提高， 自己 去做， 这是 有可能 的。

数据 好 收集 吗？

对， 数据 其实 是 标准 的。 首先 这是 internet 互联网 上面 的 这些 数据。 大家 其实 都 知道 互联网 现在 去 cross 整个 互联网 并不是 一件 难 事情， 难 的 是 其他 你 收集 好 数据 怎么 整理， 怎么 去 给你 一些 洞见 或者说 搜索 的 结果， 这是 难 的。 一些 学术 机构 都 已经 有 这些 数据 了。

所以 他 现在 其实 他 虽然 没有 公布 这个 GPT3 的 算法， 但是 因为 GPT two 的 算法 已经 公开 了， 加上 互联网 上 又有 这么 多 的 数据， 它 还是 很有可能 会 被 去 恶意 使用 的当 人们 看到 了 一个 利益 点的 时候。

对， 是 这 样子 的。 刚才 我 提到 有一个 标准 的 一个 数据库 common cross。 很多 人工智能 的 项目 都在 用 的 一个 数据， 这些 数据 大家 都有 它的 GPT two 的 源代码， 也有 算 力。 说实话， 因为 云 的 有 那么 多 的 公有 云 也好， 就是 花钱 呗 说穿 的 从 这个 角度 上 来讲， 如果说 你是 恶意 的， 应该 是 有 能力 自己 去做， 或者说 做做 的 八九不离十。

我 觉得 对 恶意 其实 是 一方面。 就是 在 你 之前 发 的那 几张 图片， GPT three 自己 写 的 文章 中， 我们 也 提到 了， 他 写 到了 华盛顿邮报 的 一个 数据源。 但是 他 那个 数据源 是 假的， 会不会 以后 也 产生 一些 用 它 去 写 新闻 的话， 它 可能 的 新闻 材料 一部分 是真的， 但是 它的 一部分 不管 是 出于 他 有意 还是 无意 的， 可能 他的 理解 是 错的， 会 这样 出现 大量 的 假新闻。

对我 完全同意。 因为 这 一个 怕 的 不是 假新闻， 怕 的 是 有板有眼 的 假新闻。 然后 GPT three 能够 做到 的 是 有板有眼 的 假新闻， 我 觉得 这 是一个 很大 的 一个 危害。 其实 你 有 另外一个 危害， 不一定 是 给 坏人 拿去 或者说 恶意 的。 其实 有可能 是 善良的人 或者说 普通 的 人， 他 也有 可能 GPT three 还是 有一点 局限性， 让 在 一些 本来 应该 是 好的 一些 场景 产生 坏 的 作用。

比如说 你 从 互联网 上面 学 东西， 那你 从 互联网 上面 学 东西， 多多少少 根据 互联网 上面 的 知识 去 归纳。 如果说 互联网 举 个 例子， 互联网 上面 有 一些 成见， 或者说 是 有 一些 偏见。 这些 偏见 都是 大家 平时 也 知道 黑人 大概是 怎么样， 墨西哥 裔 的 人 大概 会 怎么样 白。 人 会 怎么样？ 他在 回答问题 的 时候， 或者 他在 制造 假新闻 的 时候， 不管 是 真 新闻、 假新闻， 如果 假新闻 那 肯定 就是 不好。 但是 在 他在 制造 真 新闻 的 时候， 他 无意 有意 的 因为他 数据源 的 原因， 他 去 把 数据源 的 一些 偏见 给 放大 了。 比如说 通常 大家 对 有色人种 会 有些 偏见， 那 他的 文章 也会 有些 偏见。

我看见 twitter 上 poor graham 他 还 发 了 一条 twitter， 他说 当 这个 A I 会说 一些 政治 不 正确 的 时候， 大家 都 可能 会 疯 掉。 所以 我们 要 怎么 去 阻止 AI 去 说 一些 政治 不 正确 的 事情， 可能 还需要 教给 他们。

一些 价值观。 对当 人工智能 越来越 强大 的 时候， 这些 偏见 或者 政治 不 正确 或者 正确 的 所 带来 的 可能 的 危害 可能 越来越大。 为什么 这么说？ 因为 当 你的 机器 模型 并 不完美， 像 比如说 GPT two， 大家 觉得 他 能 写文章， 但是 他 觉得 不完美。 所以说 通常 来讲， 我在 用 他 写文章 的 时候， 很多人 他 会 去 微调 一些 参数。 根据 一些 政治 正确 或者 不 正确 的 一些 数据源 去 增加 或者 减少。 然后 使得 写 出来 的 文章 相对 来讲 就 更加 符合 常情。

那 GPT3 大家 觉得 哇哦 这个 那么 否 那么 伟大， 那么 不可 置信。 就有 可能 大家 在 这个 调 参数 或者 微调 参数 的这 一部分， 在 某 一个 可能 就 做 的 工作 就 不够 多了。 因为 觉得 他 已经 那么 厉害 了， 我 为什么 要 去做？ 所以说 这个 偏见 有可能 被 放大 的， 要 比 以前 一些 并不 那么 智能 的 模型 所 带来 的 危害 可能 更要 大 一点。

我们 还有一个 问题 就是现在 软件 的 复杂度 是不是 已经超过 了 硬件 的 增长。 因为我 看见 这 一段话， 他是 说 当 这个 语言 模型 每年 在 超过 过 十倍 的 速度 增长 的 时候， 那 硬件 是不是 能 跟 得 过来？ 以前 大家 知道 摩尔定律， 那 现在 摩尔定律 是不是 正在 失效？ 就 比如说 以前 硬件 是 每隔 18个月 成本 减 一半， 那 现在 就是 当 软件 它的 增长 超过 了 硬件 会 发生 什么？

对， 这个 问题 很好， 确实 是 就像 你说的 摩尔定律 从 某种 角度 上 来讲 是在 减缓。 所谓 摩尔定律 就是 这个 硬件 的 成本 每隔 18个月会 减半， 也就是说 你 更加 能够 负担 每隔 18个月 能够 负担 的 算 力 就会 增长 一倍。 但是 因为 从 物理 的 角度 上 来讲， 你的 规 的 线 的 宽度 是 有限 的， 你 能够 把 它 变细 的 是 有限 的。 现在已经 是 7纳米 了， 当然了 我们 也 想 达到 5纳米， 或者 但是 有一个 物理 的 极限， 我们 已经 非常 接近 这个 物理 极限 了。 是不是 摩尔定律 要 到底 了？ 这 是一个 确实 是一个 事实。 但是 我 觉得 从 总体 来讲， 担心 还 太早。

第一个， 摩尔定律 本身 大家 有 各种各样 的 方式 方法 去 把 它 给 延 拖。 比如说 大家 说 我 不用 圭， 我 用 另外 的 材料， 说不定 能够 延展 摩尔定律。 这 是从 物理 的 角度 去 思考 这些 问题。 所以说 这个 其实 都 是一个 现在进行时 都在 大家 都在 思考 的 一个 问题。

另外一个 最终 我们 要 提高 的 就是 一个 效率， 对 吧？ 我 做 这些 算 力 我的 成本 是不是 减半？ 但 成本 减半 可以 从 很多 方面 来， 可以 从 软件 来， 可以 从 硬件 来， 可以 从 软件 跟 硬件 的 结合 来。

举 一个 简单 的 例子， 如果说 我 做 的 人工智能 的 任务， 本来 是 需要 1000个指令 来做。 但是 我 如果说 我的 晶体管 的 设计 的 那个 density 差不多， 但是 我 仍然 能够 做到 可能 两个 指令 或者 十个 指令 就能 做 这 一个 任务， 而 不是 需要 1000个指令。 那你 其实 一下子 效率 提高 就会 很高。

所以说 效率 的 提高 并不 只是 说 是要 从 硬件 这 一块 来， 其实 有 很多很多 的 空间。 你看 硬件 本身 其实 还有 空间， 硬件 跟 软件 的 结合， 它的 接口 有 很多 空间， 软件 本身 还有 很多 空间。 所以说 我 并不 觉得 在短期内 我们 会有 一个 bottle neck 这个 瓶颈。 就是说 我 因为 硬件 不 能够 提高， 所以说 我的 这个 人工智能 的 上层 能够 享受到 的 摩尔定律 这么 一个 红利 在 减少。 我 觉得 在短期内 我看不到。 相反， 过去 四五十年 可能 我们 更多 的 是从 晶体管 的 密度 去来 拿到 这个 摩尔定律 的 红利。 今后 的 四五十年， 我 可能 是从 其他 方面 拿到 同样 的 或者说 类似的 红利， 但是 从 其他 的 维度 去 拿到 摩尔定律， 所以说 我 在短期内 我 并不 担心。

还有一个， 你 做 这么 多 事情 最终 是 为什么？ 最终 还是 需要 有一个 商业 的 商业价值。 如果说 没有 一个 商业价值 去 迫使 去 推动 的话， 你 摩尔定律 不 摩尔定律 其实 都是 次要 的。 今后 五年 对 人工智能， 对 GPT， 不管 是 三 还是 四 还是 五， 它 在 今后 几年 我 觉得 它的 瓶颈 可能 更多 的 还是 在 怎么 去 找到 商业用途。 是 或者说 找到 商业用途 以后 怎么 去 跟 他 去 匹配。 我 觉得 这 是一个 最最 关键 的 一个 问题。

是的， 刚刚 说到 硬件 的 问题 的 时候， 因为我 看到 像 这次 他们 训练 GPT three 的 使用 的 是 英伟 达 的 特斯拉 V 100的芯片。 仅仅 是 芯片 这 一块儿 的 成本 就 超过 了 460万美元。 所以 我在 想， 因为 也有 很多 创业者 说， 这个 消息 出来 以后， 其实 对 英伟 达 这样的 公司 是 非常 利好 的。 因为 它 专门 就是 做 这种 G P U 的 这种 生产 的对。

NVIDIA 这个 公司 他 最近 十年， 应该说 他 发现 我 最大 的 用途 并 不是说 买 了 一张 卡 给 人家 打游戏， 可以 给 人家 做 人工智能。 这 是一个 很 好的 一个 用途， 对他 来说 肯定 是一个 利好 的 一件 事情。 这也是 为什么 大概是 过去 一个月， 它的 市值 已经超过 了 英特尔 的 市值。 这是 一件 从 硬件 行业 来讲 是一个 很大 的 一个 里程碑。 就是 一个 以 人工智能 为 主要 核心 用途 的 这么 一个 硬件 厂商， 它的 市值 超过 了 英特尔 这么 一个 以 传统 的 P C 通用 计算 为主 主要用途 的 这么 一个 硬件 厂商 的 市值。

因为 前 两年 在 大家 提到 人工智能 的 时候， 最 火 的 其实 是 阿尔法 go。 现在 GPT3 出来 了。 如果 从 意义 上来 对比 的话， 你 觉得 GPT three 跟 阿尔法 go 它的 意义。

都 分别 在哪里 呢？ Alph a go 让人 或者说 是 GPT 也好， 它 其实 从 算法 上面 来讲 都是 有 蛮 大 突破 的。 并不是 传统 的 你 给我 样本， 我 来 给你 训练 一个 模型。 因为 给你 样本 才能 训练 模型 一个 很大 的 一个 缺点 就是说 样本 从 哪里 来。 你说 从 中文 翻成 英文， 英文 翻成 中文， 我 可能 能够 找到 很多 样本。 但是 有 很多 对话 有 很多。 比如说 董事会 里面 应该 做什么 事情， 你 哪里找 得到 那么 多 的 样本， 对 吧？ 所以说 这个 是一个 过去 20年 之前 在 监督 学习 的 时候 年代 其实 是一个 比较 一大 的 缺陷。

从 F A go 他说 我 能够 左手 跟 右手 用 强化 学习 的 方法， 做 一件 像 下围棋 这么 一件 事情。 让 人家 证明 你看 能够 以前 不 认为 机器 或者说 人工智能 能够 赢 过人， 拿着 但是 能够 赢 过了。 这 让 我们的 天窗 或者说 天花板 一下子 就 升高 了 很多。 这一次 其实 就是 发现， 机器人 能够 做 的 事情 很多， 不 只是 写 一篇 文章。 就 像你 刚才 说 的， 董事会 在 这 商业 领域 里面 能够 去 用到 的 一些 来来回回 的 一些 对话 也好， 或者 决定 也好。 人工智能 在 这 一个 方面， 在 自然语言 处理 这 一方面 的 一下子把 这个 天花板 给 升高 了 很多。

当然了， 具体 怎么 个 去 把 它 商业用途， 商业化 其实 还要 思考。 因为 这 里面 还是 蛮 复杂 的。 因为 即使 是 你说 比如说 举 个 例子， 你说 我 97% 的 时候 都 对 正确， 哪 有 30% 不 正确 的。 在 商业化 的 时候， 你是不是 能够 容忍 这个 3% 的 错误？

就举 个 例子， 以前 我们 其实 还是 做了 一些 简单 的 一些 商业化 人工智能 到 今天 为止 最大 的 商业用途 的 转化 其实 就是 卖 广告。 广告 上面 其实 是 它的 一个 最大 的 一个 从 dollar amount， 从 金额 上 来讲 是 最大 的。 但是 做广告 相对 来讲 还 简单 一点， 为什么？ 因为我 有 3% 的 错误， so what 不是 一件 大 事情。 但是 如果说 我在 这个 30% 给 医生 看 片子 用， 决定 开刀 应该 怎么 开 或者 不 开刀。 那 这个 时候 你 商业化 的 时候， 你 要 去 思考 0.1 或者 0.01 的 假阴性 假阳性 的 这些 案例 的 时候， 你 一定要 去 思考 这些 问题 了。

就要 包括 其实 他 如果 3% 的 准确率 的话， 用到 自动驾驶 这种 汽车 上 这样的 场景， 所有 跟 安全 相关 的 可能 都会 问题 比较 大对。

这也是 为什么 人类 的 角度 来讲， 这个 人工智能 翻译 能够 翻译 的 比 人 好了， 听 语音 能够 听 得 比 人类 好了。 为什么 在 真正 商业 落地 的 时候 还是 有 这么 大 的 缺口？ 其实 就是 因为 真的 落地 的 时候， 你 要 思考 这些。 刚才 我们 讨论 的 这些 问题， 其实我 总体 来讲 我 还是 蛮 乐观 的。 我 因为 我们在 一个 比较 早期 的 阶段， 给我 五年、 十年 我们 再来 讨论 这个 话题， 我 觉得 会有 很多 问题是 迎刃而解 的。 只是 我们 今天 所在 的 阶段 是 非常 早期 的。

因为我 是 过去 看到， 就 比如说 像 图形图像 识别， 它的 一些 突破 带来 了 很多很多 的 创业 机会， 就 带来 了 安防、 自动驾驶 这样的 很多 的 新的 产业。 现在 自然语言 处理 他 又有 一些 新的 突破 了， 我想 会有 更多 的 聪明人 能够 想出 他的 商机 所在。

对， 我 觉得 这一次 GPT three， 我的 预感 是 会有 很多 新的 商机 出来。 因为 以前 大家 会 觉得 天花板 就 这么 高， 去 想太多 干嘛。 现在 觉得 天花板 是 几乎 是无 出现了， 在 这个 时候 还是 能够 去 思考 很多 东西。 这一次 大家 就会 去 想， 我 是不是 能够 取代 风投？ 我 是不是 能够 取代 即使 是 深度 报道 的 记者。

好的， 今天 谢谢你。

没事， 谢谢 胡军。

聊 的 很 开心， 对我 也是。 最后 不然 我们 给 听众 放 一个 小 福利， 因为你 也 在 申请 GPT3 的 权限。 如果 拿到 了 权限， 我们会 从 听众 的 提问 中选 1到2个 觉得 非常 有趣 的 问题， 可以 看一下 这个 机器人 他 会 怎么 回答 我们。

对， 我们 我 觉得 我们 可以 选 一两个 这个 问题， 即使 我 短期 不 拿到 的话， 我 也可以 通过 我的朋友 来 问 一下。 GPT three 这个 机器人 对你 特别 想要的 一个 问题 也好， 或者说 你 有 一句话， 你 想 让 GPT three 这个 机器人 给你 展开 论述 也好。

都都 可以。 谢谢 郝伟， 这就是 我们 今天 的 节目。 如果 大家 喜欢 我们的 节目， 欢迎 在 苹果、 google place、 spotify、 喜马拉雅、 小宇宙 等 播客 客户端 上 订阅 我们。 感谢您 的 收听。

好好， 就是这样。

拜拜， 谢谢。