We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode No.107 认知 ChatGPT 的过程就是消除偏见的过程

No.107 认知 ChatGPT 的过程就是消除偏见的过程

2023/3/29
logo of podcast 三五环

三五环

AI Deep Dive AI Chapters Transcript
People
刘飞
一位活跃的主播,通过播客分享各种主题,包括商业故事和文化内容。
Topics
刘飞:本期节目探讨了人们对 ChatGPT 的常见认知偏误,并分享了对未来七个方面的可能性预测。首先,ChatGPT 的革命性并非在于其作为聊天机器人的便捷性,而在于它证明了推理可以通过语言模型实现。其次,ChatGPT 的聊天功能是收集真实世界对话数据,用于迭代训练模型的强化学习方法,这与以往学术界采用“做题家”思路的 AI 研究方法截然不同。再次,ChatGPT 的信息准确性和表达能力问题是技术性问题,可以通过技术手段解决。此外,ChatGPT 的出现也标志着 AI 发展进入快车道,其发展速度将远超以往。ChatGPT 的独特之处在于其推理能力,能够通过知识进行推理,这在之前的 AI 模型中是难以实现的。大模型的竞争力不在于参数量的大小,而在于能否实现推理能力。OpenAI 的成功在于通过扩大模型规模和大量数据训练,而非底层算法的突破。之前的 AI 研究主要集中在解决垂直领域问题,而 ChatGPT 则展现了解决通用问题的可能性。ChatGPT 的意义在于其背后的 GPT 范式,它展现了通往 AGI 的可能性。未来,大模型的竞争将集中在调试能力上,如何激发模型的潜能至关重要。不同的调教方法会产生不同的 AI 表现,这取决于调教的目标和方法。基于 ChatGPT 范式,许多技术性问题都可以得到解决。ChatGPT 的不足之处可以通过迭代改进得到解决。ChatGPT 的出现将指数级地提升解决问题和满足需求的速度。ChatGPT 将快速融入各种业务场景,并加速淘汰现有工作流程。调试工程师将成为一个非常稀缺且高价值的岗位。大模型的影响将导致一些工作岗位的消失,尤其是个体户和独立工作者面临的风险更大。AI 工具的出现会改变工作方式,但不会完全取代所有工作岗位。AI 绘图的出现将大幅提升生产效率,导致对从业人员需求的减少。大模型的出现将改变人机交互方式,许多中间环节将被消除。未来人机交互将主要依赖自然语言交互,其他交互方式将逐渐消失。ChatGPT 的出现标志着人工智能技术发展进入快车道,其发展方向已经清晰可见。AI 技术的发展是不可逆转的趋势,我们需要积极拥抱变化。AI 技术的发展将带来新的机遇,我们需要积极探索 AI 的应用。

Deep Dive

Chapters

Shownotes Transcript

你好, 我是 刘飞, 欢迎 收听 三 五环。 今天 又是 一期 单口, 是我 跟 大家 想 聊 一期 短小精悍 的 关于 ChatGPT 的 一些 常见 的 认知 偏误, 或者说 有 一些 偏见。 我 感觉 认知 ChatGPT 的 整个 过程 就是 在 消除 我 偏见 的 过程。 但 我 发现 身边 很多 朋友 对 ChatGPT 还是 存在 各种各样 的 偏见, 或者说 一些 信息 不对称 的 地方。 我希望 这 一期 内容 能够 跟 大家 分享 我自己 在 这个 过程 当中 认识到 的 不一样的 一些 地方。 就在 我 104 期 那个 档口 之后, 又有 很多 新的 补充 的 认知 或者 洞察。

首先 对于 ChatGPT 来说, 它 带来 的 大家 所谓 的 提到 的 A I 的 革命性 进展, 其实 并不是 做出 了 好用 的 chat box, 并不是 做出 了 非常 好用 的 一个 聊天机器人, 不是 做出 了 一个 好用 的 聊天机器人。 重要 的话 要说 三遍, 我们的 所有的 生活 里, 我们的 工作 里 并没有 什么 变化, 只是 多了一个 聊天机器人。 如果 按照 这个 假设, 这个 前提条件 去 聊, 为什么 要说 它是 革命性 的? 为什么 要说 它是 iphone 时刻? 现在生活 里 用到 的 大部分 还是 手机、 电脑 等等 这些 东西, 用到 的 还是 各种各样 的 软件。 叫外卖 他 也 不能 帮 我 叫外卖, 它 可能 就是 一个 聊天机器人, 未来 可能 接 一些 东西, 但 他 就是 个 聊天机器人, 并不是 这样的。

因为 之前 在 104 期 我也 提到 过, 聊天 只是 OpenAI 做 的 一个 演示。 它 用 它 来做 演示 是 做 demo, 让 大家 很 好的 看到 了 GPT 这个 模型 它的 威力。 但是 在 这个 威力 之外, 大家 只 觉得 是 聊天机器人, 这就是 一个 好笑 的 事情 了。 同时 这个 聊天机器人 这个 chat box 也是 获取 真实世界 对话 的 方法, 是 OpenAI 用 它 来 继续 迭代 训练 它的 模型 的 一个 强化 学习 的 I O H F 的 一个 方法。 选择 开放 给 用户 的这 条 路线, 我们 看起来 好像 很 常见, 或者说 之前 也 见过 这样的。 但 实际上 在 科研 领域, 这 是一个 非常 歪门邪道, 就 一个 非常 不 主流 的 一个 方式。

之前 不管 是 企业 还是 高校, 以前 大家 做 这方面 的 研究, 不管 是 大 模型 还是 A I 方面 的 研究, 都是 用做 题 家的 思路。 就是 用 各种 学术界 的 评比, 用 非常 那种 确定性 的 Q A 来完成。 它是 命题作文。 你 比如说 20个问题, 我 找 了 一些 人 标记 了 20个回答, 那你 就 围绕 这 20个问题 看 谁 答 的 能 好。 他 答 的 好, OK 今年 你 评分 要 高 一些, 他 打的 另外一个 打的好, 那 今年 就 你 做 的 这个 模型 厉害 一些。

以前 大家 是 这种 做题 家的 思路 在 做 这个 事情 的, 但 现在 open I 说 我不 参加 这些 考试, 我不 参加 这 做题, 我 不去 跟 你 比 论文 数, 我 不去 跟 你 比 这些, 我就是 把 模型 扔 到 人民群众 的 汪洋大海 里 去。 你 想 那些 都 不是 真实 问题, 那些 都是 命题作文, 你 很 会 写 高考作文, 就 你 很 会 跟人 聊天, 这是 两码事。 所以 你 使用 ChatGPT 的 时候, 有 很多 方式 就 不对。 因为我 自己 作为 一个 可能 稍微 了解 N R P 的, 或者 了解 产品, 了解 技术 实现 的 大概 逻辑 的, 我 就会 去 想说, 这个 是不是 难为 他 了, 这个 他 肯定 不会, 我 就 不问 了。

或者说 我知道 他是 个 机器, 我 就 很 担心 我 给 的 前提条件 不够, 他 胡说八道, 给 一些 错误 的 答案 就是我 是用 特别 照顾 他他 呵护 他的 一个 状态 来 跟 他 聊天 的那 这样 问 是 就是 他 不够 真实 吗? 包括 我 做 N R P 的 一些 老同学, 他们 也会 心里 就 带着 很多 假设 和 前提条件 去 问。 他们 问 的 都是 一些 很 不是 正常人 聊天 会 问 的 方式。 但是 现在 用 ChatGPT 的 大部分 的 人, 其实 不是 产品 或者 技术 背景, 他们 并不知道 这 背后 的 原理。 所以 他们 问 出来 的 就是 真实, 会 问 他 就 把 对面 这个 当成 人。 所以 你 能 收集 到 格外 真实的 这些 内容, 之前 训练 的 时候 也是 用 格外 真实的 这些 内容 去做 的 训练, 所以 能把 它 训练 出来, 这是 ChatGPT 它 整体 的 一个 优势。

大家 认知 的 一个 偏差 就是 它 不就是 个 聊天机器人 吗? 在 这个 基础上, 其实 很多 朋友 也 还 存在 一些 偏见, 比如说 ChatGPT 它 这个 不好 搜, 搜 的 这些 信息 都 不准, 搜 了 几次 你看 他 胡说八道, 所以说 ChatGPT 没有 大家 吹 的 那么 神, 很多 朋友 都会 这么 觉得, 就 问 了 几个 发现 都 不对, 就 认为 ChatGPT 没有 什么 大家 说 的 那么 的 有 价值。 这个 问题 其实 对于 信息 准确性 的 问题 其实 是 好 解决 的, 而且 必然 会 解决。 因为 现在 这个 固定 的 模型, 他 不是 在 一句 一句 的 学, 不是 像 大家 想象 的 一样, 在 跟 每个人 沟通 的 时候 他 都 现学。 当然 你你你 在 聊 上下文 的 时候 会给 他 输入 一些 前提, 他 这个 可以 说 是在 现学 上下文, 但是 他 背后 那个 模型 是一个 固定 的 模型, 是用 2021年 的 语料 去 整理出来 的 一个 模型。 这个 底层 的 模型 是 没有 进化 的, 但 为什么 对于 信息 准确 这个 问题 来说 好 解决, 这个 后面 会说。

另外 一种 说法 是 ChatGPT 看起来 是一个 生成式 一个 工具。 所以 它 是不是 能 帮助 内容 创作者? 目前 看起来 他 帮 内容 创作者 也 相对 有限。 有可能 能 帮忙 写 个 周报, 帮忙 润色 一下 一些 文字, 帮忙 写 个 小红 书 笔记 等等。

大家 也 发现 一下, 这个 写 出来 A I 感 非常 强, 或者说 他他 不是 那么 擅长 表达。 你 能 明显 的 感觉到 他 整个 表述 的 方式 是 有 一种 奇奇怪怪 的 感觉。 这种 感觉 让人 觉得 说 那 ChatGPT 不就是 这样 吗? 这 也就是 所谓 A I 这就是 所谓 机器 的 表述, 机器 的 语气。 你看 机器 的 语气 永远 替代 不了 人。 我 就 比如说 对于 诗意, 对于 这个 文风, 对 有 一些 文学性 的 表达 等等, 他是 掌握 不了 的。

这个 内容 的 表达 问题 其实 说实话 也 不是 大问题, 它是 个 技术性 的 问题。 因为 A I 最 擅长 的 就是 模仿, 对于 文本 的 模仿 反而 是 相对来说 容易 的。 只不过 有 一方面 因为 ChatGPT 它是 基于 英文 语料 主要 训练 的, 所以 它 在 中文 的 表达 上 会有 比较 大 的 问题。 另外 就是 chat G B E 它 本身 训练 就是 训练 成了 一个 有 他们 训练 语料 的 特色 的 这么 一个 人格 表达 语气 等等, 也是 可 训练 的。 既然 是 可 训练 的, 它 就是 可 提升 的这 也是 一个 技术性 的 问题。

比如说 之前 A I 绘图 刚 出来 的 时候, 大家 当然 就会 只 基于 当时 的 版本 去 考察 说 A I 能 画 成 这样 了 还 不错。 但是 A I 画的 图 还都 有 A I 感。 这个 所谓 的 A I 感 大概 也 意思 就是 这 里面 你看 的 是 光影 调试 里面 的 真实 程度, 写实 的 方面 还是 能 看出 破绽 来 的, 尤其是 大家 会说 有 六根 手指 吗? 如果 是 还 停留 在 这个 认知 的 朋友, 强烈建议 去看看 made journey v 5这个 版本 画的 图, 你 会 发现 他在 很多 摄影 的 作品 里 已经 把 大部分 的 A I 感 都 消除 了, 确实 你 很难 分辨 了。 现在 网上 开始 出现 各种 有 made journey 编造 的 新闻 图片 了。 当然 关于 这个 审查 或者说 道德 方面 的 问题, 这个 我们在 这儿 不 展开 聊。

但是 A I 绘图 的 这个 发展 就是 因为他 投入 了 更多 语料, 他用 了 更多 好的 方法 去 训练, A I 感 就是 一个 技术性 的 问题, 这个 问题是 迟早会 解决 的。 所以 ChatGPT 不管 是 说 信息 准确度 的 问题, 还是 说 内容 表达 上 的、 语气 上 的 问题, 人格 上 的 问题。 那 可能 就 会有 朋友 问 了, 那你 你说 都是 技术 问题, 那 A I 发展 了 这么多年 了, 那 可不是 每个 都是 技术 问题。 那 ChatGPT 到底 有 哪些 不一样的 地方? 就 我们 说 的 这些 不好 的 地方 你 都说 可以 解决, 那 他 到底 体现 出来 哪些 跟 之前 的 不管 是 聊天机器人 还是 说 A I 模型 有 不一样的 地方。

它 本身 最 特殊 的 地方 就是 它 替代 了 过去 人类 或者说 科研人员 认为 A I 达不到 的 部分。 人类 自己 最 引以为傲 的 部分 就是 理解 或者 推理 这 一步。 比如说 ChatGPT 自己 可能 信息 不全, 但 你 让 他 查, 他 能比 很多人 更好 的 查 到 你 所要 的 这个 东西, 而不 只是 把 网页 排 个 序。 ChatGPT 自己 可能 不会 写 很 厉害 的 文章, 但 你 经过训练 之后, 他 确实 能 理解 你想要什么, 他 能 变成 一个 很 好的 有 固定 文风 的 一个 写手。 ChatGPT 他在 他的 原生 的 这个 模型 里 可能 知道 word 是什么, 但是 不知道 怎么 使用 word。 它 不可 可能 看到 说明书 就会 使用 了。

但是 你 让 他 看 大量 的 人是 怎么 使用 的, 他 很快 就能 学会。 这 才是 ChatGPT 最 不一样的 地方。 它 比 之前 所有的 A I 都 更 像 一个 A I 就 当 A I 这个 词 出现 的 时候, 大家 想象 的 是 它是 一个 智能 的 东西。 那 现在 它 真的 出现了 有 智能 的 可能性。 这一点 在 学术 圈 和 科研 领域 最早 引起 了 轰动, 可能 就 比 普通用户 的 震惊 程度 还要 大。 他 产生 了 刚才 说 的 这个 新的 魔法, 叫 通过 知识 产生 推理。 知识 及 推理 会 展开。

说 一下 gbt 背后 的 逻辑。 首先 语言 模型 这个 是 很 早就 有的。 10年 前 我 读研 的 时候, 当时 学 N R P, 你 翻开书 的 第一页 可能 就 会说 语言 模型 它 就 跟 你 学 高等数学 第一课 都是 先 学 函数 一样。 它 不是 什么 新鲜 的, 现在 才 发明 出来 了 一个 新的 科研 的 成果。 那 为啥 这一次 同样 是一个 语言 模型, 大家 这么 惊奇, 他 不是 能 对话 了, 不是 能 写 这种 所谓 一碗水端平 的 这种 文章 了, 不是说 能 获取 什么 信息 了也 不是说 参 数量 有 多大 了 等等。

那那 当然 说到 参 数量 很 有意思, 这也是 个 做题 家的 思路。 之前 大家 做 大大 语言 模型 其实 都 是在 比拼 参 数量。 你 现在 去 搜 还有 国内 的 这种 新闻, 就 特别 像 那个 特殊 年代 的 这种 新闻, 亩产 多少 斤? 就说 快手 已经 有 2万亿 的 参 数量 的 模型 了。 这个 模型 从 参 数量 上 碾压 GPT3, 这个 GPT3是 垃圾, 我们 做 的 好, 但是 这 没有用, 就是 参 数量 高了 并不是 最 关键 的。

GPT 的 参 数量 不是 世界 最大 的, 它的 革命性 就在 这一 一个点, 就是 语言 模型 当中 出现了 推理, 出现了 以假乱真 的 可能性。 这里 说 的 所谓 以假乱真 还是 以 传统 的 方法 在 说, 他 像是 在 编造 的 结果。 但是 这个 结果 里面 出现了 很多 意想不到 的 东西, 大家 非常 意外 的 东西。

我们 先 说 语言 模型, 它的 逻辑 很 简单, 就是 上文 根据 上文 预测 下一个 词儿。 以前 是 根据 一两个 词 预测, 后来 出现了 更多 的 算法, 更多 的 计算 性能 比较 好的 机器。 它 可以 预测 更多 的 上下文 了。 像 现在 chat G B E 它 能 预测 的, 再加上 这个 transformer 的 这个 算法, 它 能 预测 的 整体 的 篇幅 就会 特别 长。 但是 他 依然 就是 一个 猜词 游戏, 这是 统计 意义 上 的 一个 算法。

那 很 自然, 你听 起来 这种 统计 的 语言 模型, 它 解决 的 是一个 有点像 记忆 上 的 问题。 我 现在 读 了 很多 东西 了, 我 读 了 很多 诗文, 读 了 很多 古 普及, 读 了 很多 wiki 维基百科 或者 各种各样 的 百度 百科 各种 知识。 那 接下来 我 能 做 的 是什么? 可能 类似 比如 我 能 做 翻译, 我 能 写 一个 像模像样 的 一篇 文章, 但是 搞 别的 应该 是 不行 的对, 这也是 现在 大家, 包括 很多 甚至 科研 界 的 老前辈 就说 ChatGPT 它 还是 一个 复印机, 那 逻辑 就 是从 这儿 来 的。 他 确实 是 把 这些 东西 吸收 过来, 但是 他用 的 方式 还是 就 猜 词儿。 因为 我们 感知 上 确实 你 通过 统计 得到 的 这个 语料, 就是 把 原来的 语料 搬 过来。 但是 逻辑 这个 事, 理解 推理 这些 事儿 好像 没法 通过 统计 的 方法 去 实现。

听起来 就是 一个 天方夜谭。 哪怕 你 读 了 再 多 的 古诗, 你 写 出来 的 古诗 是 像模像样, 但 你 懂不懂 诗意? 他 哪怕 他 所有的 诗词 记得 特别 牢, 但是 不一定 懂 风花雪月 是什么 意思, 一定 懂 小舟 从此 逝, 江海 寄 余生 是什么 心情, 不一定 懂 春色三分 二分 尘土, 一分 流水 这是什么 意思。 在 2022年 之前 他是 不懂 的, 2022年 之后 他 就 懂了 这个 区别。 我 因为 学 了 各种各样 的 语料, 结果 发现 猜词 的 过程中, 我 就 自然而然 把 推理 这个 事儿 给 完成 了的。 GPT 刚才 说 了, 它是 一个 词儿 一个 词儿 的 去 预测, 它 甚至 不是 一个 整体 的 一个 生成 的 方式。 我 先 去 想 框架, 先 去 想 段落, 他 还是 单字 的 去 泵, 结果 效果 上 来看, 他 就是 跟 有 魔法 了 一样。

OpenAI 在 这个 大 语言 模型 上 做了 什么 才 把 GPT3、 GPT4 做出来 呢? 其实 没 在 底层 做 太多 算法 上 的、 规则 上 的 很 复杂 的 一些 事情。 就是 让 模型 更大, 特别 暴力 的 去 训练 特别 大 的 数据量, 反复 的 调试。 所以 现在 我们 看到 一个 非常 古老 的, 就 感觉 这 上面 已经 长了 青苔 的 一个 很 老的 语言 模型。 这个 方法 它 居然 可以 实现 高水平 的 A I 在 这 之前, 从 五六年 达特茅斯 次 会议, 明 斯基亚 麦卡 西斯、 马赫 牛尔 这些 人工智能 的 创始人, 就 这个 学科 的 创始人 开始, 他们 就 一直 在 琢磨 怎么 实现 高水平 的 A I 去 找 路径。 最 开始 想 的 可能 跟 我们 现在 想象 的 A I 刚 开始 要 做 的 事 是 一样的, 就是 学习 推理。 所以 他们 被 称为 符号 牌, 就是 把 世间 万物 的 所有的 逻辑 抽象 出来, 把 它 变成 形式主义 的 一些 符号。 这些 符号 让 机器 去 学, 后来 发现 走 不通, 搞 了 二十多年 符号 派, 各种各样 的 路径 被 堵死 了, 所以 慢慢 就 消亡 了。

接下来 就是 统计 学习 和 深度 学习 的 时代, 就是 让 机器 去 自我 消化 数据, 它 就能 解决问题。 但 在 2022年 之前, 大家 发现 解决 的 问题, 或者说 大家 公认 的 能 解决 的 问题, 还是 一些 垂直 课题, 特定 领域 的 问题。 比如说 人脸识别, 自动驾驶, 阿尔法 狗 去 下 个 棋 等等, 这些 似乎 都是 做 的 还 不错 的。 包括 语言 模型, 大家 也 觉得 他他 也能 解决 一些 问题, 但是 他 就是 解决 特定 问题 的。 就 好像 说 之前 一个 田径队, 短跑 是 短跑, 长跑 是 长跑, 接力跑 是 接力跑, 马拉松 是 马拉松, 有 各种 不同 的 教练 去 用 不同 的 方法 训练。 本来 觉得 是 不同 的 课题, 但是 有一个 教练 他用 了 不同 的 方法 训练 了 一个 队员, 发现 这 队员 跑 啥 都行, 我 接力跑、 长跑、 短跑, 他 跑 去 试了试, 扔 铅球 也是 前几名, 扔 标枪 也是 前几名, 跳 鞍马 也是 前几名, 他 不一定 都能 拿到 第一, 但是 这个 效果 大家 非常 惊讶。

所以说 回来 A I 领域 之前, 在 知识 获取 和 怎么 灌输 给 A I 这些 知识, 这个 问题 已经 不是 难点 了。 A I 一直 没有 逻辑 能力, 这是 大问题。 之前 只能 是 解决 垂直 领域, 因为 你的 规则 相对 比较 确定 了, 它 能 很 好的 解决。 但 现在 你 把 知识 突破 了 一定 阈值, 他他 跨过 了 那个 坎 之后, 你 发现 知识 本身 在 产生 推理, 哪怕 是 很多人 现在 其实 不太 认同 他 这个 叫 推理, 他 可能 还是 在 复述。 但是 我们都知道, 就是你 真的 亲身 体验 过, 你 就 知道 他 这 里面 哪怕 是 假的 推理, 但是 这个 推理 一定 是 以假乱真 的。 所以 这个 看起来 终于 出现了 一条 可以 通往 A G I 的 这条路 了。 你可以 说 它 不是 唯一 的 路, 但 至少 有 这条路 了。

之前 是 大家 看不到 这条路 的。 大家 用 各种 方法 都是 发现 离 真正 的 A G I 通用 人工智能 是 很远 的。 所以 ChatGPT 的 意义 不是 ChatGPT 这个 聊天机器人 本身, 是 ChatGPT 背后 的 GPT 的 这个 范式。

他 告诉 了 世界 存在 了 特别 多 的 可能性, 你可以 依据 这个 可能性 训练 出来 非常 好用 的 A I 因为 这个 A I 和 之前 的 A I 不一样, 它 有 推理 能力 了。 那 围绕 前面 说 的 这些, 接下来 可能 会 发生 什么 呢? 我想 了 七个 点 分享 一下。

第一个 点 就是 跟 前面 说 的 运动员 的 例子 一样, 全球 的 教练 大家 都 得 换 训练方法, 那个 好用。 所以 几乎 很多很多 大型 的 企业, 就 不光 A I 的 企业 都 得用 大 模型, 而且 很快 会 进入 军备竞赛。 这里 跟 很多 朋友 想 的 不一样, 它 不是 比 参 数量, 也 不是 甚至 也 不是 比 数据 多少。 但是 数据 它 本身 确实 是一个 壁垒 或者 门槛。 但是 这 里面 还有一个 核心 的 竞争力 就是 调试。 比如 对于 百度 来说, 他 之前 做 的 这个 文心 大 模型, 它的 底层 数据量 真的 不比 OpenAI 少。 或者说 甚至 可以 说 它 底层 的 这个 模型 未必 比 OpenAI 做出来 的 这个 GPT3 它的 质量 要 差。 但是 他 没有 很 好的 调试, 就是 怎么 激发 他, 我 这个 也是 一个 非常 玄学 和 魔幻 的 事儿。 就 你 读 他们的 论文, 你 会 发现 他们 怎么 去 有一个 工程 团队 去 激发 调试, 让 他 变得 更 智能。 这件 事儿 变得 非常重要。

这是 最后 画龙点睛 的 一步。 就 好像 说 有一个 天分 非常 好的 小孩, 但是 你 得 调教 他。 这个 调教 本身 它 又 不存在 一个 很强 的 确定性 或者 方法论。 这个 调教 本身 也是 个 黑盒, 有 很多 坑, 你 得 慢慢 试, 各种 试错。 从 GPT3 这个 底层 的 模型 到 出现 ChatGPT 这个 过程中 其实 花了 很多很多 的 功夫。 调教 之后 V T 就 非常 聪明。 所以 在 这个 过程中, 工程 比 研究 也要 重要。

这是我 找 了 很多 做 科研 或者 做 创投 的 朋友 交流 的 一个 结论。 学术研究 它 提供 的 是 方法, 但是 ChatGPT 它 背后 并没有 新的 方法。 更 重要 的 还是 工程 团队 他用 了 一些 大家 认为 所谓 的 比较 tRicky 的 方法, 这些 方法 非常 奇妙。 所以 OpenAI 你 会 发现 它 公开 了 底层 的 算法 和 逻辑, 但是 他 并没有 公开 ChatGPT 这套 源代码。 E 你 会 发现 比如说 对于 百度 来说, 他 花了 这 一两个 月 重新 去 调校, 那 肯定 跟 ChatGPT 是 没法 比 的。 百度 和 国内 其他 家 面临 的 大部分 也是 调教 的 问题。 你 想要 训练 出来 一个 底层 的 拆 GBT3 的 这个 模型, 并不是 特别 大 的 难点。

第二点, 调教 这件 事会 非常 影响 A I 的 表现, 他 并 不是说 所有人 不同 的 人 去 激发 这个 A I 他 最后 激发 出来 的 效果, 大家 殊途同归, 就 激发 出来 一定 是一个 东西。 很多 没有 了解 技术细节 的 朋友 总 觉得 ChatGPT 很 蠢, 因为他 总是 一碗水端平。 他 就是 按 格式 来 写 命题作文, 这个 是 调教 的 结果, 而且 这个 是 OpenAI 团队 刻意 这么 做 的, 他 为的是 获取 最大公约数 的 用户。 不要 出 任何 政治 正确 的 问题 或者 偏见 的 问题。 你 要 真的 想 调教 一个 极端分子, 或者 要 调教 一个 特别 温柔的 像 心理咨询师 一样的 这么 一个 人格, 或者 调教 一个 诗人, 原则上 都是 可以 的, 你 就 看 怎么 调, 那 OpenAI 用了 六 万多条 语料, 它 就 调 出来 了。

ChatGPT 那 别的 人格 能 调 出来, 各种各样 的 人格 会 调 出来, 这就是 一个 时间 问题。 就 不要 觉得 就 比如说 在 种地, 他们 有一个 团队 花了 很多年 种 出来 了 一个 品种 的 苹果, 这个 品种 的 苹果 叫 ChatGPT。 你 吃 了 一口 这个 苹果 说, 太 酸 了, 扔 了。 这个 叫 ChatGPT 的 苹果 当然 重要, 但 更 重要 的 是 发现 了 一片 叫 大 模型 的 土地, 可以 种种 A I 水果。 就 不光 苹果, 还有 梨子、 菠萝, 还有 葡萄, 有 大量 的 可能性 定 会 发生 的。 所以 大家 盯 着 的, 现在 很多人 去做 的, 并 不是说 我 一定要 做 同一个 品种 的, 酸甜 口 一模一样 的 一个苹果 出来。 而是 大家 看到 了 这 里面 能 做 各种各样 其他 水果 的 价值, 看到 了 这 片 土地 上 这个 叫 大 语言 模型 的 土地 上能 种 出来 这种 水果 的 价值。

第三, ChatGPT 的 这个 范式 有了 之后, 很多 技术性 的 问题 一定 是 可以 解决 的这 就在 回应 前面 说 的 那个 问题, 只要你 这个 范式 是 可靠 的, 很多 技术性 的 问题 无非 就是 加算、 力加 数据 以及 好好的 调教, 这个 并 不难。 1956年 塞缪尔 就 做 过 一个 跳棋 程序, 这个 跳棋 程序 在 当年 已经 能 下 赢 很多 专业 选手 了。 到了 97年, 深蓝 基本 的 逻辑 区别 不大, 下 赢 了 国际象棋大师, 16年 阿尔法 狗 下 赢 了 围棋 冠军。 现在 的 很多 游戏 A I dota 2、 星际争霸 2的这些 A I 也都 可以 能 下 赢 很多 顶级 的 选手。 这 里面 基本 的 逻辑 从来 都是 变化 不大 的, 技术路线 非常 明确, 所以 剩下 的 就是 时间 问题。

过去 计算机 发展 当然 慢 了, 97年 深蓝 的 性能 都 说不上 很好。 但是 现在 不一样 了, 现在 很多 企业 都有 条件 去 解决 各种各样 的 技术 问题 了。 所以 它 整个 的 发展 不会 像 下棋 人工智能 下棋 这个 历史 一样 这么 漫长, 肯定 是 更快 的。

比如说 刚才 说 的 A I 感 信息 准确度 的 问题 等等, 包括 很多人 试出来 的 表现 很 蠢 的 问题。 比如 数学 ChatGPT 就可以 跟 有 更 骚 类 的的 这些 知识, 得到 过 这种 各种 精细 训练 的 数学 推理 能力 的 产品 合作。 就像 一个 聪明 小孩, 你不懂 数学, 但是 你 足够 聪明, 我可以 给你 配 个 小伙伴。 这个 小伙伴 不是 很 聪明, 但是 他 上 过 奥数班, 他 对 数学 特别 了解。 你们 两个 一 搭配, 这 就可以 了。 这个 不是 假设 这个 已经 有了 ChatGPT 跟 我 frame 阿尔法 专门 做 刚才 说 的 一个 更 骚 类 的 一个 知识 精细 训练, 按 规则 训练 的 一个 有 推理 能力 的 一个 A I 产品。 他们 合作 已经 做了 插件 了, 它 可以 解决 大量 的 问题, 化学、 数学、 物理、 地理、 几何、 历史、 材料、 工程 等等等等。

如果 大家 会 去 尝试 问 的, 就是 想要 验证 说 ChatGPT 纯 ChatGPT 不好 用, 它 都 称不上 是什么 通往 A G I 之路 的 比较 明确 的 一个 路径 等等。 其实 这些 边边角角 的 奇怪 的 答案 部分 都是 可 解决 的。 甚至 说 ChatGPT 做出来 以前 是 做 A P I 不是 用户程序。 他 为什么 要 专门 在 to b 之外 要 做 一个 to c 他 就是 想 让 大家 去 试试 出 各种 的 bad case, 下 个 版本 我 全都 给你 解决。

第四, 解决 各种 问题 的 速度, 或者说 满足 各种 需求 的 速度, 可能 都是 指数 级 的 速度。 这个 当然 不是 特别 好 论证 了, 现在 大家 也 不知道 多长时间 会 发生 什么 事情, 不过 大 概率 这个 发展 不会 是 线性 的。 因为 人脑 的 学习 它是 缓慢 的, 神经元 信号 传递 它 有 速度限制, 神经元 的 数量 和 规模 它 都是 有 这 整体 的 限制 的。 但 计算机 不一样, 就 好像 说 你 一个 人脑 不行, 那 我 连接 十个 人 恼, 那 十个 爱因斯坦 的 脑袋 连 起来。 但是 不是 乘以 10不一定, 但是 它的 进化 速度 肯定 比 人 要 快, 因为 你可以 对 量 了 ChatGPT。 它的 成功 会 让 各种各样 的 大厂 他们 会 出现 军备竞赛, 所以 这个 速度 还是会 持续 被 推 着 走 的。 再加上 现在 确实 没什么 新的 领域 可 投 了, 在 其他 方面 没有 什么 新的 红利 了。

这 对于 很多 场景 来说, 整个 跟 大 模型 的 对接 是 不 复杂 的, 挺 简单 的。 因为 ChatGPT 它是 一个 底层 模型, 调用 和 训练, 它 并 不是说 每个 场景 都 再 训练 一遍。 但是 未来 难说 会不会 说 一些 各种各样 的 场景 都会 自己 有 自己的 大 模型, 自己 有 自己的 GPT。

不过 按 现在 这个 进度, A I 能 非常 好的 融合 进 各种 业务 里。 你看 他 上 微软 的 这些 产品, 不管 是 并 还是 上 office 速度 都 很快。 这 里面 就有 一个 很 残酷 的 现实 了, 就是 这些 业务 融合 之后, 大家 在 用 A I 的 这个 过程, 就是 在 加速 淘汰 自己的 过程。 之前 有一个 关于 网易 的 新闻, 确实 不知道 真假, 他说 的 就是 有一个 团队, 让 这个 设计师 们 都 必须 去 用 A I 你 用 A I 你 不用 A I 我 就 开除 你。 但是 你 用了 A I 之后, 我 训练 出来 这个 模型 它 也能 替代 你, 反正 你 迟早 被 开除, 就是 早 痛 还是 晚 痛 的 问题 了。

第五个 点, 这个 也是 最近 我 慢慢 认知 到 的 一件 事儿, 就是 调试 工程师 会 变成 非常 珍惜 的 一个 岗位。 因为 对于 大 模型 来说, 它的 可 解释性 非常 差, 或者说 可控性 存在 问题。 前面 也 说 了 非常 巨大 的 黑盒, 所以 他 只能 通过 调教, 他 不能 通过 指挥, 不是说 指 哪 打 哪。 你 这个 问题 回答 的 不好, 你 下次 应该 这么 回答, 你 没法 这么 去 训练 他。 所以 这个 调教 就 特别 重要 了, 你 怎么 去 调试 工程师 在 这 里面 就会 变得 越来越 值钱。 但是 调试 工程师 到底 具备 什么样 的 能力, 了解 场景 还是 说 了解 代码, 这个 不大清楚, 反正 就 肯定 是 很 有 需求。 这个 会 变成 很多 不管 是 做大 模型 的 公司, 还是 说 自己 要 训练 一小 模型 的 公司, 肯定 它 会 变得 越来越 重要。 但是 值钱 的 岗位 未来 不会 特别 多, 不值钱 的 岗位 会 变得 越来越多, 这就是 要说 的 第六 点, 关于 失业问题。

失业问题 很 有意思。 之前 OpenAI 自己 写 了 一篇 官方 下场 写 了 一篇 报告。 这个 报告 的 一些 具体内容 就 不 展开 说 了, 就说 他 最后 得到了 几个 结论。

第一个 结论, 未来 这些 职业 里 有 80% 的 人 里面, 他们的 10% 的 工作内容 会 受 大 模型 的 影响。 怎么 定义 影响 呢? 让 大 模型 来做 类似的 事情, 大 模型 的 工作效率 能 提升 非常 多, 能够 让 成本 节省 一半。 这里 说的是 时间 成本, 就 我 能 用 一半 的 时间 完成 你 同等 质量 的 工作, 这个 受影响 的 预 值 就 非常 高了。 基本上 到 这个 程度 大 概率 会 被 替代 了。 所以 就是 80% 的 人, 他们的 工作内容 里 有 10% 可能 会 被 替代。 有 19% 的 人 会 大 受影响, 他们 有 50% 的 工作内容 受 刚才 说 的 这个 量化 的 影响。 也就是说 他们 有 一半 的 工作内容 大 概率 会 被 替代, 所以 这个 是 占 19%。

另外 很 有意思 的, 但是 现在 大家 也都 有 观察 的 一个点, 就是 薪资 越高 的 人 越 容易 受影响。 受过 良好 教育 的, 有 丰富 工作 经验 的, 高薪 的 职业 被 影响 的 概率 是 非常 大 的。 也就是说 坐在 办公室 里 那些 白领, 比如说 做 金融 的 或者 做 数据分析 等等, 这些 可能 是一个 高危 的 职业。

那 报告 很 有意思, 大家 可以 自己 去 读 一下。 就 他用 了 一些 相对 量化, 当然 不一定 特别 准确, 但是 他用 尽可能 量化 的 方式 去 做了 一个 分析。 未来 会不会 发生? 我 觉得 大 概率 确实 会 发生 的。 但是 多少 年 发生 这个 不好 说有 一些 相对 容易 落地, 容易 快速 被 替换 掉 的, 比如说 个体户, 这些 可能 危险性 更大 一些。 如果说 大公司 的 组织 里面, 你 整个 工作内容 或者 岗位 要 做 调整, 那 有 一些 组织 管理 上 的 问题 可能 会 慢 一些。 我 视野 可 及 里面 的 就是 那种 类似 做 插画 的 画师, 做 电商 图片 的 这些 美工, 一些 公众 号 的 小编 等等。 这些 偏 个体户 或者 独立 完成 工作 的, 反而 是 非常 危险 的那 这 中间 可能 也有 一些 过渡期。

比如说 对 未来 的 很多 画师 也好, 很多 设计师 也好, 可能 未必 说 AI 绘图 变成 主流 之后, 他们 就 完全 失业。 因为 就像 photoshop 他 出现 之后, 大家 只是 说 从 用纸 和 笔 去 绘图, 变成 了 用 另外一个 工具 去做。 那 未来 A I 绘图 他 也 肯定 也 不是 A I 自己 去 瞎 想你 还是 要有 转化 需求 的这 一道。 这 中间 可能 对于 很多 画师, 很多 中间 的这 一部分, 你 叫 他 prompt engineering 也 行, 念 咒语 的 人 也好, 你 肯定 还是 需要 有人 做 这份 工作 的。 所以 很 可能 他在 过渡期 的 时候, 更多 的 是 工具 的 替换。

A I 绘图 和 photoshop 之间 不一样的 是, 这 里面 还是 存在 一个 效率 问题 的。 就 用纸 和 笔 的 画师 和用 photoshop 的 画师, 生产力 的 变化 可能 没 那么 大。 但是 A I 的 生产力 是 剧烈 的 大幅 提升, 不太 需要 那么 多人 了。 他 肯定 是 有一个 生态 上 结构性 的 一个 非常 大 的 波动。 那 未来 会 怎么样? 到底 这个 事儿 是不是 是一个 大 的 社会问题, 这个 就 不在 这儿 展开讨论 了。

最后 第七 点, 大多数 人机交互 都 不存在 了。 我 之前 很多 搞 N R P 的 老同学 就说 N R P 不存在 了。 而且 有 一些 N R P 的 研究 人员 就 盯 着 GPT4 的 那个 发布会 看, 他们 比 很多 用户 或者 企业界 的 人 还要 焦虑。 那就 跟 三体 里 一样, 就 当你 看到 这个 例子, 它 就是 转 不 出来 想要的 这个 东西 之后, 你 就 发现 物理学 不存在 了。

为什么呢? 因为 很多 中间 问题 都 被 解决 了。 以前 有 很多 研 有 分词 的 研究, 磁性 的 研究, 情感 分析 的。 这些 其实 都是你 在 研究 语言 课题 里面 的 所谓 的 中间 课题。 这些 中间 课题 现在 被 一个 大 语言 模型。 这个 大 语言 模型 它 虽然 没有 设置 让 他 解决 这些 课题 的 规则 或者 逻辑, 但是 他 能 很 好的 解决 掉了, 他 顺手 就 给 解决 了。

或者说 反过来说, 有点 像是 之前 大家 做 的, 就是 一些 各种各样 的 拧巴 的 折中 方案。 冰箱 发明 之前, 很多人 研究 的 是 怎么 存储 冰块, 制造 冰块, 折腾 这些。 那 有了 冰箱 为什么 还要 接着 再 折腾? 你 不用 了, 未来 大家 就 用 冰箱 就可以 了。

对于 产品 交互 也是 这样。 用户 过去 为什么 要点 按钮, 要 做 各种 操作, 包括 用 photoshop、 word 这些 反 人类 的 各种各样 的 复杂 的 功能。 那么 多 记不住, 就 大家 都 记不住, 各种 专业 的 也得 去 搜 一下 才知道 的 很多 功能。 如果 A I 能够 理解 了, 帮忙 处理, 那 就是 有了 冰箱 就 不需要 冰块 了, 就 不需要 就在 大部分 场景 下 不需要 用 冰块 来 冷藏 了。 那 以后 人机交互 也 不存在 了, 就是 自然语言 交互 它 能 解决 大部分 人际沟通 的 问题 了。

这个 就 跟 我 104 期 的 端口, 那 里面 提到 的 最后 那 一点 也 对 上了。 但 那个 时候 我在 讲 的 时候 不是 很 笃定。 我 后来 用了 GPT4 之后, 包括 跟 更多 的 专家 聊 了 一些 技术 上 的 问题 之后, 我 觉得 这是 很 有 确定性 的。 这样的 这个 发展 路径 相对来说 是 没法 预测 的, 可以 预测 的 就是 终点 终于 已经 出现了。 现在 大家 都 看 得到 终点 是什么 样子 了。 这么 多 人工智能 的 专家学者, 从 1956年 搞 到 现在, 终于 离 最初的梦想 近 了 一步 了。

今天 就 比较 短小精悍 的 一期, 先 说 这么 多, 补充 了 一下 我 最近 的 一些 认知。 最近 也 一直 在 看 A I 的 整体 发展 历史, 也 觉得很有 意思。 所以 我在 另 一档 我的 博客 克 半 拿铁 做了 一个系列, 已经 完结 了, 欢迎 各位 去 听听看 的。

历史 车轮 是 碾压 过来 的, 所以 到底 回头看 这 是不是 一段 弯路 等等, 这些 并不是 特别 重要, 或者说 不是 最 重要 的。 因为 ChatGPT 发布 之后, 整个 产学研 都 已经 到了 快车道 上了。 这个 快车道 上 是 没有人 有 能力 去 踩 刹车 的, 我们是 都 不可能 回避 这个 A I 的 历史 车轮 的。 还是 想想 怎么能 别 被 压扁 了。 之前 在 阿里 待 过 的 朋友, 大家 都 知道, 阿里 有一个 经常 被 群 嘲 的 一个 价值观 叫 拥抱 变化。 但 拥抱 变化 这个 词儿, 之前 看 觉得 很 戏谑, 现在 看 感觉 还 挺 应景 的。

而且 不如 反过来 想 问题。 汽车 时代 来 的 时候, 马车夫 肯定 非常 焦虑, 驯马师 也很 焦虑。 不过 汽车 是 工具, 对 大部分 人 来说 它是 非常 有 帮助 的。 它 并 不是说 要 摧毁 谁, 摧毁 哪些 岗位, 或者 摧毁 那的 工业 行业。 其实 你可以 用 汽车 做 很多 有意思 的 事儿, 用 很多 现在 我们 用 得到 的 一些 革新 的 产品 做 很多 有意思 的 事儿。 没有 交通工具 的 效率 提升, 全球化 都是 白扯。 所以 反过来 想, 有了 A I 我们 能 干什么? 这件 事儿 特别 重要。

最近 跟 身边 几个 比较 好的 朋友, 大家 达成 的 一致 都是 先 用 起来, 先 用 它 做 点 什么。 其实 未来 有 无限 的 可能性, 所以 我们 把 目光 放 长远 一点, 不是说 纠结 当下 的 工作岗位 什么的, 而是 去 看 未来 的 机会。 这样的话 心态 可能 也会 有 变化。 ChatGPT 基于 我 今天 聊 的 主题, 推荐 了 一首 关于 拥抱 变化 的 片尾曲 the times they are changing, 也很 应景, 我们 下期 再见。

When you Better start swimming the. 今天。

欢迎 在 小宇宙 苹果 podcast 订阅 和 收听 3、 五环, 也 欢迎 在 评论 区 留言 交流。 如果 喜欢 三、 五环 的话, 也 恳请 您 在 苹果 podcast、 spotify 或者 喜马拉雅 留下 你的 宝贵 好评, 下期 再见。

And IT is not telling who that is named in, but the loser now will be.