We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode E138|如何用大模型提升学习效率?来自1100小时的深度使用体验

E138|如何用大模型提升学习效率?来自1100小时的深度使用体验

2024/1/26
logo of podcast 硅谷101

硅谷101

AI Deep Dive AI Chapters Transcript
People
左斯琦
Topics
泓君:就大模型如何帮助学生提升学习效率进行了探讨,并对嘉宾左斯琦的学习方法进行了详细介绍。 左斯琦:分享了利用ChatGPT、RAG、API等工具辅助学习的五个步骤,并分别从哲学、数学两个方向详细阐述了具体操作方法和经验,包括如何利用ChatGPT进行总结、全局理解、问题扩展、文献检索和信息整合等。同时,还分享了利用ChatGPT辅助编程开发小游戏和模拟与哲学家对话的经验,并对不同大模型软件(ChatGPT、Claude、Bard)进行了比较,最后展望了自我提升AI Agent的未来发展趋势。 泓君:就大模型如何帮助学生提升学习效率进行了探讨,并对嘉宾左斯琦的学习方法进行了详细介绍,并就大模型的局限性、未来发展方向等问题与嘉宾进行了深入探讨。 左斯琦:分享了利用ChatGPT、RAG、API等工具辅助学习的五个步骤,并分别从哲学、数学两个方向详细阐述了具体操作方法和经验,包括如何利用ChatGPT进行总结、全局理解、问题扩展、文献检索和信息整合等。同时,还分享了利用ChatGPT辅助编程开发小游戏和模拟与哲学家对话的经验,并对不同大模型软件(ChatGPT、Claude、Bard)进行了比较,最后展望了自我提升AI Agent的未来发展趋势,并对智商测试、人工智能是否有意识等问题发表了自己的哲学思考。

Deep Dive

Chapters
介绍了大模型在学生中的使用情况,并引出嘉宾Siqi,他分享了自己使用ChatGPT的学习方法和工具组合。
  • 超过89%的学生使用ChatGPT完成家庭作业
  • 48%的学生用ChatGPT完成小测验
  • 53%的学生用ChatGPT写论文
  • 22%的学生用ChatGPT生成论文大纲

Shownotes Transcript

欢迎 收听 硅谷 101, 这是 一档 分享 当下 最 新鲜 的 技术 知识 与 思想 的 科技 博客。 我是 红军。 在 大 模型 出来 的 时候, 我自己 是 听说 美国 有 很多 的 大学生, 他们 基本上都 会 把 这个 ChatGPT 当成 是 工具 来 使用。 所以 其实我 是 一直 在 找 能把 ChatGPT 用 的 非常 好的 人。 今天 跟 我们在一起 的 嘉宾 左 思琪, 他 已经 不是 学生 的 一个 身份 了。 他 现在 也 在 一家 知名 的 科技 大厂 工作, 而且 马上 要 去 大 模型 的 组。 但是 他 其实 是在 一个 可以 说是 非常 学生 跟 学霸 的 心态 在 学习, 他 现在已经 在 ChatGPT 上 学习 了 有 1100个小时, 我 非常 好奇 它是 怎么 使用 的。 Hello, 思琪 你好。 嗨 你好。

首先 我想 澄清 一下, 我 统计 了 一下 过去 一年 总的 学习 时间, 也 不是 所有的 时间 都 是在 ChatGPT 上。 然后 我 就 想 介绍 一下, 我 是从 2022年 11月 左右 在 网上 看到 有 这么 一个 很 火 的 东西。 然后 我自己 就试 了 一下, 觉得 确实 很 有趣。 所以 大概 从 那个 时候 开始 就会 经常 的 使用 ChatGPT。

2022年 11月 应该 就是 ChatGPT 刚刚 发布 的 时候。 所以 你是 相当于 它 一 发布 就 开始 一直 在 用。

一直 用到 现在。 对, 基本上 可能 每天 就会 用 一段时间。

你 会 用 它 来 做什么 呢? 就是 我们 之前 有过 一些 简短 的 交流, 比如说 你 会 用 它 来学 哲学, 证明 数学公式, 甚至 跟 自己的 讨论 是 总体上 是 这 几个 大 的 方向。

对, 我会 拿 它 学 很多 东西。 因为我 现在 自己 在 上班 之余, 我也 会上 斯坦福 的 一些 graduate A I 相关 的 课。 然后 我也 在上 一些 他的 哲学课, 自己 也会 看 一些 数学书, 有时候 也会 看 计算机相关 的 论文, 这些 的 ChatGPT 在 这个 上 非常 有用。 然后 我可以 大概 介绍 一下 我 一般 workflow 如何 用 ChatGPT 这个 形式。 一般来说 我的 第一步, 我会 把 我想 学 的 东西 做 一个 简述, 然后 让 我 有 全局 的 理解。

你是 说 在 哲学 方向 还是 在 数学 方向?

其实 对于 绝大部分 的 方向, 这 是一个 比较 通用 的 一个 方法。 在这里 举 一个 例子, 第一步 先是 会 拿 他 把 我想 学 的 东西 这个 文本, 他 会 告诉我 在 选举 上 他是 应该 怎么 理解。 理解 之后 我会 把 它 记 在 一个 spread sheet, 就是 类似 于 像 excel 的 一个 表格 里边。 这是我 学习 和 我 生活, 我 很多 东西 都会 用 类似 于 excel 的 这个 表 来 记下 我 所有的 东西。 第二步 除了 数学 之外, 想 学 想 读 的 这个 东西 放在 audible 或者 一个 叫 speech fy 的 这个 软件 里边。 我会 平常 比如说 在 上下班 和 在 吃饭 的 时候 会 去 听 它。

第三步 我在 听 完了 之后, 我会 再 回到 我的 这个 spreadsheet 进行 复习。 这个 可能 通常 会 两三遍, 就是 第二步 和 第三步 听, 然后 复习 听 复习 可能 会有 两三遍 的 时间。 我 还 用费 办法 对 自己 进行 自问自答, 看自己 能不能 理解 这个 概念 和 这个 问题。 第四步, 所以 我 觉得 我 大概 理解 了 之后, 我会 用 ChatGPT 来 对 自己 提 问题, 就是 类似 于 我 有没有 完全 理解 有 哪些 比较 细节 的 东西。 我没有 想到 我会 让 ChatGPT 来 读完 这个 文本, 问我 一些 发散 的 问题 或者 是 细节 的 问题, 也可以 问我 一些 可以 延展 到 相关 的 问题 或者 领域, 可以 让 我 做 一个 下一个 想 学 的 东西。

第五步, 我 可能 会 用 一个 叫 reg 的 东西, 我不知道 这个 中文 要 怎么 解释, 相当于 在 用 GPT 来 回答 之前, 让 他 先读 一些 数据库 里 存 的 一些 相关 的 文档 或者 文件, 让 他的 回答 更 精确, 更 准确。 我会 拿 它 来进行 一些, 比如说 类似 于 研究 和 发现 新的 学习 方向。 比如说 我会 把 我 学习 的 一些 论文, 就是 能 找到 的 所有的 论文, 我自己 写 一些 脚本, 然后 把 它 存在 一个 数据库 里面。 我在 自己 用 ChatGPT 的 A P I, 我 去 让 他 回答我 的 问题 的 时候, 先 去 读 这些 文献, 然后 让 他 给我 更 准确 的 回答 和 给我 一些 更好 的 想法。 可能 用 的 不是 很多, 但是 前 四步 是我 所有的 学习 都会 用 的 一 比较 通用 的 一些 用途。

我 听起来 你的 整个 的 学习 方法 是用 了 超级 多 的 软件 跟 组合 的。 比如说 第一步 你是 有用 ChatGPT 做 总结, 然后 寄 到 第二个 软件 叫做 spread sheet 上。 第二步 你 会 用 两个 听 的 软件, a deeble 跟 speech fy。 第三步 是 继续 又 回到 了 spread sheet 上, 第四步 是 继续 用 ChatGPT, 第五步 是用 这个 reg 加 ChatGPT 的 A P I。 感觉 其实 每一步 基本上都 是在 善用 软件。

对, 因为我 觉得 过去 的 学习 就 相当于 古埃及 的 那种 金字塔, 你 可能 需要 很多 的 人力, 你可以 换算 成 自己的 时间, 然后 去 堆 一些 东西。 但是 现在 的 这些 就 相当于 推土机, 我 觉得 在 做 这些 就 相当于 我自己 在 开 着 推土机 去 完成 自己的 工程, 所以 会 感觉 对 自己 有 提高, 所以 才会 用 这些 东西。

那 我们 举 个 例子, 就 比如说 是 哲学, 当你 用到 这 五步 的 时候, 它 有 在 事实上 去 加速 你的 学习 或者 加深 你的 理解 吗?

是的, 我可以 举 一个 例子, 比如说 我 有一个 问题 想 问, 这个 就是我 的 刚才 的 第五步 用 reg 和 A P I 就 这么 一个 问题。 我 如果 直接去 问 google, 我是 很难 很快 得到 一个 非常 细节 的 答案。 就 比如说 我 想知道 有一个 叫 康夫 man 的 一个 哲学家, 他说 过 比如说 黑格尔 是 没有 说过 辩证法 这么 一个 东西 的, 他 觉得 黑格尔 本身 是 没有 辩证法, 但是 当然 大家 都会 觉得 黑格尔 就是 辩证法, 就是 正反合 这些 东西。 但是 我 就 想 我 conf man 本来 到底 是 怎么 想 这个 东西 的。 我 就 想知道 有 哪些 文献, 有 哪些 论文 讲 过 这个 东西。 我的 做法 就是我 刚才 用 那个 rag, 我会 把 他们 所有的 这些 东西 都 存 到 我的 数据库 里面。

Reg 我 理解 是你 需要 把 这些 历史上 涉及到 黑格尔 的 这些 资料, 比如说 各种 P D F 网页 文本 都 搜集 来, 先 把 这些 东西 存 进去 对 吧?

对, 存 进去 之后 我问 了 这么 一个 问题, 他 就会 从 所有的 这些 文献 文档 里 找出 相关 的 这些 文献。 让 ChatGPT 先读 一下 这些 文献, 再 给我 做出 这个 答案。 这样 就 比 只用 ChatGPT 来 回答 它 就 会有 更 准确 的 答案, 而且 也会 告诉我 一些 我需要 学习 的 文献 的 方向 有 哪些。 所以 这个 就可以 大大提高 我的 学习 和 搜索 能力, 这个 比 我 直接去 google 上, 如果 要 花 好几个 小时, 可能 看 很多 东西, 而且 这个 可能 就 几分钟 之内 就可以 给我 一个 比较 准确 的 答案。

但是 你 怎么 找 这些 文献 呢? 找 这些 文献 不 也是 整个 做 search 跟 搜 资料 的 一个 过程 吗?

对 这个 文献 的 搜索 确实 是 需要 一些 时间 来 准备。 但是 好处 就是说 你 只需要 把 这些 能 找到 的 文献 下载 下来 一次, 就 比如说 几百篇、 几千篇 甚至 很多, 然后 你 之后 可以 无限 的 问 他 问题。 但是 如果 按 你 平常 的 办法 的话, 比如说 你 想 回答 100个问题, 你 需要 把 它 全部 自己 读 一遍。 因为你 每次 可能 读完 文献 之后, 你 想 再 回到 那个 文献, 你 已经 忘了 很多 东西 了, 而且 你 已经 忘了他 的 周围 的 那些 相关 的 文字, 在 你的 脑子里 已经 没有印象 了。 所以 如果 有 这么 一个 系统, 然后 有一个 能 帮你 从 文献 里 找到 关键 东西 的 ChatGPT, 它 就会 非常 的 有效, 可以 大大的 节省时间。

我 还有一个 问题, 你 把 这些 文献 都 放到 rag 里 了, 然后 相当于 ChatGPT。 它 还是 要 基于 你的 这么 大 的 一个 数据 样本量 去做 总结 的。 他 现在 的 上传 不是 有 一些 什么 token 的 限制 吗? 我不知道 这个 是 怎么 实现 的对, 因为我 不太懂 技术。

他 不是 把 所有的 文献 都 扔 进去, 它的 第一步 是 先 找出, 比如说 我问 的 这个 问题, cofer. 第二个 就是 它的 辩证法, 它 会 把 cofer 和 辩证法 这些 相关 的 文献, 和 我 问题 最 关键 的 东西 自动 找 出来。 这个 不是 ChatGPT 这 一步 结束 之后, 他 会 把 最 相关 的 这些 文献 让 ChatGPT 先读 了 之后 再 回到 刚才 那个 问题。 所以 他 只是 把 最 相关 的 东西 读 了, 而 不是 把 所有的 文献 都 读 了。

相当于 你 只是 把 chef man 说 黑格 有没有 提到 辩证法 的这 一条 的。 首先 是 把 所有的 文献 都 摘取 出来, 第二步 是你 把 这些 摘取 的 资料 再 放到 ChatGPT 里面, 让 ChatGPT 来 总结。

所以 就 比如说 如果 有 一万 篇 这样的 文档, 他 不需要 读 一万 篇, 他 只需要 读 一两篇 和 我 这个 问题 最 相关 的。 再 回答我 这个 问题。

我 感觉 这 是一个 高阶 搜索, 有没有 觉得 对它。

现在 这个 就 相当于 给 ChatGPT 装 了 一个 人类 知识库 的 翅膀, 所以 可以 大大提高 他的 能力。

对, 所以 你 最后的 结论 是什么? 黑格尔 有 提 过 辩证法 吗?

其实 在学 哲学 这些 东西, 它 都 不是 有一个 固定 的 答案 的。 每个人都会 有一个 自己的 想法, 他 其实 目的 就是你 要 找到 更多 的 perspective, 我 从 这里 就可以 很快 的 得到。 就 比如说 whole gate 说 了 什么, Stanley rose 说 了 什么, 还有 比如说 pink cut 说 了 什么, 就是 其他 的 那些 研究 的 人我 可以 很快 的 得到 这些 perspective。 他 其实 的 目的 不是说 要 得到 像 数学 一样 一个 固定 的 一个 答案。 不过 我 觉得 通过 这个 系统, 他 可以 很快 的 给我 想要的 这些。

他 会 把 所有的 相关 资料 都 给你。

对 吧? 对, 这个 是在 你 自己 创建 这个 rag 的 时候, 你可以 去做 这些 事情。 这些 我 已经 做 在 我自己 的 系统 里面。

你说 到 你 使用 ChatGPT 的 方法, 我 觉得 给我 了 一点。 比如说 我们 自己 做 这种 深度 新闻 的 一些 小 启发。 其实 很多 时候 就 比如说 我们 要 去 写 一个 事情, 它的 细节, 这个 创业 公司 它 怎么 诞生 之前, 它的 创始人 说 了 些 什么? 跟 其他 几个 创始人 的 关系, 跟 董事会 的 关系, 特别是 非常 大 的 公司, 其实 互联网 上 可能 有 无数 这样的 资料。 那 是不是 也可以 用 同样 的 方法 去 创建 一个 这样的 资料库。 同时 问 一个 问题, 把 最后 所有 涉及 这个 问题 的 相关 资料 给 列出来, 然后 让 ChatGPT 去 总结。

是的, 其实 这个 现在 也 在 GPT 的 开发者 大会 之后 的那 一天, 他 已经 有一个 叫 GPT s 其实 你可以 把 你 相关 所有的 P D F 创建 一个 新的 叫 GPT s 的 东西, 上传 进去 之后, 你 就可以 对 这些 文件 问问题 了。 这个 在 ChatGPT 已经 有 实现 了 这个 功能。

那你 还需要 用 reg 的 程序 吗? 还是 说 哲学 它 其实 没有。

只是 对于 我想要 用 的 这个 具体 的 情况, 切成 多 大多 小的 这个 文本, 我 有 自己的 方法。 GPT s 做不到, 他 只能 把 整个 的 文件 放进去。 我是 想 具体 细化 到 一小段, 现在 这个 GPT s 没有 办法 定制 到 那个 样子。

相当于 你 自己 做 的这 套 方法, 它是 有 更多 的 灵活性 的那 你 觉得 这个 是在 哲学 方向 吗? 在 数学 方向 呢?

我 本科 其实 学 的 就是 数学, 然后 我也 非常 喜欢 做 证明。 举 一些 例子, 就是我 平常 在 学习 的 时候, 比如说 我 有些 证明题, 我想要 证明 两个 东西。 比如说 是 等价 的。 如果 自己 平常 去 想 的话, 我看 很多 定理, 看 很多 原来 这个 定理 是什么, 它 之前 的 背景 是什么, 但是 我 用 ChatGPT 的 好处 就是, 如果我 有 一些 东西 我 确实 是 短时间 内想 不 出来, 我可以 让 他 给我 一些 灵感, 他 并不是 每次 都 可以 做对。 但是 它的 好处 是 它 会 自己 列出 它的 每一步, 每一步 列出来 之后, 我可以 去 看 他 哪里 有问题, 然后 我 再去 反问 他, 这么 几次 之后, 他 一般 也会 给我 比较 正确 的 答案。

我 一般 在 这个 的 工作 的 流程 是我 先 会 写 一个 提示 词, 我 就是说 你是 一个 数学 专家, 这是 第一句 话。 第二句 话 就是 我们 一步一步 的 想当然, 这些 都 其实 都 是用 英文, 我 现在 在 一个字 一个字 的 翻译。 这样的话 ChatGPT 在 回答 的 时候, 他 就会 真正 的 一步一步 的 把 他的 答案 告诉我。 我 就会 去 看 这个 答案, 这 一步 到 这 一步, 下一步 到 下一步, 哪 一步 之间 是 有 幻化, 就是 他 可能 会 胡说, 或者 是 哪 一步 他 有一个 理论上 的 错误。

这个 的 好处 是 说什么 呢? 其实 你 想一想, 平常 你 在 学习 东西 的 时候, 你是 被动 学习。 你 有 一堆 内容, 然后 你 在 想 怎么 拿到 这些 内容 里 的 结构。 你 在 回答问题 的 时候, 你是 一个 做题 者 的 角度。 你 在 发散 式 的 搜索, 这个 可能 会 有用, 那个 可能 会 有用, 然后 你 再 尝试 给出 一个 答案。

但是 有了 ChatGPT 之后, 你的 这个 角度 发生 了 一个 翻转, 就 有点像 哲学 上 说是 哥白尼 式 的 翻转。 比如说 之前 学习 你是 一个 被动 的 接受者, 现在 我可以 用 ChatGPT 来 问我 问题, 然后 我可以 回答 他。 然后 在 做题 的 时候, 我 从 做题 去 发散 去 挑战 这个 问题, 变成 了 ChatGPT 给我 一个 答案, 我 变成 了 一个 老师, 我要 看 他 这里 哪里 有 错误。 这就 给 了 一个 更新 的 角度 叫 perspective。 这个 就可以 大大的 提升 我 对 这个 东西 的 认知。 因为我 之前 只是 从 一个 方向 去 学习 这个 领域。 当你 给 了 一个 新的 角度 之后, 你可以 看到 之前 看不到 的 很多 东西。 所以 这个 的话 我 觉得 可以 让 我 对 这个 知识 的 了解 更 细化, 对 整个 的 把握 也会 有 很大 的 提升。 我 觉得 他 最大 的 原因 倒 不是 他 能 给我 正确 和 错误 的 答案, 而是 说 这么 一个 知识 理解 的 角度 的 转变。

然后 你 也 经常 会 问 ChatGPT 问题, 就是你 跟 他 问问题 的 时候, 其实 也是 为了 看到 他 会给 你 一个 什么 角度 的 改变。

我问 ChatGPT 的 问题 的 时候, 其实我 可以 把 学习 想象 成 有时候 你是 攻击性 的, 就是 相当于 你 要 去 挑战 一个 问题, 想 把 它 做出来。 比如说 这里 我 就 问 了 一个 问题, 我想 证明 一个 算子 的 空间 和 一个 实数 的 空间 它是 等价 的。 我 就 问 他 这些, 但是 这次 他的 答案 是 对的。 一般来说 我 就会 看 他 这个 123456 哪 一步 会有 问题。

经常 的 比如说 我会 在 第二步 或者 第三步 我 就会 发现 问题。 然后 我 就会 去 问 他, 你 这个 第二步 你 觉得 是 对的 吗? 会有 什么 问题? 我的 意思 就是 在 这个 过程中, 我是一个 审视 者 的 角度。 比如说 我 平常 做题 的 时候, 我是 努力 要 自己 想出 这个 123456 的。 但是 我 现在 我是 变成 了 老师, 我要 看 他 这个 123456 哪里 会有 问题。

然后 在 这个 时候 我的 角度 就 发生 了 转变。 我 以前 想 这个 东西 的 时候, 我是 在 做 一个 搜索, 哪些 东西 可以 把 这个 问题 解决 出来, 是一个 挑战者。 然后 我 现在 变成 了 一个 防守 者, 我要 看 挑战 我的 这个 观点, 他 哪里 有问题。 挑战 的 时候 你 一般 是 发散思维, 你是 想 的 更多 更广, 防守 的 时候 你 想 的 是 更 细 更深。 所以 如果 平常 只 做 这样 挑战者 的 方法, 你 可能 会 漏掉 很多 细节。 但是 我 有了 这么 一个 给我 更 细 的 机会 的 时候, 我可以 把 我的 知识 变得 更 全。 方面 的 一个 理解。

简单 来说, 其实 你的 角色 就 变了。 你 以前 从 一个 学生 的 角色, 现在 变成 了 一个 老师 的 角色。 就是 以前 是 别人 出题 你来 做, 现在 是你 出题 ChatGPT 来做, 你来 验证 他的 对错。

对 但是 因为你 要 做 验证 的 时候, 你 自己 需要 有 足够 的 理解。 所以 你 在 验证 它的 过程中, 你 自己 有 很多 的 成长, 你 会 更 细化 的 去 想 自己 可能 有 哪些 细节 想 都 没有 想 清楚。

那 会不会有 他 做 错了 你 没 看出来, 或者 你 也 不知道 这个 问题 的 答案。

如果 你的 完 知道 这个 东西 的 时候, 你 一般 你的 学习 不会 学到 很多。 然后 你 完全 不知道 的 时候, 其实 你 也 学 不到 很多, 因为你 实在 不知道 有什么 可以 学 的。 但是 如果 有一个 东西 你 有 一定 的 理解, 但 你 又 不能 做到 完全 的 正确 和 错误。 但是 有 另外 的 一个人, 他 可能 比 你 多 懂 一些, 但 也没有 懂 那么 多。

或者 水平 差不多。 你们 可以 相互 切磋 一下, 对不对?

对, 就是 三个臭皮匠 顶 过 诸葛亮, 你们 两个 之间 的 互相 质疑 自己的 假设, 这么 一个 过程中 就可以 学到 很多。 所以 这样的 学生 老师 的 角色 不停 的 转换, 你 和 ChatGPT 不停 转换 的 过程 就 有点像 一个 辩证 的 过程, 就可以 让 你 更快 的 全 方面 的 了解 这个 东西。

所以 在 数学题 上, 你 觉得 你 跟 ChatGPT 你们的 水平 到底 怎么样? 他 真的 是 跟 你 差不多 的 水平 吗?

我 觉得 你 要说 从 整个 的 数学 领域 上, 我 懂得 肯定 是 不如 他 多。 他 懂 的 东西 那 绝对 是 几千几万 倍 的 比 我 多。 只是 说 我 现在 在学 的这 一本书 或者 这 一个 东西, 我 可能 能够 学到 可能 跟 他 推理 推 的 差不多 的 某些 领域, 然后 我可以 跟 他 一起 学习。 但 有 一些 他 根本 没有 一些 了解, 比如说 比较 非常 细分 的 领域。 如果 有 一些 比如说 differential manual 什么 那些 就 他 可能 没有 训练 过, 那 他 可能 确实 是 不会 有人 那样的 能力。 但是 如果我 只是 想 复习 一些 比较 基础性 的 数学, 就 比如说 线性代数 这些 东西 是 应该 是 没有。

任何 问题 的那 现在 综合 来看, ChatGPT 它 在 数学 方向, 哪些 方向 它是 处理 的 比较 好的, 哪些 方向 它是 不太懂 的。

我 其实 也没有 拿 他 学 一些 别的 领域。 从 ChatGPT 开发 的 角度, 他 现在 做 的 很好 一件 事情 就是 他 知道 把 大 语言 模型 和 解决 数学 问题 分开。 因为我 现在 说 的 这些 都是 证明 的 问题。 但 他 其实 很多 时候 他 需要 的 是 计算 的 问题, 你 就 需要 这么 一个 正确 的 答案, 你 不能 给我 一堆 证明 就 走了。 在 那个 情况下, 你 现在 可以 用 一些 工具 ChatGPT 把 你的 问题, 把 你 计划 好, 第一第二第三第四 做什么。 他 把 这个 指令 发给 这 一些 工具, 就 比如说 world frame alpha, 我不知道 这个 中文 叫 什么, 然后 他 就可以 把 这个 发给 他 之后, 这个 计算 做 的 很 好的 这个 工具 就可以 给出 一个 非常 准的 答案。 我 觉得 这 是一个 非常 智能 的 一个 方面。

总体上 来说, 我记得 之前 其实 你 有 提 过 一个 数据, 就是说 给 ChatGPT 的 数学 证明题, 它 正 对的 概率 大概 就是 30%。

是的, 对, 可能 也是 看 是 什么样 的 题, 看 他的 训练 数据 里面 有没有 或者 类似的, 他 可能 会 正确率 高 一点。 但是 他 一般 是 这样的, 如果 你可以 找出 他的 错误 之 处在 哪里, 他 自己 可能 通过 几次 的 沟通 之后, 他 自己 最终 给出 正确 答案 的 概率 还是 蛮 大 的。

就是说 如果你 帮 他 纠正 的话, 他 自己 也会 像 人 一样, 他 会 成长的 很快。

对, 他是 会 发现自己 之前 的 错误 在哪里, 然后 通过 几次 他 会 告诉你 比较 正确 的 答案, 这是 比较 智能 的。 当然 有一个 问题 就是 如果 他 这个 沟通 的 次数 特别 多, 就 超过 五次 六次 之后 他 就会 忘掉 之前 的 东西。 他在 聊天 窗口 他 会 忘掉 很久 之前 的 东西。 所以 如果 在 个位数 部署 解决不了 的 问题, 他 确实 之后 也就 一直 解决不了 的这。

是 5到6轮 的 沟通 以后, 他 对 前文 的 印象 并不 深刻, 或者 他 会 忽视 上下文。

这 可能 是 ChatGPT 它 自己的 记忆 的 设计。 但是 如果你 自己 可以 开发 一个 新的 记忆 的 方法, 用 A P I 来做 的话, 可能 就会 不一样。

这 算是 他 软件 在 设计 上 的 一个 缺陷。

这个 倒也不 一定 是 缺陷。 其实 因为 其实 你 平常 的话, 我 觉得 可能 也 不是 那么 需要 记住 所有的 这些 细节。 如果我 每 一轮 跟 她的 聊天, 我 都会 发 非常 长 的 长文, 让 他 帮 我 做 长文, 缩短 这些 东西。 那 可能 过了 很多 之后, 他 确实 也没有 办法 记住 很久 之前 的 这些 长文, 就 可能 也是 实际上 的 这么 一个 问题。

你 还要 讲 一下 怎么样 用 ChatGPT 自己 给 自己 做 讨论 吗?

我会 平常 比如说 想做 一些 class project, 就 我 上课 的 时候 做 的 这些 项目, 或者 我 平常 自己 做 着 玩 的 这些 项目。 就 比如说 我 刚才 那个。 研究 的 rag 这些 项目, 我会 有一个 比较 宏观 的 想法, 我的 点子 非常 多, 但是 我的 缺点 就是我 很难 把 东西 做得 非常 细化。 我 就会 和 ChatGPT 去 聊 具体 的 细节, 要 怎么做 这件 事情。

我自己 通过 ChatGPT 做 的 一个 小游戏, 我就是 有 这么 一个 想法, 我 就说 我想 用 ChatGPT 做 一个 可以 来 学习 知识 的 一个游戏。 这个 游戏 就是说 你 比如说 想 帮 小朋友 们 来学 东西, 那 怎么办 呢? 你可以 把 一些 问题, 就 比如说 世界 地理知识 或者 世界历史 知识 变成 一个 问题 答案 的 形式, 让 这个 小朋友 去 操作 这个 小人。 这个 小人 每次 走到 一个 小猫 旁边, 这个 小猫 就会 问 他 一个 问题。 这个 问题 回答 对了, 这个 小人 就 得到 奖励, 回答 错了 就 不给 他 奖励。 就 变成 一个 游戏化 来 学习 的 一个 东西。

我 就 只有 这么 一个 想法, 但 具体 怎么做 我 一点 都 不知道, 因为我 没有 做 过 任何 前端 的 实现。 最后 就是 把 我 想做 的 问 ChatGPT, 让 他 告诉我 细节 哪 一步 怎么怎么 做。 然后 我 就 按 他说 的 一步一步 的 再去 问 他。 我 大概 花了 10个小时 左右, 我 就 把 整个 这个 东西 做出来。 因为我 没有 任何 的 经验。

是 做出来 的 一款 游戏。

对, 这个 游戏 可能 就 比较简单。 你 能 看到 它 就是 有一个 小人 行走 的 系统, 有 一些 小猫, 这个 小猫 其实 在游戏 里 是 可以 跳来跳去 的, 小人 也是 可以 有一个 地图 系统。 然后 还有一个 经验 系统对, 还有一个 就是 知识库 系统。 我 做 之前 是 不能 想象 我 能 这么 快 做出来 的。 虽然 这个 游戏 看起来 很 简陋, 但是 它的 学习 到 的 东西 还是 挺 多 的。

我 回头 会 把 你的 这个 P P T 放在 我们的 show notes 当中。 如果 大家 想 看到 你的 这个 游戏 界面 的话, 应该 也是 可以 看到 的。 这个 游戏 你 做出来 以后, 它是 在哪里 运行 的。 就 比如说 它 就是 一个 电脑 的 客户端 可以 玩 的 游戏。

它 就是 一个 网页 就可以 打开。 我自己 之前 在 github 上 放过 一段时间, 后来 就 把 它 关掉 了。 但是 如果 想 玩 的话, 我可以 再 把 它 打开。 不过 这个 就是 一个 比较简单 的, 更 像 一个 demo, 就 可能 用来 做 示例 的 一个 东西。 它 并没有 很多 的 细节, 还是 可以 改进。 比如说 你 拿 它 去 在 steam 上去 卖, 这 可能 是 很长 的 路。 它 只是 一个 第一版。

对我 理解 是 第一版, 就是 仅仅 是一个 原型。 所以 是 ChatGPT 帮你 写 的 代码, 还是 你 自己 也有 写 一部分。

我 当时 做 这个 的 时候, 我的 想法 就是说 我要 让 自己 纯粹 做 一个 产品 经理, 我只是 要 做 我 实现 的 东西。 我 发现 有问题, 我 让 ChatGPT 给我 改。 我 虽然 有 一些 代码 我 也会 写, 但是 我 非常 主观 的 就是 让 自己 尽量 一行 代码 都 不要 写, 只会 做 复制粘贴, 只 做 这样的 事情。 可以 说 基本上 所有的 代码 都是 ChatGPT 写。 比如说 有错 了, 我会 让 他 告诉我 要 怎么 改, 然后 按 他说 的 去 复制粘贴, 自己 不去 干涉 它 这个 写 代码 的 过程。

所以 基本上 我 就可以 理解 成, 你 跟 ChatGPT 玩 了 十小时, 你 有一个 想法, 他 帮你 实现 了 这个 想法 的 雏形。

或者说 不好听, 就是我 作为 一个 资本家 或者 去 剥削 了 Chat GPT10个 小时。

当时 用 的 是 ChatGPT 几? 是 四 还是 三?

当时 是 四 刚 出来 的 时候, 这个 可能 是 大概 今年 上半年 或者 是 年终 的 时候, 当时 就是 突然 有 这么 一个 想法, 就 去 试 了 一个, 大概 一个 周末 左右 就 搞 出来。

图形 设计 跟 这个 U I 也是 他 做 的。

这些 图 当时 我是 谷歌 搜索 出来 的对, 但是 这些 图 要 怎么 在 里边 去来 放置, 这些 都是 问 ChatGPT.

所以 你是 有 给他 喂 一些 图 的, 然后 让 他 去 学习 你 这个 图 是 怎么 处理。 对。

这些 图 其实 倒也不是 用来 训练 的, 你 只要 告诉 ChatGPT 我 有 这些 图, 我 想做 这些 事情, 他 就会 帮你 把 代码 写 好, 然后 只需要 把 这些 截图 在哪里 告诉他 就 好了。

所以 现在 比如说 这个 小人儿, 他 走到 一个 小猫 或者 一个 小豆子 旁边, 在 你的 这个 游戏中 是真的 会 出现 一些 问题 的。

对它 会 出现 一个 新的 问答 界面, 我 到时候 也可以 把 那个 问答 界面 放到 这里, 那 也是 另外一个 系统。

你的 问答 大概 都是 一些 什么样 的 问题 呢?

这个 问题是 你可以 自己 去 决定 是什么。 我 当时 放 的 就是 一些 世界地理 的 TV, 就是 这种 常识 答辩 这些 问题, 这个 也是 我 当时 按 ChatGPT 给我 生成 的那。

在 你 玩游戏 的 这个 过程中, 他 有 胡说八道 吗?

这个 倒 也没有, 因为 当时 我就是 一次 生成 了 一百多个。 我看 了 一下, 其实 看起来 还 挺 对的。

就是你 还是会 检查一下 对不对?

对我 大概 会 看 了 一下, 确实 看起来 还 挺 对。

所以 这个 还是 蛮 受 启发 的。 其实 有了 ChatGPT 这个 工具, 只要你 有一个 想法, 每个 人都 还是 能 写出 自己的 游戏 来 的。 还有 下面 一个 我想 给 你看。

你可以 看 下 第八页 做 的 另外一个。 我就是 突然 有 这么 一个 想法, 我 觉得 好玩, 我 就试 了 一下。 我想要 ChatGPT 去 聊天, 我想 把 一些 比如说 哲学家 放到 里边, 我想 跟 他们 去 聊天。 我 尝试 了 很多 的 方法, 比如说 拿 facebook 开源 的 大 模型 去做 一些 微调, 让 这个 模型 说话 很 像 尼采 或者 很 像 黑格尔。 然后 也 试 了 很多 比如说 reg 的 方法, 就让 这个 模型 先读 尼采 和 黑格尔 的 文档 再做 回答。 这样的话 保证 每一个 比如说 黄色 的 回答, 它 都是 像 尼采 这么 想 的, 每一个 绿色 的 回答 都 像 黑格尔 这么 想 的。 我 就 需要 问 一个 问题, 我 就可以 让 他们 包括 我自己, 我们 可以 三个人 一起 讨论, 就 做 这么 一个 聊天室。

然后 我就是 有 这么 一个 想法, 具体 的 细节 怎么样, 我也 基本上 不是 那么 懂。 我也是 像 之前 一样, 就是我 要 达到 这么 一个 需求, 我 把 这个 需求 想 清楚, 我 告诉 ChatGPT, 你 给我 写写 完 之后 有 不对 的 地方 我 再 让 你 改。 这也是 一个 非常 好玩的 项目, 那 也是 大概 十几个 小时 多一点, 可能 因为我 主要是 后面 的 这些, 如何 让 他们 说话 更 像 尼采, 更 像 黑格尔, 这个 花 的 时间 比较 多。 像 他的 这个 聊天室 可能 就 1个小时 左右。

就可以 做出来。 其实 现在 不是 还有 挺 多 这种 什么 character 点 AI, 还有 各种 模仿 马斯克, 模仿 比尔盖茨, 或者 一些 歌星 歌手 去 说话的, 或者 角色扮演 的这 一类 的 A I 软件。

我 这个 其实 主要 就是 想 自己 做 着 好玩, 我 主要 想 学习 一下, 可能 比较 一下 不同 让 AI 说话 更 像 这个 人的 方法。 所以 我自己 做了 一下, 觉得 确实 还 挺好玩 的那 你 做。

这个 事情 的 时候, 你 有 觉得 在 A I 生成 不同 的 角色 的 时候, 你 生成 的 是 哲学 角色 吗? 也有 可能 是 体育 角色 或者 商业 明星 的 角色。 它的 核心 壁垒 是什么 呢?

我 觉得 是 这样的, 如果我 要 跟 这个 去 聊天, 就 看 我是 想 做什么。 像 我在 这个 时候, 我的 核心 就是我 想 让 他们 之间 聊天, 聊 出 一些 新的 idea。 然后 让 我 去 想, 我 可能 不是 很 在意 他 这个 语言 是不是 更 像 人类, 或者说 它 能不能 和 我 建立 足够 的 连接。 但 我 觉得 像 普通 的 用户, 如果 用 character A I 的话, 他 可能 想要的 是 那种 情感 上 的 连接。 比如说 得到 一些 慰藉 这种 东西。

我 觉得 在 那种 情况下, 他 除了 要 理解 背后 的 人物, 他 可能 要 更多 的 理解 这个 用户 他 到底 想要 什么。 所以 我 觉得 可能 从 那个 角度 上, 这些 项目 可能 会 比 我 这些 要 复杂 的 多。 他的 壁垒 可能 就在于 首先 他 要 理解 背后 的 这个人 到底 有什么, 他 需要 这些 人的 数据, 可能 要 足够 多 的 数据。 再 一个 他 又 需要 足够 理解 这个 用户, 可能 还有一个 就是 他的 反应 可能 要 足够 快, 就是你 不能 让 这个 人等 很久。 所以 我 觉得 这些 都是 一些 可能 比较 重要 的 壁垒。

所以 你的 核心 是你 要 让 它 呈现出 更多 的 知识点, 或者 给你 更多 的 灵感, 能够 让 你 学到 新的 东西。 然后 除了 ChatGPT, 你 用 的 时间 非常 早, 就可以 说 你 基本上 是用 了 GPT3.5GPT4。 然后 我知道 其实 你 也是 这个 cloud 的 深度 使用者, 你 觉得 这 几个 大 模型 软件 在 使用 上 有什么 区别 吗? 包括 刚刚 其实 你 也 提到 了, 你 用 lama 做 过 开发 cloud.

我 倒也不是 那么 深度。 我 其实 就是 之前 因为 GPT 文字 字符 数 它 有 限制, 它 当时 是 我记得 是 8000字, 所以 我没有 办法 放 很多 的 词。 可以 看一下 我 提供 的 在 第一页 的 例子。 比如说 我 读 一本书 之前, 我 把 整个 的 第一章, 我想要 它 告诉我 它 宏观 上 它 在 说 么 这么 一件 事情 之前, 我不能 把 整个 第一章 扔 到 ChatGPT 里面, 所以 我 就 需要 让 a cloud 来 告诉我 这么 一个 宏观 的 点。 但是 后来 ChatGPT 有了 turbo 之后, 这个 问题 就 很 好的 解决 了。

为什么 我 还是会 用 ChatGPT 呢? 就是 因为我 想要 做 的 事情, 我会 想 让 它 生成 直接 告诉我 这么 一个 表格 的 形式, 这样 我可以 粘贴 到 我的 这个 spit, 我的 流程 里面。 但是 我 如果 直接 用 cloud, 我自己 试 了 一下, 它 这个 效果 是 没有 ChatGPT 好的。 所以 我 现在 自己 create 了 一个 叫 GPT s 开发者 大会 之后 出现 的, 自己 定义 了 这么 一个 prompt 文本 的 提示 词。 我 就 告诉他, 你 先 把 summary 给我 生成 好。 第二步 你 把 你 生成 好的 这个 summary 再 变成 一个 table, 这样的话 它 就可以 很 好的 完成 这么 一个 任务。 我在 cloud 去 试 的 时候, 它的 效果 确实 没有 这么好。

那 GPT 是 有 提供 更多 的 工具 或者 开发者 组件。 它 现在 有。

一些 功能, 比如 像 我 刚才 说 的 数学, 他 知道 你 要 去 算 东西 的 时候, 它 会 自动 调出 那个 工具 来 帮你 算。 你 不用 自己 去 把 这个 工具 调 出来, 或者说 他 知道 你 问 的 这个 问题 模型 调 不 出来。 比如说 你 想 问 今天 湾区 的 天气 是 怎么样? 它 就会 去 网上 进行 自动 给你 搜索, 它 不用 你 告诉他 你 去 搜索 一下, 所以 它 这个 现在 就是 非常 的 智能化。

还有一个 是 谷歌 的 bar 的, 这个 你 能 聊 吗?

我 也没有 参与 过 它的 开发 什么 这些, 但是 就 可能 我自己 平常 通过 上班 的 这些 试 过 酒店 和 GPT 还是 有 一定 差距 的。

所以 你是 稍微 用 的 是 比较 少一点, 对 吧? 就是 没有用 GPT 跟 cloud 那么 多。

对, 说 实诚 一点, 就是我 的 GPT 已经 付 了 钱, 所以 我要 把 它 用到 极致。

GPT 跟 cloud 的 一个 主要 区别 是不是 说 其实 在 GPT3.5 没有 升级 到 4的时候, cloud 能 支持 的 文本 更长。 但是 等 它 升级 了 上去 之后, 其实 cloud 它 就 没有 特别的 优势 了。

我 觉得 这个 也是 最近 才有, 就是 在 开发者 大会 之后, 在 之前 的话 cloud 这个 文本 的 长度 还是 大大 超过 GPT4 的那。

你 觉得 cloud 现在 有什么 事? 就是你 一定要 用 cloud 的 场景, 而 不是 GPT 的 场景 吗?

至少 在 现在 我 还没有 发现, 我 现在 基本上 可能 有 一段时间 没有用 cloud 了, 我 一般 还是 用 GPT4 比较 多。

其实 也 很多 例子 了。 我 本来 想 问 你 要不要 举 一个 例子, 就是 在 GPT4 升级 之后, 有 哪些 你 之前 做不到 的 事儿, 现在 做到 了。

刚才 说 的 prompt 这个 workflow 就是 提示 词 的 流程。 之前 的话 确实 很大程度 要 自己 每次 都 大概 写 一些 这样的 流程, 一 做什么, 二 做什么, 三 做什么, 四 做什么。 现在 你可以 把 它 整合 到 一个 叫 GPT s 的 这样 一个 东西。 它 就 相当于 你 自己 平常 每天 可能 需要 重复 做 的 一些 东西, 你 就可以 扔给 这个 GPT s 就 比如说 很多人 可能 炒股吧, 你 想 看 财报, 你 想想 你 每次 会 看 什么。 你 比如说 先 看看 他的 成长 是 叫 tiger, 它 大概 每年 成长 多少。 然后 你 要 看看 它的, 比如说 ebit a 它的 这个 盈利 margin, 然后 你 要 看看 它的 现金流 这些 比如说 你 每次 都在 做 一样的 这些 事情, 你可以 把 它 写 到 G P T S 里边。 就是说 一 先 看 这个, 二 看 这个, 三 看 这个。 然后 把 这些 告诉我 之后, 就可以 直接 上传 这个 财报, 然后 你 就让 他 直接 告诉你, 你 不用 自己 去 看 那些 非常 细节 的 东西。

那你 觉得 在 整个 使用 这个 ChatGPT 的 过程中, 他 有 哪些 做 的 还是 没有人 好的 呢?

到 现在 为止, 他 绝大部分 还是 一个 语言 模型, 它 已经 做 的 有 一定 智能 了, 就是 他 可能 会 懂 一些 比较 基础 的 逻辑 能力, 但是 就 相对于 比较复杂 一点 的 逻辑 能力, 比如说 你 问 他 一些 不在 一个 提示 词 里边, 但是 可能 在 多个 对话 中的。 就 比如说 很久 之前 说 了 一个, 然后 过了 一段时间 你 又 回到 刚才 那个 论点 的 时候, 他是 没有 办法 去 把 这些 东西 记 清楚 的。 他 没有 中期 的 这个 记忆 能力, 就是 他 长期 的 记忆 能力 你可以 通过 rag 实现。 然后 短期 的 记忆 能力 他 直接 用 语言 模型 就可以 实现。 但是 可能 稍微 中期 一点 的 这种 记忆 能力, 他 就 可能 没有 办法 搞得 很 清楚。

你 刚刚 其实 有 讲到, 比如说 你 在 做 数学 证明题 的 时候, 你 用 几轮 之后, 这个 数学 证明 你 能 感受到 ChatGPT 它的 进步。 那你 自己是 觉得 他 这个 进步 是 基于 你 自己的 交互 页面, 是你 训练 过 他他 的 进步, 还是 整个 模型 它 都有 进步 了。

我 觉得 ChatGPT 它 本身 模型 其实 倒是 有 很多人 说, 可能 从 G T4 出来 一直 到 开发者 大会 之前, 其实 是在 下降 的。 因为 可能 我 也很 能 理解, 就是 open I 其实 这 半年 做 的 就要 在 降低 这些 成本, 然后 让 更多 的 人 可以 用到 它, 这个 我也是 可以 理解。 但是 我 觉得 他 确实 在 功能 上, 尤其 在 开发者 大会 之后, 这个 提高 确实 是 挺 多 的。 比如说 纹身 图, 然后 很多 工具 还有 prompt flow 这些 东西。 我 觉得 在 功能性 上 的 提高, 至少 在 开发者 大会 之前, 模型 的 提高 倒是 没有 那么 多。

你 刚刚 提到 模型 的 处理 能力 跟 模型 其实 是在 下降 的这 是。

很多人 提供 的 数据 点。 然后 有 很多 论文 也都 提到 了 这个 东西。 但是 这个 是在 开发者 大会 之前, 但是 开发者 大会 之后, 这个 新的 GPT turbo 很多人 说 的 它 确实 是 比 之前 的 那个 模型 有 很大 的 提高。

Turbo 之前 的 GPT4是 下降 的, 但是 turbo 之后 又有 一个 很大 的 提升。

对, 出现了 turbo 之后 是 比 之前 是 有 一些。

提高 的那 我 理解 其实 就是 之前 GPT4 它 下降 的 时候, 它的 逻辑 是因为 它 要 去 降 成本。 Turbo 再 出来 以后, 它的 模型 如果说 它的 基础 能力 又有 提升, 我不知道 他 是不是 用了 更多 的 数据 去 训练。 然后 它的 模型 更大, 那 他 怎么 去 同时 避免 降 成本 跟 效果 更好 这件 事情 呢? 就是 这 两件 事情 他是 怎么 做到 的。

我 觉得 这些 应该 都是 OpenAI 的 trade secret, 就是 它的 内部 的 提高 的 一些 方法。 最近 这 半年 也有 很多 提升 L M 效率 的 这些 论文 也 非常 的 多。 我 觉得 在 open 内部 肯定 是 有 比 这些 大家 都能 看到 的 东西, 可能 更 细节 的 一些 优化。 我的 意思 就是说 他们 至少 在 这 半年 做 那些 内部 的 一轮 改进 的 时候, 可能 他们的 优先级 是 提升 它的 效率 和 降低 它的 价格, 而 不是 提醒 模型 的 准确性。

刚刚 其实 你好 几次 提到 了 OpenAI 的 开发者 大会。 你 觉得 在 这个 开发者 大会 上 发布 的 产品, 你 刚刚 提到 了 有 GPT s 吗? 还有什么 产品 是 让 你 特别 惊艳 的?

我自己 其实 都 还没有 花 很多 时间 去 研究, 但是 我 觉得 他 那个 assistant A P I 就是 它的 助理 A P I 对我来说, 因为我 其实 很喜欢 做 一些 类似 于 叫 A I agent, 这个 是我 非常 想做 的 一些 东西。 因为我 自己 对 这种 可以 self improving 的 这种 agent 我是 非常 的 感兴趣。 当然 在 OpenAI 现在 我 觉得 它 这个 A P I 是 做不到 self improving 的 这个 agent。 但是 如果 它 这个 assistant A P I 大家 用 的 越来越多, 可能 就会 推进 更多 的 人 来做 这些 东西。 到时候 整个 这个 市场上 就 可能 会有 很多 多样性, 而且 有 很多 资本 注入 进来, 有 更多 的 是 研究 这个 到时候 可能 去 开发 self improving agent 的 选择 什么 也会 很多。 这个 可能 就是 真正 能 解决 很多 的 问题。

因为 现在 的 包括 OpenAI 开发 的 这个 prompt flow GPT s 它的 问题 就是 它 还是 一个 被 定义 好的 一个。 你 要 做 12345, 他是 没有 办法 很大程度 上 自己 改进 自己的。 但 如果 这个 A I 它 可以在 大 语言 的 架构 下, 比如说 有 自己的 记有 自己 改进 自己 记忆, 改进 自己的 这么 一套 的 范式 的话, 我 觉得 它的 智能性 会 大大提高。 我 觉得 这些 assistant A P I 之后, 如果 大家 都在 用 的话, 确实 可能 会 大大 推进 这么 一个 过程。

其实我 有 一个点 不太懂, 我 觉得 可能 也是 听众 很 迷惑 的。 就是 大家 都在 提 A I agent, 但是 很多人都 并不知道 agent 是什么, 包括 你说的 这个 self improving 的 这个 agent 就是 自我 提升 的 A I agent 它是 一个 什么 意思? 你 能不能 举 一个 小 例子 来 给 大家 简短 的 讲 一下 这个 事情 是什么?

就像 现在 大家 都 流行 说 A G I 到底是什么? 我 觉得 从 我的 理解, 大家 并没有 一个 非常 确定 的 定义。 但 我的 理解 itself improving agent 需要 有什么? 我 觉得 就 首先 他 需要 有 自己的 记忆, 他 有 自己 去 规划 的 能力, 他 有 自己 逻辑 的 能力, 他 还有 改变自己 记忆 的 能力。 Agent 就像 一个人 一样, 他 有 自我意识 的 一个人。

当然 我 觉得 self improving a 不 一定要 有意识。 但是 比如说 他 要 像 人 平常 在 做 事情 的 时候, 他 要 通过 自己的 记忆, 然后 通过 自己的 决策 能力, 通过 和 外界 进行 反应。 比如说 使用 工具 或者 对 外界 进行 一些 交互, 然后 来 改变自己 的 记忆, 而 不断 的 发展 这么 一个 个体。 我 觉得 这个 就是 一个 self improving agent 的 这么 一个 定义。

现在 的 这些 agent 它是 只能 完成 一些 比较 固定 的 东西。 你 去 帮 我 把 这个 文章 的 这里 读 一遍, 把 这些 东西 找 出来。 但 如果 有 self improving 的话, 他 可以 自己 主动 可以 去 改 自己 有 哪些 可以 改进 提高 的 方法。 就 比如说 你 就可以 告诉他 一些 更 没有 那么 细节 的 东西, 就 没有 那么 well define 确定 的 这么 一个 东西。 就 比如说 现在 你 只能 告诉他 这个 论文 它 有什么 可以 提高 的 方法, 这个 论文 它 有什么 比 之前 的 进步, 这个 论文 它的 实现 用到 了 哪些 库。 你可以 做 一个 self improving 这么 一个 agent 的话, 那 他 可以 比如说 自己 在读 了 很多 论文 之后, 你 就 直接 告诉他 这个 论文 有什么 可取之处。 他 通过 之前 对 这么 多 论文 的 学习, 他 可以 自己 告诉你 所有的 东西, 而 不需要 你 去 告诉他 这些 具体 的 well 这些 东西。 这就是 一个 我 能 想到 的 比较简单 的 use case。

我 理解 其实 你 现在 在 做 的 这些 事情, 包括 你 怎么用 ChatGPT 自己 去 学 哲学、 学 数学, 你 自己 还 搭建 了 很多很多 的 工具。 然后 你 要把 所有的 这些 工具 全都 拼 起来。 有了 A I agent, 其实 你 把 整个 的 工作流 告诉他, 然后 让 他 自己 去 执行。 就是你 只 问问题 就 OK 了, 一切 就 结束了。

而且 甚至 如果 他 还 可以 自我 改善 的话, 他 可以 自己 改变自己 的 工作流。 比如说 我 现在 告诉 他的 工作流 是 建 房子, 你 先 把 砖 搬 过来, 再 搭 水泥, 再 搭 木头。 但是 如果 他 自己 可以 学习, 他 有 记忆, 他 发现 其实我 现在 木头 比 现在 砖头 要好。 他 自己 可以 做 planning, 然后 他 自己 可以 告诉自己, 原来 这样 是 更好 的。 这个 就是 一个 可能 比较 智能 的 方向 可以 发展。 对, 这就是我 觉得 这个 self improving agent 希望 可以 达到 的 一个 方法。

就是 他 可以 去做 执行 了, 然后 他 执行 的 时候 还是 带 脑子 的那 从 现在 看啊, 这些 大 模型 发布 的 软件, 包括 他 现在 的 整个 的 发布 上, 有没有 什么 是你 特别 想要 他 去 提升 或者 改进 的 功能。 但是 还没有 实现 的。

因为我 其实 主要 是 想 多 学 一点 东西 的。 因为 我是一个 通过 图像 来 学习 的 一个人, 就是 visual thinker。 我的 想法 就是 如果 有 这么 一个 东西, 就 我 把 一本书 告诉 他他 可以 给我 生成 一个 可以 互动 的 思维导图。 就 比如说 我 给他 一本 数学书 或者 是 物理书, 甚至 是 哲学书, 它 直接 可以 把 它 宏观 的 这些 点 呈现 给我。 然后 比如说 点一下 某 一个 宏观 的 点, 它 自动 又 到 这个 宏观 点 下面 的 这些 点。 他 自己 就有 一个 像 你可以 和 他 进行 互动 的 一个 学习 的 这个 方法。 这个 对我来说 会有 很大 的 帮助。 它 可以 建立 比如说 每个 点 之间 的 联系, 这些 现在 的话 我自己 也 在 做, 类似 于 这样, 就是 因为我 其实 比如说 我 把 宏观 的 点 变成 一个 表格。

这个 应该 是 可以 用 工具 实现 的。

对, 现在 这个 是 可以 实现。 但是 我自己 其实 试 了 很多, 它 最大 的 问题 就是 比如说 第一层 就是你 生成 了 宏观 点 之后, 你 到 第二层 它 可能 还是 可以 的。 但是 你 这个 层数 越多 之后, 它 离 原来的 这个 文本, 它 原来的 这个 概念, 它 就 差 的 有点 远 了。 它 不是 一次 生成 宏观 到 微观 的 这么 一个 系统, 而且 也 不是 非常 的 可以 互动 的 这么 一个 东西。

就 像你 刚刚 说到 的, 他 其实 进行 到 5到6轮 对话 以后, 它的 上下文 的 理解能力 就 不太好 了。 那 是不是 生成 思维导图 也会 有 这样 一个 问题? 其实 你的 思维导图 再往下 延到 5到6层 的 时候, 他 就 做 不 下去 了。

是的, 因为他 没有 办法 一次 既 做到 非常 宏观 又 做到 非常 细节, 这个 对他 来说 是 一件 很难 的 事情, 就 相当于 就是 既要 都要。 然后 我 觉得 对于 一个 模型 来说, 它 至少 在 现在 这个 还是 很难。

然后 我 其实 还在 想 思维导图 的 一个 问题, 就是 思维导图 它 其实 是 有 逻辑 的, 它的 每 一层 就是 每 一个点 包含 哪些 其他 的 知识点。 有的 一些 思维导图 它的 逻辑 是 非常 严密 的。 我不知道 大 模型 它 在 真正 的 处理 这种 逻辑 的 问题, 或者 涉及到 很多 层 的 这种 逻辑 的 问题, 他的 能力 怎么样。

对 他的 逻辑 并不是 非常 的 严谨, 包括 让 你 很 简单 的 做 summary 简述 这些 东西, 他 都会 把 一些 层数 搞错。 比如说 在 第一层 的 点, 第二层 第三层, 就 第一层 和 第二层 他 可能 会对, 但 他 有时候 会 把 二三层 的 点 颠倒, 这种 东西 他 也是 很 难搞 清楚。

我 觉得 还是 非常 有 收获 的。 而且 你 刚刚 说 你 自己 学 东西 是用 图像 来 学习 的。 我 想到 了 爱因斯坦, 爱因斯坦 他的 思维 也是 非常 图像 去 处理 问题 的。 你 有 做 过 智商测试 吗?

我 其实 可能 小时候 我们 会有 一个 什么 留学生 项目, 我 当时 去新加坡 读书, 他们是 有 做 过 这些 东西。 我想说 一点, 其实 就是 这个 智商测试 就 是从 我 个人 的 角度, 它 更 像是 一个 为了 区分 大家 而 区分 大家 的 一件 事情。 所以 我不 觉得 智商测试 会有 非常 大 的对 生活 有什么 有 指引 的 作用。 有人 其实 做了 一个 论文 说 其实 智商测试 的 分数 高, 和 它 最 相关 的 coral most with ability to take I Q test。 就说 你的 智商测试 只 和 你 做 智商测试 的 能力 有关, 和 其他 的 都 没有 很大 的 关系。

对, 这个 观点 挺好的。

然后 我们 平常 做 的 比如说 M B T I, 比如说 这个 I Q test, 或者说 看 他的 什么 收入, 他的 职位 这些 东西 其实 是一种 智力 上 的 偷懒。 因为 我们的 时间 就 这么 多, 和 这个人 能 接触 的 时间 也 这么 多, 我们 自己 能 思考 的 时间 又 这么 多, 我们 就 相当于 给他 一个 最简单 的 标签, 然后 之后 能 找到 这个人。 但是 这个 东西 它 具体 准 不准, 好不好, 其实 很难 去 分析。 我 觉得 只能 把 这个 作为 一个 工具 主义 的 方法 去 想, 具体 它是 好是 坏。 我 觉得 这 是一个 非常 哲学, 甚至 是一个 非常 ethics 的 这么 一个 问题。

对你 刚刚 在 提到 这个 的 时候, 我 觉得 整个 观点 都 非常 的 棒, 而且 果然 是 学 哲学 的 思维 非常 的 辩证。 既然 讨论 到 这个 话题 了, 我想 稍微 多 讨论 一点点。 因为你 也 在学 哲学, 就 是从 哲学 的 角度 你怎么看 人工智能 是不是 有意识, 以及 由此 而 延伸 来 讨论 的 大家 人 是不是真的 有意识 的 这个 话题。 因为 其实 最近 我在 做 播客 的 时候, 就有 一个 嘉宾, 他说 他 越来越 相信 他, 觉得 人 也是 没有 意识 的。

我 就 想 请问 他 认为 的 意识 大概是 什么样 的? 比如说 人的 哪些方面 是 反应 或者 不 反应 意识, 我 觉得 这个 东西 是 需要 更多 的 解释 清 了。

其实我 是在 想 人 我们 现在 的 所有的 行为 都是 基于 我们 对 过往 的 事情 的 记忆, 我们 对 过往 事情 的 一些 机械 反应, 甚至 是 我们 凭 经验 知道 这件 事情 要 怎么做 的那 机器 现在 从 大 模型 的 这个 训练, 它 现在 不 也是 这 样子 的 吗?

我 其实 就 想 回答 刚才 那个 问题, 就是说 我 其实 觉得 这个 角度 是 很 好的, 我们 可能 从 实际 生活 经验 的 来 角度 来 想 的话, 他 能 解决 什么 问题? 我 觉得 比 他 这个 有没有 意识, 我 觉得 这个 问题 本身 是一个 更好 的 问题。 这样 有没有 意识 和 比如说 有没有 上帝, 灵魂 是不是 不朽? 我 觉得 这些 他们 都是 有 一种 非常 形而上 的 东西 在 里边。 当 哲学 的 language turn 发生 了 之后, 这些 东西 很多 都 变成 了 一些 不是 很 有用的 问题。

至少 从 我的 角度 康德 就会 发现, 就 有些 东西 就是 你可以 从 正面 说 也可以, 然后 你 换 一个 角度 去 说, 他 好像 也可以 很多 形而上 的 东西, 你 去 讨论 他的 时候, 你 自己 会 处在 两个 不同 的 语境 中。 就是你 用 一个 方面 说 他 有意识, 你 会 发现 他 也 说得 通。 你 用 另一方面 说 他 没有 意识, 他 好像 也 说得 通。 然后 确实 世界上 很多 东西 你 也是 没有 办法 用 足够 的 语言 去 定义 它的。 因为 比如说 你说 任何 一个 东西 什么 是 意识? 你 学 东西 去 解释 是 意识 的 时候, 你的 这个 解释 你 又 可以 问 他, 什么 是 A B C, 然后 你 就可以 去 问 什么 是 A 他 又 用 D 解释, 你可以 去 问 什么。 你 这么 一直 问 下去, 你 什么东西 都 可以 被 解构 的 到 什么都没有 的 这个 程度。

但是 我的 意思 这样 当然 是 不好 的。 但是 如果 哪怕 你 给 一个 差不多 大家 能 公认 的 这么 一个 定义, 大家 想 去 从 两方 辩证 的 时候, 也都 会 在 自己的 语言 世界 里 都能 给出 一个 足够 有 解释 力 的 答案。 他 其实 举出 这些 非常 形而上 的 这些 东西, 就会 把 世界 把 这些 回答者 分 到 不同 的 语言 世界 里边。 所以 其实 有时候 你 并不是 在 回答, 在 讨论, 你 只是 不同 的 语言 世界 在 做 一些 解释, 在 做 一些 clarification.

这个 太 有意思 了。 所以 你 觉得 哲学 它 解决 的 本质 问题 是什么 呢? 或者 哲学 的 本质 是 什么的?

我 觉得 就是 clarify question, 把 这个 问题 回答 清楚。 因为 可能 很久 之前 的 时候, 当时 是 没有 科学, 然后 也没有 形成 语言学, 但是 很多 东西 都是 混沌 在一起 的。 哲学家 他 也是 个 物理学家, 他 也可以 是 说 计算机 学家、 数学家。 但是 后来 就有 了 科学 之后, 大家 很 明显 的 看到 科学 这个 方法 是 可以 解决 生活 中的 问题 的。 与其 就 讨论 比如说 什么 灵魂 不朽, 讨论 什么 上帝 存在, 就是 这些 可能 非常 形而上学 的 这些 问题。 他们 发现 可能 我 与其 做 这个, 我 不如 去做 积分, 我 不如 去做 动力 结构, 我 去做 人工智能 的 这个 大 数据, 这些 东西 确实 能 解决 生活 中的 很多 问题。 哲学 可能 最大 的 东西 就是 它 可以 让 你 把 这个 问题 去 想 清楚, 也 不一定 能 想 得很 清楚, 但是 能 让 你 clarify 你到底 想要的 是什么。 然后 还有一个 问题 就是 它 可以 给你 更多 的 角度, 更多 的 perspective。

因为我 一直 也是 理科 教育 成长, 我只是 在 大学 的 时候 读 了 几门 哲学课。 但 我 觉得 就是我 如果 只是 按 纯 理, 可 我 就会 有一个 纯粹 理性 的 这么 一个 想法。 就是 世界 就是 一个 理性 的 金字塔式 的 这么 一个 结构。 我 只要 顺着 理性 往上走, 世界 就 存在 这么 一个 理性 的 终点。 我 到 那 一点, 我 就可以 把握 整个 全世界 的 知识 世界, 一切 都会 make sense, 没有 什么 理性 不能 解决 的 问题。

但是 读 了 很多, 比如说 周末 读 了 很多 尼采, 读 了 这些 之后 你 就 发现 其实 有 另外一个 角度, 就是 你可以 不用 这么 去 想, 而且 那么 去 想 反而 会 是 有害 的。 世界 并不是 存在 这么 一个 纯粹 的 理性, 甚至 就有 一个 我 看过 很 有意思 的 一个 书, 他 就说 如果你 努力 就 成功, 你的 career 有 advance, 你 就 会有 下一个 可以 追求 的 目标。 更 像是 你 小时候, 你 在 上学 的 时候, 你 去了 一年级 就 会有 二年级, 二年级 就 会有 三年级。 你 题 做对 了 就会 拿 100分, 你 做 的 好 就 会有 小红花, 这就是 一个 很 理性 的 系统。

但是 当你 长大了, 你 变成 了 成年人 之后, 这个世界 不存在 了。 你 没有 这么 一个 熟悉 的 环境, 你 就要 创造 这么 一个 环境。 于是 你 要在 社会 中 找到 这么 一个 存在 的 career ladder, 职场 的 阶梯 你 要 找到 在 学术界 也有 这么 一个 阶梯, 你 要 找到 你 住 的 什么 房子, 什么 就是 也有 这个 更好, 这个 车子 更好 什么的。 你是 一个 没有 长大 的 人, 你就是 为了 回到 你 小时候 这个 熟悉 的 感觉, 然后 你 给他 冠 一个 理性 的 名字。 所以 其实 有时候 跳出来 这么 一个 什么东西 都 存在 一个 解释, 存在 一个 理性 这么 一个 东西。 反而 其实 让 自己 有 一种 解脱, 可能 回到 这个 现实 中。 然后 像 尼采 说 的 那样, 就是你 做 一个 强大 的 人, 来 在 这个 非常 uncertain 的 世界 里边 自己 给 自己 做 decision, 自己 给 自己 做决定, 而 不是 靠着 所谓 的 这种 理性 而 回到 自己 熟悉 的 这个 小 环境 中。

对我 觉得 非常 好的 讨论。 你 做 的 事情 是 跨 了 非常 多 学科 的, 哲学、 数学、 计算机, 包括 现在 跟 大 模型 人工智能 的 各种 交互。 我 其实 还 挺 想 问 你 觉得 他们 中间 的 共同点 是什么? 如果我们 把 这些 跨学科 都 融合 在一起, 当然 这个 问题 可能 比较 大。 就 可能 有的 时候 你 做 一些 小 事情 的 时候, 会有 一些 小的 灵感。

从 我自己 来说, 我也 不是 对 这些 领域 都是 咱们 所谓 高瞻远瞩, 我只是 一个 对 这些 东西 感兴趣, 学 这些 东西 也是 纯粹 为了 自己 觉得 好玩 开心, 就是 比较 curious 的 这么 一个 mind。 我 学 这些 本身, 我 觉得 他们的 唯一 的 共同点, 对我来说 就 可能 让 我 有 一种 很 开心 的 感觉。 我 只能 这么说, 他们 都 是一种 大家 之前 想 过 的 问题, 而且 都是 想 过 之后 被 大家 接受 的 问题。 就像 这 是一个 可能 历史主义 的 一个 想法。 就是说 过去 会有 很多很多 的 想法, 有 很多很多 的 人类 的 讨论 和 结果, 只有 这些 非常 好的 被 大家 能 不断 引述 的 留下来 了。

那 我自己 去 学 的 时候, 我 就能 从中 发现 一种 美感, 而 不是说 一种 逻辑, 一种 知识。 我 学会 了 它 我 就可以 占领。 比如说 一个 letter 上 的 权力 结构, 我 很多人 可能 会 这么 想, 就 觉得 我 学 了 这么 多, 我 就可以 变成 一个 很 有 权利 的 人, 我会 了 这个 我 就可以 变成 C T O, 会 了 那个 我可以 做 C E O。 我看 这些 东西 不是 一个 给我 一些 能力, 让 我 怎么样, 而是 像 艺术 一样, 都是 被 人类 多少年来 筛选 剩下 来 的, 就 非常 美, 非常容易 被 人 能 提及 的。 这些 艺术品 对我来说, 我 觉得 是 有 共通 的 地方。

对我 觉得 讲 的 特别 好, 哲学 跟 艺术 数学 都 很美, 跟 我 做 博客 的 初衷 也 比较 像, 就 纯粹 是因为 这件 事情 很 好玩。

对对对, 我 就 觉得 其实 这样的话, 从 我的 角度 我 也会 觉得 非常 的 有趣, 非常 的 fulfilling。 学习 这些 而 不去 想 那些 非常 标签 性 的 一些 东西, 会 让 我的生活 变得 挺 开心 的。

挺好的, 反正 自己 开心 就行。 谢谢 思琪 今天 非常 精彩 的 一期, 对 我们 从 大 模型 人工智能 聊到 了 哲学 还是 很 开心 的。

好, 谢谢。 我的 哲学 理解 也是 属于 刚刚开始 学习 的 所以 可能 有 很多 也 不是说 的 很 对的 地方, 欢迎 来 指 正好 的。

好的, 好, 谢谢 思琪。

好, 谢谢。

这 期 节目 的 录制 时间 是在 2023年 的 11月。 跟 思齐 聊 完 之后, 我也 试 了 很多 他说 的 功能, 而且 她 有 给我 很多 的 使用 的 灵感。 其实 我们 节目组 内部 一直都在 讨论 怎么样 把 这个 生成式 人工智能 的 技术 来 运用 到 我们的 播客 和 视频 的 信息流 中。 如果 大家 感兴趣, 我们 可以 单 出 一期, 来 聊聊 我们 自己的 一些 使用 体验。 欢迎 大家 持续的 关注 我们, 这就是 我们 今天 的 节目。 如果 大家 喜欢 我们的 节目, 欢迎 在 你 所 收听 的 音频 渠道 来 关注 订阅 我们 喜马拉雅 跟 苹果 的 听众 朋友, 大家 可以 给 我们 打 一个 五星 好评。

中国 的 听众 可以 通过 苹果 播客、 小宇宙、 喜马拉雅、 蜻蜓 F M、 荔枝 F M、 网易 云 音乐 来 收听 我们。 美国 的 听众 可以 通过 苹果 播客、 spotify、 google podcast music 来 收听 我们。 另外 谷歌 很快 会 关闭 他们的 podcast 的 服务, 所以 之后 我们的 播客 也会 转到 youtube music 上。 欢迎 大家 能够 在 新的 渠道 来 订阅 我们, 感谢 大家 的 收听, 谢谢。