和百度一线专家第三次讨论AI：人类可以从AI身上学到什么？
01:39:07 Share

听众朋友们大家好,欢迎来到新一期的文理两开花我们今天这期节目非常非常特别首先呢,我先讲一下我们今天要聊的题目这个还是跟 AI 相关这是我们第三次讨论 AI 相关的话题但其实这三次都比较有章法文理两开花是不会随便乱扯的

所以第一次呢还是一个多月之前 ChaiGPT 刚火的时候我和魏老师各自表达了一下自己对 AI 的认知但是随着热度持续上升呢眼看着这个话题就挤压一切虚实的话题地缘政治什么当时都变成了边角新闻直到现在它的热度还是很高但是今天因为在这个金融行业出现了一个巨大的新闻就是硅谷银行的问题好像暂时把 AI 的热度压了压

于是呢我们就进行了第二次讨论也是从资深相关的领域讨论了一下它和区块链和 web3 的关系

但是呢我觉得我和魏老师也商量了一下我们的讨论呢其实还没有结束因为前两次呢都还是从圈外人的角度不是专业的 AI 的从业人员的角度所以感觉某些点还是有一些隔靴搔痒但是随着我们各自对他的理解更进一步加深呢就是深感非常有必要某一些这个领域呢要从更专业的角度再剖析一下

所以我们就今天请来了一位 AI 的大牛是专业的 AI 从业者朱老师今天的讨论就是相当于是分别从 AI 业界和区块链业界的专家人士然后我们一起深入讨论一下我们之前关心的但是有一些遗留的话题

以及我们还会讨论到比如说大家可能都很感兴趣的 AGI 通用型的 AI 这些绕不开的终极话题另外呢其实最后也会在一起和 AI 的专业人士讨论一下 Web3 和 Crypto 就还有这个 AI 它到底有没有什么融合之处好首先隆重欢迎朱老师朱老师是我们文理两开花节目少有的第三朵花所以必须热烈欢迎欢迎朱老师

欢迎欢迎好感谢感谢非常荣幸有机会能够到文理两开化上来因为去年 2022 年的时候我其实是文理两开化的忠实的听众在文理两开化当中学到了很多关于 web3 的信息包括文理的六大框我仔细读了一遍而且仔细听了一下觉得非常有收获

天哪太开心了谢谢谢谢好那我们首先请朱老师介绍一下自己好那我简单介绍一下自己我叫朱凯华所以其实就是发音和凯华还挺像的我在 2006 年到 2013 年在谷歌工作我在谷歌的时候是在谷歌做 web search and ranking 就在谷歌做核心搜索的排序算法

然后在 2013 年的时候我回国加入百度 2013 年到 2016 年底我负责百度的搜索排序算法 2016 年底到 2017 年的时候我和我的 partner 一块出来说我们要做下一代的搜索所以我们来做语音的人工智能的一个助手叫做小杜好吧大概简单介绍一下是这样就是一直以来在就是搜索排序啊算法和 NRP 这些工作当中还是比较花一些时间然后最近像 ChatGPT 这样的深层式大模型

其实也带来了非常多的可能性和非常多的令人激动的突破其实也很关注也花很多时间所以也希望有机会能和大家一块分享一下好

好 谢谢大家谢谢朱老师我觉得小伙伴们如果听到这里可能会在期待我们会不会八卦一些就是国内厂商相关的 AI 话题其实我们文理的风格呢还是对这些八卦呀或者是所谓的比较啊等等这些过度商业化的信息其实不是我们的重点但是呢我们今天会讨论的这些话题呢其实也是跟底层逻辑以及我们可以用它来自己判断一下未来的趋势的这么一些问题所以应该是比那些八卦更有意思

那我们就先进入正题话不多说了首先想请问两位老师魏老师从区块链的这个行业从业的专家以及朱老师 AI 的从业专家还是想问一个简单的问题但是这个简单问题其实可以深入反映出一些非常实质的点就是我们关心的到底是什么所以这个问题就是 ChatGPT 另两位最吃惊的地方是什么

就是你们觉得什么地方你们对它是觉得完全没有预想之内或者说觉得很惊奇的一些地方朱老师先说朱老师客人先来

好那我先讲其实在一开始用到 ChatGPT 包括在网上看到 ChatGPT 的那些文章的时候就是 11 月 30 号 12 月 1 号这个时候一开始看到那些例子我总发自内心会觉得是不是 cherry pick 的就是挑选了一些好的例子然后立刻因为我有欧格兰的账号所以我赶紧就上去试了一下试了之后我是深深震撼的

我觉得主要的点其实有两点第一点是说他对我语言的理解能力非常强我一开始尝试的那些 prompt 尝试的那些问题就比较复杂就一定我相信是不会有别人问过或者不会有别的预先训练已经见过这样的例子的就我的例子会加上很多的细节和很多的要求我要看他是否真的能理解我所说的话里面每一个部分的意思很吃惊的是他理解的非常好

这个其实我们如果用专业术语来说的话它是一个 out of distribution 的 generalization 就是超出它建国分布范围内的一个泛化能力这个能力的强大其实让我第一个非常吃惊第二部分非常吃惊的地方是它生成能力的 alignment

因为之前其实生成模型我们大家都用而且包括很早之前就是 GP3 出来的时候包括 GP3.5 的时候其实包括百度和很多公司都会有自己的生成式大模型但那个时候大家总是感觉它生成的结果有些有时时不时会飘了包括像微软它发布 Tay 这样一个聊天机器人一样你就发现它聊着聊着其实它很会聊

但是它的观点会不一致它的结果会飘荡就是一会这样一会那样然后会有些有毒的结果没有连续性对没有连续性然后在用 chartGP 的时候会发现它的生成非常有套路非常有章法而且非常有逻辑

这一点其实让人非常吃惊而且他的能做的事情非常多你可以让他写一个总结可以让他写首诗可以让他用莎士比亚的语气写十四行诗等等等等就是有非常多的东西他都能做而且做得很好两点吧总结一下就是一点是他对复杂的问题的这种泛化能力特别强第二个是他能做非常非常多的任务而且每个任务都做得基本上都很好这两点是让我非常吃惊的

其实后来我给我太太看了 Charlie GPT 她被震惊到之后疑惑了说我是不是离开工作第一线有点远了我怎么会那么吃惊我说没有没有我在工作第一线我也很吃惊吃惊程度和你差不多大概是这样所以朱老师太太也是 AI 行业的对我太太曾经是 Microsoft 的 PM 哦

专业人士都觉得这么吃惊那魏老师呢我们其实第一期节目有稍微点到过那魏老师可以再讲一遍对对我讲讲就是朱老师从专业人士的角度讲嘛我还是从我们使用者或者观察者的角度讲其实以前倒还真没详细聊过这个事我也是讲两个点吧

第一个点其实凑巧也是在 ChatGPT 刚出来的那个时候那几天正好赶上我的新冠了就在家里边也可以去试也可以去看大家的反馈

看完之后第一个感触就是这个不是聊天机器人我想大家可能都有这个感觉就是以前我们见过的聊天机器人有点像刚才周老师说的就是它设计出来是为了聊天所以它会对你的输入有一些模式化的反馈那些反馈显然就是事先编成好的大概会是这么样一个感觉但是 ChatGPT 这种明显已经超出聊天机器人的这种模式了虽然它叫 ChatGPT

所以当时我印象里可能在 12 月 5 号左右吧当时还发了一个帖就是感受就是说我觉得 ChatGPT 应该就是新时代的蒸汽机就是它本身其实并不是为了某个目标设计的它应该是根据自己的底层原理创造出了一种新的一种能力一种生产力对吧如果你把它当免费陪聊的话那就太亏了吧

你应该是把它想象成为说就像它在蒸汽机时代能扩展我们的手脚扩展我们的力量那样的东西那 XGPT 是扩展你的思维这样子的一种蒸汽机时代的这个 level 的这样一种创新

这是当时第一个感觉然后第二个感觉呢跟刚才朱老师说的有点像朱老师刚才说的用这种就是 out of distribution 吧这个感觉特别明显我举一个小的例子啊

就回到上次聊过的围棋的话题韩国以前有个天才棋手叫李昌浩就在李适时之前的一个人然后他当时 14 岁的时候就得了第一个围棋世界冠军大家给他的评价就有点像刚才朱老师说 ChatGPT 一样就大家会在想说一个 14 岁的小孩他所能够看到的

起谱他所能够看到的对局他所能够吸取经验的那些东西一共也没多少因为他才这么大他就是每一秒钟都来看起谱他也看不了那么多东西但是他所下出来的那些招数

就已经超越了他所能够看到的所有旗袍的那些招数那这不就是我们所说的人类的智能的这种特性吗所以我觉得就从这个角度来讲 ChatGPT 其实确实有这个特点就是你没法认为它是优于把所有这些资料库都收集全了以后然后根据这些资料库来去给你反馈的那些编程好的信息

而是他看上去好像就有点像人类的智能的这样的反应能力才能够达到他现在的这个效果这就是这两个感觉吧非常好就是这个问题其实是带出来下面很多重要的点但是刚才朱老师和魏老师的回答中分别提到了一个我很想追问的点但这个逻辑顺序先往后排一排我先 mark 一下后面我会问你们

为什么问这个问题是为了排除一些市场上的噪音因为现在明显大家对它的拆 GDP 真正的优点或者说它真正比较 extraordinary 的地方有点噪音太多说什么的都有所以呢我是想请问两位专家就是从稍微专业一点的角度就是说它究竟优在什么地方呢

大家其实也都提到了一些共同的点比如说首先他真的长大了这次我比较吃惊的地方就是他真的长大了他真的像一个人了好像有了小孩子一般的智力吧可能还没到但是有这种趋势确实是很多人依然把他定义成聊天机器人但他明显是一条披着羊皮的狼

就是披着聊天机器人的外衣但是内核越来越像一个我们下面会聊到的 AGI 的身影这个问题就带出我下一个很想问的点就是说其实刚才周老师也提到一点点就是 ChatGPT 让我们很吃惊的地方就是它的推理能力非常的强

他生成的内容非常有条例非常有章法而且还能记住他之前说的什么话不会走飞我也觉得这一点也是非常 impressive 因为他经常是有这个 AI 胡锡进上线讲话滴水不漏的这种特性出现但是总而言之呢就是他各个角度他都能够分析到然后也都能圆上还可以让大家理性看待等等

但是我想问的是这种推理能力明显是这次拆 GDP 代表的一些进步的一个非常重要的点但是这种推理能力就是这种逻辑是怎么训练出来的呢为什么它的这个推理逻辑这次进步会这么大好

好那我快速试图讲一下因为其实现在讨论 ChatGPT 一些我们称作为 emergent 能力就是涌现出来的能力的文章啊讨论也比较多我总结一下这次 ChatGPT 让人觉得非常吃惊的话它整个模型里面因为模型参数非常大所以容纳了三块很重要的东西一部分它容纳了 common sense

就是这是为什么他刚才小跑老师提到了 AGI 这样一个能力就是 AGI 是指我什么任务都能做我不是为某一个单一任务而做的模型而是我什么任务都能做这点非常非常关键因为如果举个例子来说的话其实不管之前在百度做搜索或谷歌做搜索推荐广告这样一些模型包括现在做对话助手这样一些模型其实往往都是一些专用的模型它

的范式其实是一个专用范式就说 2018 年之后 Bert 出现了之前 Will 老师在上一期里面讲过 2017 年其实 Attention is all you need 其实 Google 发布了 Transformer 然后 2018 年 Google 就是率先用大力出奇迹的方式堆了一个那个时候的大模型叫 Bert 预训练大模型然后大家接下来所有的专业的就是

方向上不管是搜索刚才说的广告推荐对话助手上大家都会引用 bert 这样一个范式大家用 bert 这个范式的时候往往的用法是说我用 bert 这样一个大的模型也有初步的运行练但同时我有非常多的数据去训练它而且把它训练成一个单一任务这样的话基本上效果就很好而且能够看到各种业务指标上巨大提升但这个时候就带来了

刚才 Will 老师说的是新时代的蒸汽机对吧 OpenAI 其实面向 AGI 的时候它其实带来了范式的变化 OpenAI 说 OK 好我不是为了单一任务而做的我这个模型是想什么都做所以我会咬牙走条最难走的路迅一个超大的模型所以它是首先到 175billion 就是 1750 亿的参数非常巨大的模型说我什么都要做

当他有这样一个目标的时候其实这个目标里隐含着什么东西呢隐含着是这个模型必须学到 common sense 嗯

因为如果你不学到 common sense 你只是让他在一个单独的任务里面拼命做拼命做他能把单独任务做得很好但一旦换个任务他可能就不太行了之前我听过一个比喻说得很好就是说之前大家在工业界就 2018 年之后用的 bert 加 fintuning 这样一个范式的话其实比较像有个小孩刚刚长到五岁识字了之后赶紧派他到流水线上去拧螺丝

然后一天到晚就拧一种螺丝他能够很快到 17、8 岁的时候拧得非常好但是你让他干别的可能他就干不了了而 OpenAI 选取条更难的路说你现在不要担心钱不要担心东西啊不要担心计算资源我让你一直读到大学毕业读到研究生毕业然后你虽然好像一个专门的技能也不太会啊但是呢你很多东西都很快能上手触类旁通举一反三这其实是

open AI 这个 model 在里面体现出来的所以当他具有 common sense 之后有一个很重要的能力大家叫做 in context learning 或者叫做 future learning 就是说上下文学习或者说少样本学习这样一个能力就特别强大概的例子就是说你一般会给语言模型

写一两个例子比如说北京之于中国相当于华盛顿之于什么呢他自然就知道是美国这样的话其实当你前面给了一两个例子他就能很好地帮你完成后续的动作这叫 Full-Shutter Learning 这种 Common Sense 其实是 OpenAI 面向 AGI 走这条更难的道路的时候

这个模型必须需要具备的但因为它具备了之后这个范式就巨大改变了以后其实我们所有搞 NRP 从业者其实都有点害怕前两天我还和一个在西雅图的同学打电话聊天说现在之前搞 NRP 的同学都有点害怕以前其实完成一个任务往往是需要很不错的 NRP 的工程师对吧拿一个工具收集很多数据用 Bert 加

Find Tuning 的方式康康康迅一个模型效果很好你看大家每个人都有工作现在可能不是了现在可能拿一个巨大的大规模生成模型

我只需要很简单的 prompt tuning 就是很简单写两句话说我需要你干什么他就听懂了而且基本上帮你做的也很好成本大幅下降虽然他的付出的代价是他的 serving 成本就是他运行时的那个推力的成本会略高一点但其实上周其实 OpenAI 也发布了一个就是便宜到原本十分之一的一个模型价格这个价格也能够快速打下来这个时候

你开发成本的难度就大幅下降了模型效果也能保证很好这个时候整个范式就变化了就像真的一个新的蒸汽机时代到来每个人都可以操作 AI 每个人都可以做模型原本的那些 NRP 的同学们要想想在新时代怎么做了大概是这样这是第一个部分就是

大模型需要具备 common sense 我把前三个能力都先说一下大模型具备 common sense 第二个部分是大模型具备 reasoning 就是刚才小跑老师说的推理能力第三个部分其实大模型具备很多 fact 因为它模型规模非常大它存储了非常非常多的互联网上的 knowledge 但这些 knowledge 是某种压缩存储所以有时候大家会说它 hello is native 就是说睁着眼睛说瞎话这个问题我们后面说

然后我们说到 reasoning 是这次也是让人非常吃惊的一个点你可以给 ChatGPT 输入一个小学应用体有一定推理能力的什么比如这边放水这边排水然后又有个额外的地方又放水了然后怎么样怎么样它基本上能一步一步做完而且在 2022 年其实 Google 是首先发布了一个叫做 chain of thought 的推理方式就是说你可以给它一个例子就像刚才 few short learning 里面说

我给他一道应用题然后我把一个你可以认为是就解题书里一步步解的样子给他就是解一遍看看然后你再给他一道应用题大模型的生成就会照着他前面这个推理的一步步的样子一样来一步步推理而且通过这样一步步的推理他的推理准确度大幅上升了后来大家发现你只需要额外写一句话 Let's think step by step

只要加这样一句 prompt 大模型就会一步一步的像小学生这种标准答题一样一步步答出来然后答题的准确率都特别高这个其实是一个令人非常吃惊也是涌现能力当中最令人意想不到的一个能力因为这个能力其实大家有很多的讨论就我说一个快速的结论因为这些推理就不说了现在的讨论的大家基本的共识的猜测是大量的代码的训练

让超大模型学习到了这样的推理能力大概在 GPT3.5 当中 8%到 15%的训练 token 是用 GitHub 上的代码来训练的在这个里边大家可以想象一下 GPT3.5 包括 ChatGP 大家会发现它能够很好的掌握多门世界上的语言中文英文法语墨西哥语都行你可以认为从另一个角度来看其实对大模型来说

程序代码是另一种语言而且这种语言长得和英文还挺像的

但是一旦他学习程序代码的时候他就会学到说我的长距离的依赖就需要更关注因为自然语言来说其实大部分的一个词出现在哪里其实和他上下文不会差太多个词基本上就能决定这个词是什么但是如果是程序的话你会发现可能好久之前有个大括号你过了大概 100 个字符或 2000 个字符 20000 个字符之后你还得把这个大括号关上

所以他第一部分就教了大模型来说我怎么样来管理长距离的依赖第二部分程序其实当中有很多注释是自然语言的注释和代码它是写在一起的就是写的好的程序都是有注释有代码有注释有代码

这恰恰是很好的例子是用自然语言的英文来 annotate 了说我这个程序在干什么就更像是那种配对的语言翻译一样就是中文英文对账的那种语料一样大模型在当中就能学到说我要做这些动作其实这段代码就是做这些动作的所以这是为什么大家这次另外很吃惊就是事到后面很吃惊的是它 ChatGP 代码生成能力非常强这个其实是程序学习带来的

而推理能力呢大家可以认为是说有很多程序的部分都是 procedure base 的就是动作 base 基本上当你看过很多程序然后看到很多 procedure base 的程序的时候模型就会学到我怎么把任务就是一步步做下来完成这个其实就是推理能力和生成的章法所以大家看到当他学习了很多

程序代码之后他写文章或者写一些答案也非常有条理 12345 列的很清楚逻辑很清晰最后就是补充一点就是说当他学习程序的时候有很多程序比如说是有多态性的或者说是那种就是 objectiveoriented 的 programming 他在这里面能够学到把复杂的任务 decompose 成简单的任务就把复杂问题分而治之变成比较简单的问题这些其实对他的抽象能力和推理能力也有很大帮助好

好吧这个就快速说一下这个大模型里当 OpenAI 以 AGI 作为目标的时候它的这个训练目标会带来一些超出原本范式的能力而这些超出原本范式能力颠覆了原本的范式成

成为新的巨大的范式的改进好吧就是简单介绍一下到这里非常非常详细然后顺便也把这个大模型的两个不同的模型一个是 Google BERT 一个是 OpenAI 的他们俩的区别也讲出来了以及为什么后者会更接近于 AGI 这个我们下面会讨论刚才周老师说那个 step by step 挺有意思的我当时听的时候我就在想那个福尔摩斯

就是他经常跟华生医生说你应该怎么推理推理就是当你排除了所有不可能剩下的无论多么不可能都一定是真相就是这种 step by step 的这个推理方法

是的因为在看了那篇 paper 之后我发现我教我儿子数学和物理的时候也会说 let's think step by step 因为我常常发现这个小孩时不时就脱口而出一个错误的答案我有时候哎呀像捂着脸说 let's think step by step 然后你一步步的推理他成功率和命中率和大模型一样也会提高天哪这把小朋友当 AI 来训练了

魏老师有没有 comments 对这个问题有的我觉得挺有意思的刚才朱老师说的这个话让我想起两个点一个点呢也是关于小孩这个其实小孩上次咱们聊过这个 token economy 其实就是可以用来训练小孩的跟小黄聊

给小朋友两块糖的所以你看他小孩跟 AI 的训练方式确实是一样的对吧这是开个玩笑了就其实我是想说一个话题我估计今天可能没别的地方说了正好就借小孩这个事说一下就是前一段时间这个 AI 火了以后

咱们上次也聊过这个搞不好 AI 创业这件事又要火了对吧 VC 们也要蠢蠢欲动但是这里边其实我前一段时间聊过几次发表过几次这个观点我说我觉得 AI 的创业大家可以想明白这跟互联网差太远了因为互联网的创业或者说 web 时代的这种 IT 系统的创业它普遍走的是所谓 MVP 的模式

也就是说我有一个最小可用的系统然后用户就来用然后呢有一堆核心用户他们不断的用呢功能也会不断的反馈然后你的这个系统就会不断的完善然后用户量就越来越大最后形成这么一个完善的系统嘛那这是普遍的互联网时代的创业模式但是 AI 的创业模式呢这个就很难说了因为就像刚才朱老师说的我也是一直有这个观点就是

AI 的这种你要是训练成一个人或者训练一个智能它不能让他从小孩时候就开始用因为小孩时候那个智能不够它没用的所以不会有人能够用得了这样的一个系统你就必须把它一直培养成为成年人他的智力足够了他才可以为别人所用所以我们简单开一句玩笑就是说小孩其实不是大人的 MVP

它其实是不能那么用的所以这就会出现一个很大的问题就是 AI 时代怎么创业你没法从一个程序员然后买三个显卡去弄那么一个小模型然后就搞搞搞搞搞然后大家就来用然后越用越好而很有可能就像现在这样就是大家对不起大家都是 OpenAI 的客户端你们在这个上面创业可能才能行

所以我觉得这件事非常有意思这其实是打个岔但是就是他跟小孩大人的这个比喻我觉得是非常贴切的就不管从智力模型来讲还是从成长轨迹来讲都好像是要遵从一个从小孩长到大人的那个轨迹而不是一个从产品 1.0 到 2.0 到 3.0 的那么一个轨迹我觉得这是很有意思的一个点啊

另外一个点我也是罚散一下就是说其实 AI 一直有号称几大流派大家都知道所谓符号主义就是讲数理逻辑的其实就是讲说人类的智能核心是逻辑推理 reasoning

第二派就是所谓连接主义也就是说人类之所以有智能是因为大脑有这些皮层有这些神经元所以我们要做的事就是模拟出这个玩意来那自然就有智能了然后第三派被人称之为行为主义其实简单的说就是道果为因也就是说你看人类这么做事这么说话

所以这是他们智能的体现那所以我如果能够搞出来一套能够怎么理解这个人类说话和做事的这些东西的那么一套体系那它其实也就反过来有了人类智能嘛刚才这个朱老师正好聊了很多 ChatGPT 或者说我们说基于 Transformer 的这套体系的建构出来的 AGI 你会发现其实在最顶层上某种意义上说把这三个流派统一了

它以一个结构主义的底层逻辑

来建设就是说我目标还是用一套神经元的体系的模拟来做这一套 transformer 的逻辑上次咱们聊过嘛六层 encoder 和 decoder 甚至是不是致敬大脑的六个 P 层对然后但是上层呢它一方面具有了 reasoning 的能力也就是说它其实是一种逻辑主义的一种实现同时呢它的实现方式是什么呢其实就是采集了人类所有的语言

不管是中文的英文的所有的网页甚至所有的代码的 coding 它相当于是把所有这些东西建立起来了联系这实际上是人类智能的一种输出他再把它倒回来作为输入然后以它产生的结果跟这些内容所匹配就相当于机器模拟了人的思维过程并产生了类似的结果

所以我觉得其实非常神奇的就是这叫什么殊途同归吧就是说最终当你模拟出来人类的智力的时候你会发现这三个流派最后就三位一体然后就殊途同归你最后会发现他们都具有这样的特征所以确实从这个角度来讲现在这套 AGI 的这套逻辑好像听起来确实应该是不是真的就是 intelligence 就这个意思

一个感受非常有意思刚才 Will 老师提到连接主义符号主义和行为主义非常赞同

因为符号主义的话,它是最早做人工智能一开始尝试的方向,就是有非常多人写规则,而且发现它的核心是最底层都是 Symbol,然后有很多推理规则,基于这些推理规则可以演绎出很多的规则,就很像一个看一本阿基米德几何原本一样,就是有公理,有推理规则,然后它就可以推出非常多的结果。

然后同时大家发展了一套就是模糊推理就是带上概率的推理的方式那个时候叫做模糊逻辑但后来大家发现符号主义的最大问题就是它的底层的基石还是 symbol 还是符号而一旦底层其实是符号的话它的怎么把现实世界映射回符号怎么把知识用符号来表达出来其实就非常难这是

当初那个就是用符号作为基石在符号主义这条道路上走的时候遇到了一些困难现在其实虽然叫做连接主义要在原本的分类里面叫做连接主义因为它是用神经网络是以连接为主的但其实可以换个角度来看现在神经网络的基石是向量的

就任何一个东西任何一个 symbol 在神经网络当中处理的时候它都变成了向量而一旦变成向量它比符号就有非常大的优越性因为向量是可以计算非常多的距离方向和关系的而且它的关系的处理是可以在张量当中用各种数学工具包括球岛 球微分来处理的一旦把数学基石变成了向量很多符号系统在符号主义当中很难表达的概念就很容易表达了

比如说我在符号系统当中如果说喜欢和爱这两个词应该很接近对吧我怎么表达就很难表达我就需要在喜欢这个 symbol 后面写一串和它接近的 symbol

然后同时我又知道喜欢和恨和有点讨厌都是它反向的 symbol,你可以想象我要 manage 整个符号主义的表格的时候就很难维护,或者说我要搞一个非常大的符号的矩阵,我把喜欢和恨在一个矩阵的焦点上把它的关系值求出来,但一旦我的符号变大的话,它的增大是 n 平方的增大,所以符号主义很多时候真的在用的时候就遇到很多困难。

但一旦都变成向量的话就非常简单就是我把喜欢变成个向量我把恨变成个向量我把爱也变成个向量喜欢和爱之间这个向量算个 cos 就可以了喜欢和恨它的关系算个 cos 也可以因为 cos 既能表示正的也能表示负的所以一旦把所有的基石换成了向量之后原本可能我需要用 n 平方的非常复杂的基于符号的表示我就可以变成基于向量的非常压缩的表示

这是其实刚才我觉得补充一下威尔老师说的现在深度大模型其实是连接主义的它的底层是用向量这个时候当它能处理非常多的自然语言处理非常多的程序之后它发现说我底层用向量这个基石的时候能把符号主义当中很多问题

包括像刚才说的比如说现在微软的 Copilot 它帮人写代码其实写得很好而代码其实在大家原本的印象中是个非常符号的它有一套语法规则你其实是可以写出一个非常上下文无关文法就能把 C++的所有的语法全都包含了但是你用连接主义的大模型用向量其实能够把程序处理得非常好这其实是从连接主义来完成了符号主义当中的一些问题

当他能完成符号主义的问题并且具备了一定的现在的 CHATGP 可以叫做 fact reasoning 就是事实推理能力他还不太能够做特别严格的 formal reasoning 就是做那种像小学数学证明题那样非常严格一步一步扣着的但他基本的推理和基本事实的推理其实很强了已经而且听说基本上 GPT-4 出来的话 formal 推理能力会大幅增强

所以一旦我用换了一个基石把符号主义的问题解决得很好之后就又回到了刚才威尔老师说的其实我又能把行为主义的问题解得很好所以大家很多人看到 ChatGPT 都会觉得他大概是能够通过图灵测试了图灵测试是一个典型的行为主义的一个测试标准

所以这个其实是也很有意思也给威尔老师刚才说的加一些补充非常有意思两位老师我听完之后我第一个是觉得这个非常 amazing 但是同时我又觉得为什么李克生把这个世界描述的这么无趣一切喜欢和爱现在都变成向量了

但是你们聊到这个三个派别以及现在为什么连接主义这个派别真的可能会实现真正的智能这个非常有意思这个也是我一直很想问的问题既然聊到了 AGI 我就很想再多问几个 AGI 的小白问题我在两位老师面就是文科生代表队以及小白来问问题我一直对 AGI

其实对 AGI 强人工智能 super intelligence 还有类人脑什么类人类智能这些概念我非常的混我就实在是分不清楚他们之间的区别在哪里因为刚才朱老师和魏老师也都提到过了我们现在之所以觉得 ChatGDP 非常的 amazing 其实呢它明显是一条披着羊皮的狼它披着聊天机器人的 AGI 而且也反映出来的 OpenAI 其实他们的目标一直也都是

AGI 那么 chatgp 可能只是在实现过程中的一小步而已那么大家的终极目的都还是制造出一个能够像人一样思考能够就是刚才朱老师为老师提到的这个能够同时做多功能就是从事多种用途的你叫他机器也好智能也好

上次魏老师其实我们在第一期的时候魏老师也聊到了这个 transformer 我记得当时魏老师举例子是在视觉中的应用就是可以让这种比如说 Dalee 的这种我不知道说的准确不准确它是一种风格迁移它是用在图画上的就是比如说你看一幅梵高的画比如我再说一个比如你用梵高的风格给我画一本书它就会把那个风格迁移到新的画上那么用这种风格迁移用在语言和逻辑上就使得这种比如说跨领域啊什么格格的

跨模态就是反正你这种通应的人工智能就成为可能等等我对 AGI 第一个是比较混淆就是那么大家的终极目标是 AGI 但是你到底是想干嘛呢你是想做一个跟人一模一样的智能的机器吗还是你想做一些这个 super 就是超人的东西

那如果说真的要完全实现人就是像人一模一样的智能的话那么现在的当下的成果与中心目标差距很远吗我们真能是在造一个人吗或者这个有没有必要呢我觉得问了一堆问题要不看看怎么拆分一下先问问两位老师对这个 AGI 强人工智能类人类的智能这些概念的区分我试着先解释一下就是因为有很多名词然后很多名词里面有两种普遍

或者有两种通用然后大家很容易混淆一种是 AGIAGI 是 Artificial General Intelligence 这个 general 的意思其实是说我不挑任务就我什么活都能干我不是说我只能下象棋我不是说我只能打游戏我是什么都可以干你可以让我写诗我可以写总结这是一种 general

还有一种叫 Universal 它也是通用比如说图灵机是个 Universal Computer 这个 Universal 因为有时候也被翻译成通用但它的通用指的是我不挑物理介质我可以用木头来造一个计算机我也可以用电子管造个计算机我可以用晶体管造个计算机甚至极端一点我可以像三体里边用就三体人排列成人类计算机我同样做成图灵机的功能但它我不挑物理介质第一个是先解释两个通用

现在我们一般来说划分的话是以 AGI 和 RAW AI 来比较的其实一般来说 RAW AI 指的是 narrow 就是说指的是完成一个任务比如说 AlphaGo 是一个典型的例子它下棋下得比所有世界上的人类都好但是它只能下棋

当然就是有一些其实在 Narrow AI 和 AGI 当中的比如说 DeepMind 当中有一些模型是能够训练之后玩所有的 Atari 的游戏甚至可以玩所有的国际象棋和围棋各种棋类游戏它就是把它稍微扩大了一点点但 AGI 一般来说指的是说类人智能就是说人能做的他都能做这是 AGI 的一个 General 和 Narrow 的一个角度第二

第二个角度是是不是 superhuman,这是另外一个维度,其实就是它的能力是否超过人,因为这个点和弱很多时候是在直观上给人以矛盾感,比如说 AlphaGo 它在分类当中是弱人工智能,但它的这个部分能力是超过人的。

我们能想象比如说接下来自动驾驶很可能它慢慢的驾驶的比所有地球上的人开车开的都好但是它可能只能某个自动驾驶模型可能只能自动驾驶它还是弱人工智能但是一旦做的宽泛的时候比如说大家说 CHAT GPT 现在有点 AGI 的苗头

但可能他并不是每件事情都做的比人类好或者都达到人类的效果他只是够通用而已然后在学术界或者在科幻界吧就也有一些定义叫做 super intelligencesuper intelligence 基本上你可以认为是 AGI 的升级版他不仅所有的事情都能做而且所有的事情都做的比人类好非常非常多这个其实就是另一个讨论未来的可能性了但这个讨论就开始进入科幻的领域了

这个阿西莫夫的那个丹尼然后说到替代人的话其实和刚才威尔老师说的类似图灵测试很像就是我什么时候测试他有 AGI 最近 Sam Altman 在有一个讨论里边 Sam Altman 是 OpenAI 的 CEO 他在有个讨论里边说了一个概念很有意思他在说就是因为 pandemic 大家很多时候都远程工作

如果现在我能够用大模型实现一个实体这个实体是让另一个和他一起工作的人分不清楚这到底是个人还是个大模型那他可能就算是能被称为一个 AGI 你会发现我在工作当中和一个人也需要有时候一块编辑一个 document 可能我有时候给他 IM 上发一个消息他也能回复我然后我让他给我写一个调研报告他过两天或者过一段时间也能发给我

其实现在如果说 AI 的发展离这个定义的 AGI 就是离一个虚拟的 co-worker 这样的定义的 AGI 其实没那么远了这可能是另外一个角度因为大家很多时候想象的是我一定要通用人工智能像终结者一样一定要有个 emboliment 一定要有个物理时代在这个物理时代上他要能够像人一样什么能跳能跑能运动其实很多时候也不一定是在纯虚拟世界当中也可以有个 AGI 嗯哼有意思

魏老师有补充吗这个分类体系我觉得朱老师说的挺好的因为什么呢咱们上次聊过就是在真正的 AI 的这个行业面前我得站到那个文科生那个队里来了欢迎欢迎对于这个行业来讲就是刚才小豹老师问的这个问题其实是上次我们头一回聊过的就是在这个角度上其实我还是比较站文科生的啊

因为我们上次讲过这个事文科生没有立场对对对就是说我们到底是想做一件什么事情如果某一种弱人工智能它对应的那个方向上比人强非常多然后它的成本又可控的话那是不是我们为了让人类的生活更加美好

我们就应该发展很多这样的弱人工智能,然后让他们在那个方向上比我们强很多,然后他们就去做嘛,因为我们主要是改善自己的生活嘛。然后如果说我们想要做一个超人工智能,super intelligence,那就是说我们就是下定决心就非要作死,

就是我们一定要搞一个所有方向都比我们强然后把我们视为蝼蚁的那样一个东西如果有这个东西我猜测就从技术体系或者说从物理体系的角度讲它大概率是一个

那个类似于天网那样的东西因为我们上次聊过就人脑的特征它是一个以低能量消耗小体积这样一个特点来完成一个每个方向都还凑合的这么一个机制对吧这是生物体的一个特征

那如果要是有所有地方都比人强的那么一个智能那我估计大概率它得集合全世界比如说几乎所有的计算机和能量去做那么一个事所以那其实我们就是造了一个旁人大物那就是我们下定决心要让自己被这个东西浓溢

就这么去做那我觉得感觉这个事好像是不是没啥意义对吧那就是好奇心害死猫大概是这样一个逻辑对所以我觉得如果从分类体系来讲我还是比较偏重于工具论就是我们最好能创造出各种各样的所谓弱人工智能让它在每个方向上都比我们强很多就是新时代蒸汽机我觉得还是这样然后我补充一个小的点我开个脑洞就是 intelligence 这个词

其实本身它就有着一个模糊或者说是多重的属性每次想到 intelligence 这个词我就想到 CIA 美国的中央情报局你看我们把它翻译成中文的时候我们就管它叫中央情报局但它其实就是 Central Intelligence Agency 你咋不管它叫中央智能局

就是实际上 intelligence 这个词我觉得至少在英语的体系内你可以说它是个多义词但我个人甚至认为你一定要把它跟所谓人类的智力的事情要变成同一个同义语我觉得还真未必也就是说像 chatGPT 这样的 intelligence 我觉得就挺好

因为它其实就是综合所有的信息然后能接受输入能输出能够服务于我们这个在 intelligence 方面的所有的需求所以这个 intelligence 你其实觉得它是智能还是信息还是情报还是 data 其实我觉得不那么重要重要的还是它到底

为我们起了什么样的作用所以我觉得其实有时候过于强调 intelligence 这个词我觉得就已经有点走极端了就是一定想着是那种 super intelligence 的出现 iRobot 里边就是那种有自我意识的东西但是如果我们普遍认为说所谓人类的智力的终极特征是有自我意识的话

那么 intelligence 这个词其实并不意味着有自我意识的这种东西的出现所以我觉得还是尽量减少一些科幻比较好我是比较害怕科幻的 OK 就瞎扯这么多好好对刚才威尔老师补充的很好说的很好然后我觉得有好几个点我觉得好像继续补充了探讨的欲望第一个部分就是 AGI 的必要性

其实 AGI 的必要有时候有些可能不是人选择的它是技术的发展就会推动它的必要太可怕了就像刚才说的 BERT 加 Fintuning 的那种方式其实我们在比如说搜索的相关性模型啊或者在对话的模型啊当中其实都是走的是 BERT 加 Fintuning 模式这个方式可以类比成威尔老师刚才说的弱人工智能就是他把搜索点击的排序估计的特别好

他把对话系统的某个东西做的特别好他把广告点击的 CTR 估计的特别好他希望成为一个某一件事情做的特别好别的事情不太会的东西但是现在我们就发现我们被吊打了当我的目标是一个更通用的模型的时候他模型当中的其他能力会产生组合效应

就是说我原本以为我可能只要把这个事情做好它就很厉害但是当我发现说我模糊一下这几件事情把它们共通性找到然后他们的我把同时做这几件事情能力能组合起来的话我能做的事情忽然变得多了很多这个其实是比较吓人的相当于说原本我可能只能列出 8000 个弱能工智能的方向然后我觉得每个解决的很好人类生活就很棒了但可能一旦我把这些能力组合在一起的时候

他一下发现我可以做 1 万个或者 10 万个或者 1 亿个更宽泛的目标更多的事情然后技术的选择可能会推动大家往 AGI 的方向走或者说我们现在从大模型的角度来说

走弱人工智能这条方向已经被走 AGI 方向吊打了我相信整个技术的眼镜也会是这样的刚才说到人和机器的关系包括威尔老师刚才说了很好的讨论就是 intelligence 和天网的关系其实正好我觉得也可以澄清一下有些小的分类因为中文一旦翻译成中文的话其实很多都叫智能都叫智力就不太容易区分它里边比较微妙的差别

在这里面如果用英文来解释的话其实有两个词它的关系是可以放在一起讨论的一个词是 intelligence 就是刚才威尔老师说的 intelligence 一般可以被认为说完成某个目标的能力就是如果我想从 AD 开到 BD 那自动驾驶把我从 AD 送到 BD 的能力就是一种 intelligence 还有一种其实 consciousness 就是自我意识 consciousness 其实这个在学术界或者在科技界讨论就很多了

什么叫做有 consciousness 其实各知一词但基本上大家会认为 intelligence 和 consciousness 这两个概念很多时候是可以分开的我很多时候我具备了很强的通用的完成各种任务的能力

不代表我有自我意识这边可以解释的可能有很多我简单说一下就是人类其实是一个生物进化的结果人类的 intelligence 是被困在目前这样一个肉体当中的就是一个不长毛的猴子的这样一个肉体当中这个肉体有很多问题比如说它很脆弱所以人类有很多的动作说我需要趋利避害

这个肉体需要频繁的补充能量需要繁衍所以人类的很多七情六欲自我意识其实都围绕这个肉体的需要产生但是 AI 它的 embodyment 就是它和人类相差很大

他可能静静地待在机房里有无穷的显卡和无穷的电力的时候他的 consciousness 会和人一样吗或者他会有人类所有的那些就是因为进化的肉身而带来的 consciousness 吗可能有一些不太一样所以说可能我在这个技术上没有那么悲观说一定会形成天网

但是反而在很多讨论当中有另外一个是真的 AI 会带来危险的就并不是说 AI 说人类不行我要把人类干掉反而是人类给 AI 了一个目标

但这个目标和人类不完全一致后面就不由得人类了对 然后康康康围着这个目标就往前进然后人类就默默的就是在边上顺带就被灭了我举个例子就是之前我看到过有写的很有意思的小故事就是说 goalignment 多重要比如说之前有一个小公司就是一个做赫卡的小公司他有个人工智能然后他们那个程序员就比较粗糙就是说你这个人工智能的目标就是非常高效的写赫卡

然后就把它插在网上了然后这个人工智能假设自我进化快速变成 super intelligence 就比人聪明很多然后他就 figure out 说好我非常认同这个目标高效的写赫卡那么人类这个物种在地球上好像占用太多资源会阻碍我高效写赫卡

然后赶紧想个办法把人类灭了然后呢把所有的地球资源都充分组织起来每一个原子都充分组织起来高效的写科卡可能过若干年后有外星人经过地球发现地球上已经没有生命迹象了只有一系列非常高效的机械写科卡的对不断的产生一种印有文字的纸片而且这个纸片围绕地球形成了一个行星环这种其实才是从另一种角度来说就是没有 align 好

这个没有 alignment 好的问题其实我们自己在很多故事中也常常出现对吧比如说我有一个人忽然遇到个精灵说给我三个愿望然后他许了三个愿望精灵的实现呢都有点对有点不对然后往往这个故事里边第三个愿望就是那个人都说把前两个愿望取消吧不是我的意思这其实是一个 alignment 的典型的例子

所以人和机器就是如果机器发展特别聪明我倒不是那么担心它立刻变成了天网说我就是要干掉人类而是说我有个宏伟的目标为了实现它可能人类就牺牲吧这才是问题

好吧也稍微脑洞一下 OKOK 我觉得特别特别有意思就魏老师和这个周老师的讨论类似的例子我们可以举很多啊其实很多时候我们在讨论这个问题的时候就人类到底要不要作死好像最后也是不由人类人类在作死的路上没有什么主观能动性刚才周老师举那个赫卡那个例子特有意思我就想起阿基莫夫写的那个丹尼尔他就是基地里面那个机器人丹尼尔他的唯一目标就是保护人类

但是它在保护人类的这个道路上呢越来越进化所以说它的进化就变成了一个就是无限游戏对它来讲就越来越强大我觉得这个是一样的意思就是我们可能在最后也不由得自己但这个太悲观了

对对对我想补充两个点因为刚才朱老师说的这个确实挺有意思但这两个点我还真的想 comment 一下对第一个点就是刚才小普老师说的提到阿希莫夫就是我倒是觉得可以更乐观就是做贺卡这种事应该也不会出现因为这个事情被阿希莫夫已经解决了阿希莫夫的机器人三定律就是讲的这个嘛

就是我们今天人所提出的这些例子其实古人确实已经想到很多了就是我们看到阿希莫夫机器人三定律的时候可能还物以为然就是说这三定律太稀松平常了对不对但是今天我们看到所谓举赫卡的例子甚至包括说我们还可以举出倒叉的例子假设让这个机器人给一个人治病能够完全把他治好那是不是就要把世界上所有其他人都杀了就跟倒叉难题差不多

所以我觉得阿希莫夫当时提出机器人三定律其实就是这个东西就是说机器人他的行为要有前提条件他以不伤害

那些其他人为前提这其实就是阿希莫夫早在那个年代就已经看出来说如果我们陷于这种讨论的话机器人一定有可能会出现这种恶果所以他规定了一个机器人算定律就是来解决这个问题所以这一点上如果说乐观我倒是更乐观就是连赫卡机器人都不会出现因为我们只要事先给他灌输算定律就可以了

第二个问题我倒是很希望提出来可以探讨不一定今天能够探讨的完就是我觉得刚才朱老师说的 AGI 吊打弱人工智能这件事我其实是持有完全相反的观点我们至少在数学层面上看不到这样的证据就是说

所谓的 AGI 能够吊打一个方向最强的弱人工智能因为这件事从逻辑上并不成立恰恰相反是这是人类的弱点就举围棋的例子而言围棋我们现在都知道因为它是一个完全信息博弈也就是说博弈的双方不能够从棋盘的规则和当前的局面之外获得更有价值的信息来促成

你在博弈当中具有优势这种完全信息博弈就意味着说其实以类似于现在 AlphaGo 的这种模型它是接近于一个最优解的

换句话说就算你有其他的 AGI 出现但是你并不足以能够有其他任何的信息帮助你在这个博弈上取得更进一步的优势恰恰相反人类是可以的因为在 AlphaGo 出现之前我们人类学棋的时候经常怎么说两位不知道下不下围棋我们经常会讲到一句话叫做功夫在棋外什么

什么意思呢就是我有更多的人生感悟我有更坚定的信心我有更强大的心理所以我下棋就会下得更好包括我对于棋形的美感是来自于一种人的原生的美学的价值判断我看到这个棋形美不美我就知道这个棋有可能输还是赢这些东西其实恰恰是人类在这个单向的方向上

差得很远所以他希望从其他的地方所谓触类旁通有其他的信息能够帮助你在一个短时间内在某个单项上做出更好的决策但是至少在完全信息博弈当中这个工作是无效的

因为你没有其他的信息可以提供更多的价值因为这是个信息完全的所以就沿着 AlphaGo 的逻辑其实是真正 OK 的所以我完全不相信说任何的 AGI 它可以战胜 AlphaGo 是因为如果它能够战胜 AlphaGo 的话它只不过是在这个规则和完全信息博弈下它的算法做得更好而已

举一个例子就是后来的α0 就是这样就是用两个α0 互相下没有任何外部信息输入只有围棋规则输入所以第一个α0 下的第一步就是在棋盘的尖角上他们经过下几十亿盘棋之后形成了比现在人类围棋高手要高得多的这种方向所以我觉得至少从抽象的角度来讲在某个角度上

某些完全信息博弈的情况下是不存在说 AGI 有可能比单向更强的那么你说是否其他的模型上可以呢比如说自动驾驶你可能通过其他的语言或者美学或者其他的方面有这些更综合的信息输入导致它

人类驾驶做得更好我觉得从模型的角度来讲如果你的人类自动驾驶是基于所有现场路况的信息的输入的话也就是没有带有那种比如说某个警察输出的主观偏好能够输入的进去的话它也更接近于一个完全信息博弈或者完全信息输入输出的一个场景

所以我倒是不太认为说 AGI 能够在某一个专项的人工智能的领域比这个专项的人工智能做得好

如果是这样的话只能说原来那个专项的人工智能做的还不够好或者说没有达到类似于 alpha zero 这样的一个状况好 欧阳老师这段特别有意思非常有价值而且我刚才还真的仔细想想这是很有观点的看法我试图给出一个现场临场的 answer 好吗就是说第一个我还是会抱持我刚才的看法原因是我们很多的弱人工智能的目标其实是看上去分开的

但是它背后的 input 其实是 entangled 的就是它背后 input 是有很多交叉的就拿刚才 Will 老师说自动驾驶来说自动驾驶里边其实大家了解的话可以会发现自动驾驶里边感知模型其实就是对道路的理解自动驾驶公司其实现在收集的 input 其实都是在车里的 camera 和雷达看到的路况的情况大家想象一下其实如果有个更通用的模型

他是平时在家里走路在各个地方走路也跑步也在山上跑步也在路上跑步他对整个物理世界有更好的理解的时候其实他一定会对很多 Coronavirus 的理解或改进会更好

这个其实是说虽然自动驾驶的目标是和很多目标都是独立的但是它的 input 其实是 deeply connected 因为它都基于这个物理世界在我刚才说到的 NRP 的任务当中很多单独的任务比如说我搜索相关性的预估或者我广告点击的预估

或者我推荐的预估其实这些预估在背后它的 input 里边也是非常 entangled 的比如说有很多都是对于自然语言的理解对于这些词的理解对于这个用户的理解如果我通用的来做它的话一般来说效果会更好最后我来说一下威尔老师刚才非常有深刻的举了 alphaGo 的例子

AlphaGo 例子特别好因为围棋其实它这个目标里边它的 input 和其他地方的 entanglement 没那么多我刚才想了一想就是如果把 AlphaGo 的算法来看的话它其实用神经网络来预测了盘面的情况是一个 value function 对吧就是是个 value 的 prediction 现在的局势好不好但是 AlphaGo 现在的算法包括 AlphaZero 现在算法里边还是会用蒙特卡罗数搜索就它会用蒙特卡罗 tree search

但我假设有个 AGI 过来他会说 alphaGo 的你这个算法其实挺不错的但 may be Monte Carlo Tree Search MTS 可能可以改进一下我有一个高级一点的 Monte Carlo Tree Search 它或许就能改变现在的 alphaGo 就是它通过通用性能改变整个 alphaGo 里边每一个环节我相信还是有一些环节是可以有改进空间的

这可能是一个 answer 当然这也是我个人看法这个部分其实是很多未知的东西可能不一定我们能达成一致

我觉得听的太爽了两位老师的 battle 听得非常有意思其实我就喜欢这样的对话首先大家都有自己很深度的见解然后会不时地碰撞 battle 一下魏老师想 battle 回吗还是我就补充一句吧对我觉得其实表面上像 battle 底层逻辑上应该差不太多对就是核心取决于我们是怎么定义所谓的目标和怎么定义这个算法当你把这个

你认为这个定义足够清晰化的时候呢那其实一个更加精确的标准的算法它其实是有很强优势的因为说白了它至少可能消耗的能量低一点但是当这个目标也就是刚才像朱老师说的就是当你的目标和过程内在着有很多 entanglement 的时候那当然

其实可能一个更 general 的一个东西它底层的连接更丰富那它可能就会体现出一个更强的优势这个其实我觉得在这方面肯定是完全一致的所以我刚才为什么强调用 alpha go 讲的就是所谓的信息完全的博弈呢因为信息完全的博弈的定义就是说你这个东西其实是没有就是所谓外在的 intangible 在的所以在这种情况下当然这个前提改变了那当然结论就不同

所以我觉得底层逻辑确实是比较一致的但是我能够借此机会赶紧说一个刚才说到的话题我

可能后边没有机会说了就是关于图灵测试这件事其实也是非常有意思的跟我们刚才说的这个东西很有关大家对于图灵测试的理解在我看来好像有点过于直白就是好像图灵本人提出来的图灵测试是说它可以回答你任何的问题于是你就可以认为它是个人

这个是单纯指所谓的 intelligence 或者说智能的这一方面但我当时看到其实我觉得他所说的那种图灵测试应该更高一个层次就是说它是真的让你觉得对面是不是人如果站在这个角度讲其实我觉得现在大家对图灵测试的使用或者理解有点过于浅

比如说我举个例子就是如果屏幕对面真的是做一个人或者就像刚才说的你有一个 co-worker 你们两个人共同写作来做一个开发工作然后让你辩不也不出来这是个机器还是个人的话如果对方可以撂挑子不干或者可以回答不出问题甚至可以生气骂你两句那不是更像人吗

所以其实我觉得从这个图灵测试的定义的角度讲其实跟我们刚才说的这件事有高度的类似性就是你到底怎么理解图灵测试和你到底怎么理解更像一个人或者区分不出一个人

我觉得不能够光以他对你回答问题的正确性作为判断的依据吧你问他 1+1=几的时候如果对方回答是 3 的话你不会觉得他更像一个人吗因为别人会生气说你这么傻吗你问我 1+1=几我难道不知是 2 吗所以我就说是 3 因为我生气了然后你就会看到说哎呦这果然是个人他竟然说 1+1=3 这不可能不是人因为机器是一定会说 1+1=2 的

所以其实我觉得为什么我说借这个问题就插个话呢就是我们上升到最高层次的时候就你的目标到底是什么你想让他作为你的工具想让他解决你的问题还是你想看他是不是个人这完全是两个目标吗要我看就是回答 1 加 1 等于 3 的那个那准是个人就这么个意思好吗嗯

非常赞同非常赞同我觉得魏老师这点非常好图灵测试其实就像魏老师说的一样如果只为了说我是不是能伪装成人或者说伪装成某种人其实很早就被突破了因为之前有用规则写的一些机器就是用规则写的加上一些概率随机性它就能伪装成说我是一个 12 岁的小孩或者说我是个精神病人

其实如果想伪装成精神病人很容易我只要和你答非所问就行就和威尔老师刚才说就一加一等于三什么很像而且也会发现说有些问题的时候比如说我问他一个两个非常大的数字相乘机器还得学会说我要想一想甚至不回答

用机器可能一下就告诉答案了然后你说你没通过图灵测试其实为什么刚才说到 Sam Altman 那个 co-worker 的那个图灵测试其实它里边有个隐含的概念就是说它是一个人类认同的价值的图灵测试我能想象就是那个远程的 co-worker 如果我是老板的话我可能一年还是要付他很高的工资和年薪对吧他才能帮助我完成这些工作所以这个价值是用我付给他的年薪来定义的

而他能够在这个价值方向上完全让我区分不出他是人那就很厉害了这就是比较厉害的那种然后如果让他演一个就是特别想躺平的就是不好好工作的人他可能也很像人但是他的价值就被下降了这个时候通过图灵测试的价值就没那么大你倒说个躺平的人干嘛了对你做躺平的人问我啥我都不搭理你或者我就给你怼回去但是这个图灵测试的价值可能就下降了

所以我们可能讨论图灵测试就像威尔老师我非常赞同说的一样目标不是为了让我们来区分他是不是人而是说在我们关注的 value 上他是不是 indifference from people

就是如果在我关注的东西上它和人没有区别那它的价值就能够和人的价值媲美这是对生产力对整个未来美好生活的一个巨大的提升我会比较偏向于说如果有更多的智能体能够通过我们认同价值的这种图灵测试的话世界就变得更美好了我再补充一句如果说到这个话题就更有意思了就回到刚才那个问题就是

它作为一个机器本来就比我们做得好我们为什么要关心它是不是跟人做得一样好呢

这个机器本来一分钱都可以不给他他就可以给我干活为什么我要让他去匹配一个年薪几十万美元的人我用人就是因为这个人有想要有好的生活就回到我们上两期说的因为人要有价值观人要趋利避害所以我们才要给他钱机器是可以一分钱不给的然后给干出的活比人还好恰好从这个角度来讲

以这个目标作为图灵测试那不是太无聊了吗但这个图灵测试目标可能是通过比如公司的 owner 或者是 business runner 的角度来讲的因为现在的技术有很多工作替代不了比如说我还是需要雇很多人来帮我写代码或者我需要雇很多人来帮我做一些文案或者说做战略的收集工作

但如果说一个机器或者一个模型能帮我把这些工作做了对我来说是巨大的成本提升这个角度来说可能

从一个 business owner 或者从一个就是效用主义的角度来说会巨大提升当然剩下人怎么办是不是 UBI 是另外一个问题从效用的角度来说如果他能通过部分的图灵测试那我就可以部分的把一些工作交给他来做而就像威尔老师刚才说的那样机器的成本其实和人类相比是大幅降低的它的用处可能是用效用来度量的对对对其实我想强调出这一点就是

你有可能反过来想比如说当我们去测一个机器的时候他其实 far from 通过图灵测试但是他的薪酬 far from 一个 person 所以是不是我们还是可以选他对吧 OK 主要就是看目的我觉得太有意思了你们两个的讨论我都插不上话我还是想插一个我自己特别关心的问题

刚才就是在你们的讨论中不时的闪现但是我都抓不住了既然讨论到了人的 value 就是说我们造这个东西要不要让它像一个人那么这个 value 的东西我想再进一步再深讨一下就是说人的 value 或者说人有没有什么就是说机器或者说 AI 是不能够超越人的地方因为刚开始回到就抓不到两个问题之前那个周老师提到 conscious 就是说

就是 intelligence 和 conscious 这两件事我们现在如果讨论 intelligence 的话就是说实现目标的手段就这个有各种方法这机器做的肯定好但是我们现在不确定呢就是他能不能产生自己的意识就是 conscious 就刚才魏老师说的人类完全没有必要自己作死但是这个你不排除机器他有自己的 conscious

让这种不可预知的事情给实现了他说这个问题其实是因为我一直在想一个事儿咱们假设这个 AI 它真的是享有人类的智能或者说它是在朝着一个类人类大脑的这种智能的方向在进步的话那么我其实

还是没有搞清楚这个到底什么是智能因为这个关键问题刚才朱老师也提到 intelligence 和 conscious 这个东西也没有什么答案我对技术不是很了解但我有点偏从哲学的层面上讲就是说我觉得两位老师应该

当然这个魏老师经常说自己偏文科那么物理主义者他是相信强人工智能会发生的对吧就是比如说像侯士达我们都很喜欢的这个侯士达到底相不相信人工智能我们再讨论就是说反正如果你是一个物理主义者呢他认为人就是一个物理性的存在你跟机器没有分别对吧那人能拥有的机器也能有咱们如果撤到一个哲学层面就是如果要是从身心二元论的角度来看就是笛卡尔的那个他

但是

但是刚才我提到侯志达我马上意识到不对是因为侯志达他是反对强人工智能不能相信他是认同人工智能是的所以其实很有意思他是一个物理主义者他觉得一切都可以用机器的方法推导出来但是他却强烈反对强人工智能他说机器学习生动学习都是你再怎么学你都是数据拟合就是算法实现的但人的大脑是不能够被算法穷

穷尽的机器不能够获得人类的智能一个重要的原因就是我们之后在讨论 GP 的时候也会提到人类可以发现戈德尔定理不完备定理但是一个基于算法的机器它就不能够发现戈德尔不完备定理因为它不能够完成自制这件事我觉得这一点就非常非常有意思所以我其实是想听听两位老师的想法就是说人类的智能有什么地方是 AI 没有办法达到的呢

我再插一个例子就是我为什么想问这个问题除了侯士达那件事还是因为我其实在咱们录音之前我刚看了一篇文章就是昨天就是三八妇女节的时候那个乔姆斯基 Trumsky 他在纽约时报发表了一篇这个文章就是说 GDPT 是什么人类进步的虚假承诺乔姆斯基大家应该都知道就是语言学大师乔帮主

但是因为他发明了这个四行文法然后用数学的方法表达了这种语言就是有一种语言的这个表达方法就是四行文法所以他就结束了大家之前还有什么二进制编程啊什么汇编语言等等等等他这篇文章其实他主要就是说拆 GDP 以及大家经常讨论的这些机器学习啊人工智能等等其实他给了三个词就是非道德

伪科学以及语言无能的这个很多争议这个如果大家想看推特上面基本爆炸了就大家都在各种讨论对对肯定但是乔姆斯基不管他本来就是个老愤青他经常就是这种特别有挑衅性的语言这个他是不管的他就会直接这么想他这篇文章很长但是我觉得里面有一点非常抓我他说为什么他是伪科学就是因为那种 machine learning 机器学习的支持者和爱好者那么机器学习它是

这个机器它是把一种

就是可能会有缺陷的东西纳入到他的这个技术中就像刚才魏老师说的就是 output 然后又变成他的 input 然后呢他就会降低我们的这个水平就整个这个推理或者说你的这个 input 的这个水位就会慢慢往下降而且他还提到一点很重要就是这个 machine learning 的东西呢就是觉得他的 output 是不需要解释的因为你刚才这个周老师提到一个 competence facts 还有一个这个 logic 对吧对 reasoning 对

他的意思就是说机器学习的这个优点就是说他在不需要解释的情况下他可以产生正确的科学的推测因为牛顿的这种万有引力的定律等等牛顿的这些东西都已经是 common sense 了嘛所以他就会在这种情况下他去产生正确的科学的推测

但是人类跟机器完全不同一点就是因为人类拥有像波普尔的这个伪科学就是说正伪正伪的这种思想就是说真正伟大的科学是一定能够正伪的就是那种你能够提出看起来非常不可能的理论但是它是能够被正伪的所有能够被正伪的东西才是真科学就是不能够被正伪的是伪科学我的意思是说

这种就是能够思考和表达那种看似不可能但是它也许就能够被证明是这个 common sense 的东西是机器不具备的因为机器只能在现有的 common sense 下去进一步做出正确的推理不知道蒋明曼没有大概了解但我可能不一定太同意我先说说我的看法对对对朱老师先说说然后我再看来两位都不同意对

倒不是因为我觉得这个话题可能跟文理的讨论话题覆盖更贴切然后顺便是不是也说一个为将来的 GEB 做个小广告什么的好因为这个部分其实讨论起来很有意思其实小炮老师刚才说到 intelligence 其实我们刚才的定义是达到目标的能力就我是否有能力达到目标其实 consciousness 其实一般没有很好的定义因为大家很多时候都回避讨论这个问题

但有一些讨论说到 consciousness 其实是某种主观体验或者说是思维过程的主观体验就是意识小胖老师刚才用到意识这个词这两者是不一样的思维过程的主观体验逻辑上你只能确定自己有这就是为什么笛卡尔说我思故我在因为只有我在思考并且我意识到这个主观体验这个思考过程的时候我才确定我有意识

但是我看到的所有别的东西尽管它看上去像我或者看上去像我一样的人但它可能是伪装的它内核是没有意识的是有可能的所以从哲学角度来说人其实是无法判别任何其他除了我之外的东西有没有意识的刚才小跑老师似乎的暗示是说机器好像不可能有意识

但这个就进入一个某种不可知的角度就是机器能够完成就刚才讨论的图灵测试其实代表的是它的 intelligence 它的完成某些目标或完成某些任务的能力和人类是能够已经抗衡或者类似吧就还不说远远超越人类但这个时候你是否能判定它有没有意识其实这个问题就进入不可知的角度因为像迪卡尔

对因为像笛卡尔一样就是刚中大脑我不能知道任何别的东西或别的实体有没有意识

但接下来的问题就是意识是否重要因为刚才有后一个结论我是不同意的就是说似乎小泡老师觉得说因为没有意识或者没有某种神奇的东西所以他就不能产生新的知识这个其实我不同意因为刚才威尔老师举的围棋就是一个典型的例子 AlphaGo 肯定没有意识吧我觉得这点大家猜测他没有意识可能比较容易达成一致他说他有意识比较难达成一致

AlphaGo highly likely 不太会有意识对吧因为它就是一个基于图像的局势判断再加上 Montecarlo Tree Search 简单来说就是这样一个东西它似乎应该我们想象中不太会有意识但是它能够产生新的知识或者说它能产生的奇谱或者说某些围棋的

在特定情况下应对可能超过人的当然我不下围棋可能威尔老师更有说服力因为在这个过程当中本质上是说我是否能形成 reasoning chain 就我能形成一个推理的链条一旦我有推理能力并且我能形成推理链条不断地在沿着这个推理链条探索

那么只要推理的结果是某种可验证的假设是比如说我创造个新的蛋白质然后你可以用电子显微镜来判断这个蛋白质的结构和我预测的一样不一样或者我假设我预测了一个某个微观材料的就是物理结构和物理性质然后你可以通过别的方式来验证的话只要能形成就是 reasoning chain

只要他的探索是结果是可以判断的在 AlphaGo 的例子当中其实他的结果判断是用下赢还下输这样一个二元的就能判断的话那么他就能创造出新的现在人类未知的东西这个是我很重要的判断从我作为一个技术人员的角度来说我非常 exciting 是我们真的第一次在

ChatGPT 这样的模型当中看到推理能力而这个推理能力通过简单的 prompt 能被人所用这一点是真正让我 exciting 的因为我们后面也可能会讨论到 ChatGPT 有很多问题对吧比如说它是个 blurred image of the web 但是

有很多的问题和缺点反而是可以用别的方式来弥补的因为乔老爷子我们很尊敬因为当年最早学 GNRP 各种什么 Policy Tagging 很多结构都是学老爷子的这个格式结构包括我们之前还有很多博士语言学博士来帮我们标注这个 Treebank 什么的但乔老爷子现在的观点我已经不太沟通了在我看来就是可能我是更功利主义的一个人就是我的哲学里面比较更功利主义一点

只要它能够达到相应的效果你其实不需要真的去猜测它背后是不是通过另外一条路径或者通过和我相同的路径它背后是否有和我一样的意识其实都不重要只要它在能力上能够达到这个效果我就 enjoy 它就可以这可能是我的观点就像当然说我想飞起来但我不一定要扇翅膀飞对吧就是我用喷气飞机飞也是飞只要飞了就好了

好吧当然这是我的看法对对我补充一点点然后听 Will 老师的讲解乔老爷子其实他的这个论点简单总结就是说这个 input 机器必须是拿现成的做 input 但是人类的 input 是可以 all of nothing 就像爱因斯坦一样我就想了一个黑洞然后我再证明它

人类的 input 不是 out of nothing 人类的 input 是把你其实也是有 input 生命前 20 年看过听过的东西都在做 pretraining 人类其实是花了 20 年 train 的一个 model 而可能现在的 language model 可能 maybe train 一个月吧两三周一个月就能 train 的差不多

就是人类大家想一下从小到大我眼睛里看到过的视觉的信息读过的文字这个量是非常大的其实它和 Chad GPT 的训练类比起来很接近都是你看过很多东西然后你可以不需要别的 additional 的前提你可以基于你以前看到过的东西你 create something new 因为你 create 的东西是你所有你以前输入里面没有的其实 Chad GPT 现在已经做到了这是我的看法好

魏老师来说说你的精彩观点这个问题其实这个哲学上来讲真的是一个怎么讲也不能叫老生常谈吧应该叫做永恒话题就是所谓意识的问题其实 consciousness 我觉得这个词本身好像跟这个话题不是那么相关但是 self-consciousness 可能就相关了也就是

也就是我们看到的 iRobot 里面的这个爱还有小泡老师应该也看到过就是侯士达老爷子后来还专门出了一本文集叫 The Mind's Eye 就是关于我这个想法现在我觉得哲学层面或者说至少老派的人比如说包括 Trumsky 这种人大家还都是比较相信说自我意识也就是爱这个概念

好像是人类独有的机器能不能产生我们确实不确定但是就像刚才朱老师说的那机器有没有产生你也不知道所以现在这个不可知论的角度当然这个话题真的就是聊不下去了但是从数学从哲学的角度包括逻辑学的角度最典型的就是所谓哥德尔不完全性定理所揭示的

就是说我们不一定讨论机器能不能产生爱这个概念那我们是不是可以讨论一些其他的机器有可能也做不到的事换句话说如果找到了一个其他的机器也做不到的事那我们就开心死了因为都还没有讨论到爱这个事就已经在前面把它拦住了

所以哥德尔不判全心定理它其实就是真正的从数学上证明了一个命题就是说连自然数这样的概念都不能够从一个 logical reasoning 的体系当中推导出来如果能推导出来它一定包含了一个不可证明的命题然后这个不可能证明的命题它在体系外也就是在人类智力层面知道它是真的但是在体系内它并不知道它真假

所以从这个角度来讲呢大概率认为说一个逻辑推理的体系比包含自然数的体系就差了那么一点点那这一点点能不能突破以及跟我们说的人工智能的关系是什么我觉得这个其实是个新话题因为人工智能现在越来越厉害了所以这个话题又被老生常谈的谈起来了

但是不管怎么说我觉得就像刚才我们说比如说侯士达他应该说是 highly impossible 相信人工智能能达到人类的智力就是因为大家都普遍在哲学层面上认为说类似于戈德尔不完全性定理这样的结论大概揭示了说一个基于逻辑推理的体系

并不能够达到人的这种智力能力那么其中万一要是人的智力能力或者说爱这个概念是包含在机器达不到的那一部分呢那其实就是机器就不能产生自我意识那如果不能产生自我意识的话这里边可能就会认为说那机器是不是有一些判断它就做不出来

比如说最典型的就像刚才小块老师说的也是很多人聊过的一个话题就是机器到底会不会犯错误或者说机器到底会不会明知一个错的东西仍然向前努力然后像人那样就是最后成功了或者说像尤瓦尔克拉利说的那样就是智人的核心能力是虚构那就像这样的一些特征 AI 到底能不能达成

我觉得这个问题是值得讨论的我倒是觉得像 Chomsky 说的这种就是老派的观点因为我自己也比较老所以就还是比较相信这种的但是我倒是很同意刚才朱老师说的因为我自己也是这种观点

就是你從效用主義的角度講你關心這些幹嘛眼看著人家都已經比你強很多了你還在說我這個概念是人類智力的榮光這有啥意義呢蒸汽機就是比你力量大 1000 倍大家就趕緊用就完了所以我覺得從效用主義的角度來講最後人就得指這個活了

对就是机器是否产生 consciousness 或者尤其是是否有 self consciousness 我觉得这个事就是我们人类天天以后靠着机器创造的极大丰富的物质的 UBI 天天躺在沙滩上我们就以后就永远聊这个话题没问题永远聊不完对吧但是机器养活我们所有的人就让我们每天聊这个事我觉得这倒是挺好的

所以我想的是我自己的哲学观点层面我还是确实比较相信说机器是不能产生 self consciousness 这件事可能也不是那么重要大概是这个意思吧我补充一下刚才说到各大不完备定律的话主要的问题出现在自制身上而自制的话其实它限制的是一个严格逻辑系统

就是说可能如果我们现在的人工智能是从符号主义作为基石然后往上推演的话可能会有这个限制就是说它就因为自制因为各大不完备定律所以如果从符号主义出发它可能还达不到 consciousness 但是其实刚才说了现在是从连接主义出发的

而且现在这个系统其实不是一个纯粹像欧几里德几何原本一样就从几个定理开始推推推推然后发现有些东西我就在这个体系当中就无法判断了

现在的模式反而是刚才说的连接主义或者向量主义的我把所有的东西都见过了我的判断能力我见过的很多东西和人是等量奇观的所以在这个里面它比较容易跳出纯从符号主义出发遇到的这种系统级的限制因为它的 input 和人的 input 一样所以它产生的判断很可能和人也差不太多

遇到那些自治的问题的时候他其实通过全球的数据已经跳过了这一趴从跳过了这个系统的 boundary 跳过了这一趴已经达到了能够对这些问题做判断的一个点这可能是从某一个角度来说一下第二个我其实倒不是说 consciousness 一定是不可知的关键看我们怎么定义如果我们从外部行为来定义 consciousness 的话其实就很容易 fake

我举个例子就是假设我做一个小的机器狗它就每天就乱爬然后只要它电量低于多少的时候它就走回去充电

如果你从外部行为角度来说你说它有 self consciousness 吗 I don't know 我觉得说不定也有啊就是看我们定义是什么它好像很关注自己的电量对吧然后一旦觉得电量不行了它就赶紧回去充电我家养的这颗鸡是一个活的颗鸡我发现颗鸡其实也挺笨的就是它的外在行为和这些机械狗我能想象就是我稍微机械狗编程一下它表现出外在行为和科技也差不多

科技有没有 self consciousness 呢就是另外一个话题我觉得我作为养狗我其实觉得他应该是懂一点东西的尤其是有时候看着他眼睛他给我一个 hug 还是很有我是绝对相信的我也养狗对还是很有那种治愈性的所以在这种情况下就是怎么度量 self consciousness 其实很关键就是如果是通过外在行为的话很多东西都能通过包括猫娃狗甚至一些机器人

但这是否又达到我们讨论的 self conscious 那个人类荣光的高度呢又似乎不到这是一点然后说到刚才机器的行为它是否比如说就算不断犯错它会不断改进其实 actually 我们现在比如说如果大家看抖音吧

就是你看个短视频平台它的推荐就是在不断的推测遇到犯错它就下次试图做得更好一点以至于现在全人类基本都被它拿捏了机器现在的就是大家平时遇到的这些机器学习算法就已经坚定的在做这种犯错努力改进然后达到目标这样一个过程这个过程而且体现出效果已经是非常 powerful 的

最后说到虚构 Chad Gipps 一个最大的被人诟病的点就是 Holos native 对吧他常常虚构一些不存在任何已知数据上的东西你可以说他是创意或艺术性从某种角度来说从另一个角度来说是他瞎掰这看了就是因为有些人你可能觉得他产生了从来没出现过的东西这叫创意我们更愿意称之他为创意但其实他和瞎掰也没有

本质区别其实主要看我们觉得什么东西有 value 和这个 value 相近呢就是创意和这个 value 不相近呢就是下败了好吧我再补充这几点嗯好好抱歉抱歉我发现我把大家引到一个就是这个东西越讨论越深的问题上了我再拉回来没事我再回应一两句呃魏老师补充嗯

对对对因为这个问题确实很有意思今天肯定讨论不完但是我是觉得所谓 consciousness 或者 self-consciousness 其实恰恰就是要违背刚才朱老师说的这种现象才能够叫 consciousness

比如说一个机器狗它电量低了以后它就会回去充电那这其实是一个 program 的一个行为有一天机器狗知道自己电量不足但是我就不回去充电那才叫 self consciousness 所以实际上这才是我们说的人类的特征因为你会看到人类具备的所谓 self consciousness 其实它核心的表征是在这里比如说我明明没钱了我也不想出去干活

或者我明知道这是错的我就要去尝试这件事情跟 program 的东西不一样如果你说我给一个机器狗编程说有 20%的机器狗在没电的时候也不回去充那这也不是他们的选择

他们的选择应该是被你编成了 80%没电就回去充的那些狗里边又产生了不肯回去充的这个才是我们所定义的所谓 self consciousness 这是第一个点第二个点是说瞎说八道这件事情并不是人类的特征

就尤瓦爾赫拉利說的是相信別人的瞎說八道才是人類的特徵所以換句話說 chat GPT 胡扯那些東西並不代表 chat GPT 是人但是如果世界上有五億人看了 chat GPT 胡扯的那些東西卻相信了然後成立了一個新的宗教恰恰證明他們是人因為

另外搞出 5 亿个 chat GPT 他们大概率可能是干的另一头然后他们其实是不相信那个 chat GPT 胡说的所以其实最后还是要回到那个概念就是我们是怎么定义所谓的 consciousness 它从行为主义的角度从逻辑主义的角度其实都恰恰定义不了这就是我们刚才说的如果你讲这三个人工智能流派三位一体的话那么

确实从连接主义的角度讲,我们必须承认能够产生 consciousness 的可能性,是因为大脑,我们大概率相信它就是这样的,但是从符号主义和行为主义是不能够导出一个个体,有 consciousness 还是没有的。

我觉得这是问题的关键好非常赞同我稍微补充一句因为刚才 Will 老师用了一个很有意思的词是 program 而且 Will 老师说这句话的时候其实是知道这只机械狗是我写的程序的结果这其实是一个很关键的点就是

很多的利润是因为您知道这是我写的程序我 program 了所以它就不叫 consciousness 我自己的感觉就是一些很多动物包括人类有非常多的习惯其实都是不合理不理性的就是行为经济学里面会提很多前向理论什么都是大部分都是人类在几十万年的演化过程当中

放在基因里面被 encoding 进去的这个 encoding 你说是 program 吗其实从某种角度上来说也是 program 它只是不是被某一个程序员 program 的它是被大自然用遗传算法来 program 的

所以很多你如果看动物的行为其实大部分动物不是真的那么拧巴说你觉得我应该睡觉我就偏不睡觉也不至于大部分动物都是饿了吃饭渴了喝水就是春天了需要找女朋友就是大部分动物的 consciousness 或者 self consciousness 都是被自然 program 的

所以我的 program 和一个程序员的 program 和一个自然的遗传算法的 program 有本质区别吗这可能是另一个讨论的角度我可能从一个技术人员角度来说可能没那么浪漫就是觉得这些是没有区别的好吧这大概是我的一个简单的回复我觉得这个话题太有意思我觉得我必须要再把周老师

邀请回来我们继续往下讨论这个问题这个确实也是我自己很喜欢讨论的问题虽然这个从实用主义来讲没什么用途但是我觉得今后就是 AI 必实现大家 UBI 的情况下人类必须要只能去思考这些问题了因为这还牵涉到一个刚才阮老师其实提到的另外一个点就是我们所有的行为

如果你说它是有一个起因的话那你也可以说它饿了是因为胃给你发了个信号你的多巴胺什么这个胺那个胺然后就共同作用这些东西都是可以这个模拟或者说把它变成一个程序写出来那这又牵涉到侯士达的另一本书叫 I'm a strange loop 那这个就长了所以我呵呵

我想把话题打回来我们今天的时间也比较有限今天有点离题万里了对对不好意思但没关系我就是因为今天离题了所以我必须要把朱老师再请来一次因为我们下面还有很多很多的问题还没有讨论到可能要分下一期讨论所以那我今天就卡到这里我最后的两位老师一个小问题就是说那两位老师觉得人可以从 chat gtp 上或者是这一次的这个 AI 的飞速基本上我们可以学到什么呢

就是说如何改进我们自己的工作或者说你从 AI 上学到了什么东西呢这是一个小问题好 我试图回答一下我最近其实有一个比较奇怪的想法因为我最近会在教我儿子数学物理这些东西就我时不时的在教课的过程中会发现我的很多动作和 machine learning 算法很像

我举个例子比如说我给他上物理我会给他放一个教学的 video 我的有时候动作会说我看到老师讲这句的时候我会啪暂停一下我让我儿子猜说后面这个老师想讲啥其实这个方式大家想一想其实和 big language model training 的时候是很像的就是我只给他看前面让他猜后面我后来发现这个效果很好因为否则如果直接放下去的话他就像听个说书一样就听了可能也没有想过

但我一旦在某个地方停住然后让他想后面会是什么不管他想对了增加他的信心想错了会想想说为什么你看前面的铺垫就是告诉你这个实验要控制变量对吧你接下来实验设计就控制变量这就把这几个字说出来

我觉得对于训练我儿子作为一个就训练我儿子来说好像有些帮助包括 chain of thought 也是就是 system 1 和 system 2 里边就是我儿子我自己会观察到他很多时候会偏向用 system 1 快速给答案

但我常常会给他加个 prompt 就是 let's think step by step 就是你一步步给我想一下然后他的正确率就真的提高了我时不时也会给他一些 prompt 说你控制一下你的 system 1 的冲动用 system 2 给我好好地想一想其实这个其实好像也和人工智能训练也比较像我想起我以前看 Ray Dalio 的书也给我一个感觉从我的角度来看就是 Ray Dalio 原来 Ray Dalio 感觉是个程序员他基本上就是说人是可以不断改进的

你需要不斷總結出一些 principle 在我們的行業當中就叫算法並且堅定地踐行這些 principle 你不能在一些實際情況下當中就一會換算法了對吧就是臨時高興又換一個結論說我跳過這個算法我直接給個答案

然后不断的审视这些 principle 在自己生活当中得失然后改进践行形成一个循环简单来说这就是一个 machine learning 算法大部分简单的 machine learning 算法直白 machine learning 算法都是这样的为什么我要大数据就是我要生命精力更多精力更多的得失然后不断践行来看自己这些 principle 是不是可以

所以反而把这几个连在一起的话我自己的感觉就是提高我儿子或者提高我自己其实可能应该更学习一下 machine learning 算法吧其实可以从算法当中学会很多人应该怎么学习好吧把自己按照像这个机器人一样训练对对 Ray Dalio 就周老师提到这一点确实是 Ray Dalio 就是一个特别典型的把这个 machine learning 算法用在自己身上的人对而且他也告诉我们就是效果还不错这个

这个值得讨论就是可能对自己的人生这个经历是有用但是对他自己的 portfolio 上应该是值得也可以有讨论的魏老师呢对对对我回应这个话题总结一下前面聊到过的一个事不过在此之前还是插一句刚才那个话题的一个小回应我以前曾经录过一个播客

是跟 slightly open 交流的就是说我觉得人有一个特性或者说生物体有一个特性就是他除了有智力或者有 nerve 神经体系之外他还有 chemistry

也就是激素这个东西对人的智力有什么影响呢其实跟我们刚才说的不管是虚构啊还是犯错啊等等这些其实很可能都有关系但 chemistry 对于 intelligence 的影响其实我觉得是一个没有被充分讨论过的话题我当时提出来一个问题就是说如果人工智能想要达到所谓人类的智力或者思想或者 consciousness 的话它是不是应该有 chemistry 在里面

如果没有的话它是否真的就永远不能达到人的

这种基于生物本征的 intelligence 呢所以我倒是觉得这个话题以后可以讨论了也许咱们将来专门可以聊一起基于这个点我倒是觉得其实可能拿小动物比拟都不行就必须得把龟鸡和炭鸡放在一起比拟龟鸡和炭鸡放在一起比拟你就会发现一个最关键的点就是龟鸡生命有 chemistry 如果有那是什么东西

如果没有那他是不是就跟人不一样这个话题我觉得以后可以聊就作为对刚才那个话题的一个回应对非常有意思 Mark 然后我回答小宝老师刚才那个问题其实我自己有一个挺深的感悟上次聊的时候正好给忘记了没聊到就是我觉得当我们把人工智能作为工具的话我们就从效益主义角度来讲就是

对于我们自己有什么改进或者促进我觉得是一个工具使用范式方面的改进我想用两个对比的词在蒸汽机时代或者在其他类工具的时代的时候这些工具对我们的意义往往是使得我们获得了 extension

就是扩展就比如蒸汽机代替了我们的手脚但它比我们的手脚力量更大然后我们坐飞机坐轮船实际上替代了我们的双腿让我们走了更远所以这些工具它实际上都把我们的能力做了大大的 extension 就是扩张但是 AI 出现的时候我觉得可能会有另一个范式出现叫做 separation 就是分离

这个上次我们聊过你以前写一个报告或者你以前画一个画或者你以前做任何 intelligence 层面的工作的时候你是一整个流程从你开始接触到这个到最终的输出所有的东西都是你大脑完成的所以是一个完整的一个过程但是有了 ChatGPT 的时候就不一样了你会发现很多 intelligence 层面的东西由他做比你做的更好

所以我们上次聊到过说有 prompt engineer 这样的人他们其实就是我 intelligence 这个层面我不做了但是我能够擅长于给 chat gpt 更好的 prompt 然后它出来更好的结果然后这个结果我再去做 value 的判断或者再去做审美的判断所以你就会发现我们把自己整个的行为或者思维的过程打断了

分成了几段然后这几段里边可能有一段或者两段会交给 AI 去做所以我觉得就是对于工具的使用上将会出现一个从 extension 到 separation 的这么一个模式的转换当然这个模式的转换目前看仅限于 intelligence 这个层面的

工具的使用所以我觉得这件事其实是对我们未来是一个重大的一个突破和要求我们自己进步的这样一个重要的方向就是你要能够给自己的原来一个连贯的统一的思维过程去做 separation 然后把其中一两段扔给

AI 然后你是从开头到结尾是那个中间串起来这些 segment 的那个人从这个角度来讲我觉得才能适应未来 AI 到来时代的这个发展大概就说这么个想法我觉得非常棒最后这个问题没想到其实也挺深刻的我觉得把两位老师的这个回答总结一下一个是从用 deep learning 就是用这个 machine training 的方法来 train 自己

再加上一个 separation 我觉得其实这个也许大家如果从 AI 上学到这两点或是用这些东西更提高自己的话可能就会真的能达到尼采所说的一个 Superman 的状态因为尼采就是把这个人的进化分成猴人就是基于猴和超人 Superman 之间的一个环节我最近越来越觉得

尼采超人这个概念越来越像 AGI 其实超人就是你能够清楚地意识到如何构建自己的意志如何从自己的欲望中得到价值观然后如何把自己变成一个按照这个设定下的这个目标来实现特定目标的人所以超人就是这么一个完全可以自己访问自己大脑意识然后构建自己的价值体系然后训练自己变成一个那个状态的人

我觉得这个可能真的是人类如果说不想完全躺平那么下一个进化的方向应该是变成尼采的这个 Superman 好那今天的讨论非常非常有意思我觉得真的是意犹未尽那这次讨论肯定还没有结束我估计还有下一期才能把我们下面的这些点都讨论的很完整好的好的嗯好那两位老师还有补充吗

没有了没有了非常感谢非常感谢感谢感谢感谢朱老师感谢小胖非常感谢感谢两位今天是我第一次录播客非常有意思是一个很有意思的体验原来是朱老师的处女座我们会再一次把你邀请过来没问题好谢谢两位老师谢谢大家那我们下次再见好谢谢下次再见好的拜拜谢谢拜拜拜拜