关于AI第四次讨论：GPT-4、RLHF、OpenAI插件、和未来产业发展的可能性
01:38:55 Share

大家好,节目开始前,我想先插播一条小通知,文灵俩开花终于要和大家线下见面了。初次见面我们特别选在了香港 Web3 Festival 的盛大节日期间,在香港中环的一个地标建筑百年冰教一岁会,也就是 French Vault 里面和大家相聚畅聊。

4 月 15 号下午,Will 老师和我会和大家一起回顾过去一年做文理播客的心得和幕后故事,一起畅聊一下我们的未来规划,包括即将出版的书,未来的节目和社区规划。我们还会现场录制一场播客节目,聊一聊 Web3,AI,科技,金融和我们的未来。当然啦,还有不现实,不现题目的 Q&A。

我们还为大家准备了我自己著名的滞销书和藏书票套装礼盒送给幸运的听友们详细活动信息请见我们置顶在小宇宙节目主页上的通知或者前往文理两开花公众号查看那么 4 月 15 日我们香港见啦

听众朋友们大家好欢迎来到新一期的文迪两开花我们今天非常高兴又请到了反场呼声非常高的朱老师因为上次跟朱老师聊了一期 AI 相关的话题受到大家热烈的欢迎所以今天又把朱老师拉了回来在他百忙之中拉了回来刚才朱老师才刚刚下了另外一个会

但是不管了还是文脸两开花的听友们比较重要所以今天我们聊的话题非常非常有意思我已经是迫不及待了具体我们上次聊 AI 到现在其实这个话题的热度完全没有减弱我感觉现在每天都是生产力革命然后人类社会和科技史上就每天都在向前奔跑都是加速度的奔跑每天我已经跟着上气不接下气了

所以今天和周老师聊一个非常有意思也是近期的 AI 的一些最新的进展吧包括我们今天会讨论 GPT-4 然后 OpenAI 的插件的发布所谓的新的 iPhone 时刻是不是真的到来了还有大家最关心的一些最近的一些重大的变化会对未来我们创业或者说产业发展的可能性会有什么重大的影响因为毕竟这个方向还是大家最关注的

那所以呢我们这个节目本来是一个邀请周老师的一个特别嘉宾版的讨论现在变成了 AI 枪枪三人行我们有个听友也是我们的朋友我觉得他有句话说得特别好他说其实 web3 AI 也是两开花因为我们这播客要改名了好我就不啰嗦了话不多说我们赶紧请两位大咖赶紧跟我们再聊一聊 AI 我自己已经很期待了

那我们今天呢聊的这几个话题我们先从这个 GPT-4 开始吧因为 GPT-4 呢也是大家非常非常期待的可以说是期待很久甚至是全球这个万众瞩目级的这么一个发布但是说实话我也是挺期待然后还发布之后我到处看就是包括微软的视频然后 GPT-4 的一些 YouTube 的视频等等但是我好像感觉

不是那种地动山摇的感觉但当然了也许是大家现在每天都在经历人类的这个群星灿烂时刻有点震麻了

所以今天想跟两位老师先聊一下这个 Four 其实前两天我听了那个 Sam Altman 和 Lex Friedman 就是大家可能很熟悉的一个也是一个播客的博主他们两个的一个长达两个半小时的对话在这个对话的开篇就提到了这个 GPT-4 这个因为它毕竟是去年夏天就已经完成了但是一直没有发布

然后我就一直在看我看过这个 Sam 他好几个场合的发言他每次提到 GDP4 的时候他都在试图降低大家的这个期望值然后说我们很谨慎啦我们要保证细节到位啊大家不要过度期待啊等等等等

所以里面有个问题 Lex 问他就是什么是 GPT 你给我概括一下它到底是什么然后这个 Sam 就用了一个百年孤独体说了一段话就说多年以后我们再回过头来看 GPT 包括现在最新的 GPT-4 我们会把它定义成就是一个非常非常早期的人工智能它很慢有很多的 bug 然后很多事都做得不太靠谱

但是我们人类早期的计算机也是这样啊所以呢它是其实这个技术是给我们指了一条路这条路呢会推广我们生活中之后大家可能意想不到的一些重大变化但是呢有可能会花很长的时间我们才能慢慢演变出来就是一个小小的开场吧

那么先请两位老师评价一下 GPT-4 然后他们给你们有什么震撼就先概括的评价一下然后后面我会从他的这个多摩泰亚参数什么的来分别讨论一下那周老师先来好那我说一个感觉吧就是其实我可能和小跑老师看的感觉不一样就是看到 GPT-4 的那个发布视频以及他很快就发了一篇 paper 就发了个 technical report

这个技术报告里边大概 100 多页其实那天晚上我就熬夜把它看了还是很震撼的有几个震撼点

第一個就是如果說地動山搖的話在我看來是地動山搖的第一個是讓我感覺地動山搖的點其實是它的 formal reasoning 就是嚴肅推理能力大幅提高裡面有一張表格非常震撼就是它基本上樹立化成幾個各種考 GIE 啊大學課程危機分法律考試都能進入人類前十這個基本上以前很難想像

就是这些考试的最大的难点就是你需要真的是能够想好你的答案是怎么答的然后一步一步严丝合缝才能答的很好

这个其实是非常厉害的就这张图基本上秒杀了现在很多东西所以这个是我觉得从效果上来说地动山摇虽然他当时的 demo 还有一些更 fancy 的 demo 什么写代码或者之类的但那些其实远没有这张图给我的冲击力大然后技术上也有两个很可圈可点的地方一个是他对大模型就是训练的时候的预测做得非常好

大家之前开玩笑说大模型训练叫炼丹对吧就是你也不知道到底哪些 ingredient 会 work 然后就把一些东西放在里边烧一烧万一烧出金丹来但是这次 OpenAI 在一上来这段就写说我们怎么科学炼丹就我只用千分之一到万分之一的计算就能预测训练完之后模型的 performance 而且符合的非常好

这基本上非常厉害了就是相当于是我只用非常少的计算量就能把 1000 倍或 10000 倍的计算之后达到的效果估计好而这个可以是非常好的指导大模型应该往哪迭代这个其实是我觉得是在技术上是很突破性的第二个可能技术上我自己觉得也很震撼的地方是可能不是在大家最容易看到的地方是它最后的 system card 里边它讲它怎么做安全性里边有个很有意思的点是

GPD-4 的很多安全性是拿 GPD-4 自己来训练的就相当于它要让 GPD-4 更加符合人类的要求它用另外一个 GPD-4 的 instance 告诉它说 OK 这些叫安全这些要避免安全有几个角度然后拿那些 GPD-4 在这些 prompt 下 Zero-shot 的结果来训练这个 GPD-4 整体变好

其实有另外一个工作就是之前 OpenAI 出去的一些人他们搞了个 startup 叫 entropyentropy 他们其实也发过一篇 paper 叫 constitutional AI 他基本上就说我们的 AI 不是 reinforcement learning by human feedback 我们是 reinforcement learning by AI feedback 怎么做呢他是说我给 AI 模型写几条宪法

然后当 AI 模型被用 ZeroShot 用这几条宪法规定之后它就自然能够更好地指导 AI 模型来 reinforcement learning 一旦它能够自己规范自己自己 align 自己的时候这是很厉害的所以大概我简单说一下 GP4 那天晚上我有三个冲击第一个冲击是

formal reasoning 大幅提高,数力化特别厉害各种大学课程能达到人类前 10%第二个科学链丹就是能用非常少的计算量来预测非常大量链丹和计算之后的效果而且符合的非常好第三个是其实我们能看到一些端倪就是以后的 reinforcement learning 不一定强化学习不一定是要通过人的反馈

通过机器的返回可以大幅的增加强化学习的效率这其实是都是很有突破性的吧我大概简单先说到这儿哇果然内行和外行的感觉不一样我是很震撼但是我是被那个 Microsoft 那个自动生成网站那个 feature 给震撼住了但非常非常有意思这几个点其实后面我都会具体的有一些问题问两位老师好那 Vale 老师觉得对 GPT-4 的感觉是什么

OK 刚才朱老师已经说了很详细的一些底层的一些逻辑了因为确实那篇文章像我是肯定看不了了因为太长了就是涉及太多技术细节一百多天对对对可以用 chat pdf 啊

对只能抽一些 guideline 了然后抽完了之后那估计跟朱老师刚才总结的应该差不多我猜测应该是这样我自己的感觉其实还是看重它的一些效果就是除了这些底层之外我觉得直观的感觉还是对于多模态的成果我觉得还是

感觉比较深的因为其实咱们以前聊过这个问题就是最早咱们聊 AI 的时候就说到其实当初从这个 Tension 这套模型其实最早从图形过来结果转到了语言文本的生成

然后现在果不其然又回到了图形也就是说不光是语言文字包括图形甚至包括视频甚至将来有可能或者说已经在发生了比如说音频对吧所有的这些东西的理解现在看来其实在 GPC4 这个 level 都已经基本实现或者快能达到了我觉得

这件事确实有可能是它能够达到人类智能的一个下一个阶段因为单纯的文字的话确实可能还有各种人去质疑它就像那个我们都知道那个著名的人工智能学家对吧我们应该是叫了困吧他就经常老出这些歪题说这个 GPT 这个也答不出来那个也答不出来那其实现在来看这个东西的逻辑慢慢慢慢的

很难去 challenge 说 GPT 在这个通向 AGI 的过程当中还有什么坎儿它一定迈不过去的我觉得这个感觉 GPT-4 还是比较明显的对对对这是第一个点吧然后第二个点我觉得其实跟它这个 GPT-4 的这个模型的规模我觉得还是有直接的关系就是像比如刚才朱老师说的这个 formal reasoning 的这些能力

那你说他的这些能力 Fall 比 3.5 为什么会强那么多呢目前在可理解的状况下看大致上还是认为应该是模型的规模又增大了就是从这个应该 1751 变成了这次是多少 4750 还是多少数字有点记不住了不是什么 1000 亿吗

对啊就是 1750 亿变成了多少 4750 还是多少 100 万亿忘了是参数对对对就是参数的个数对所以我觉得从这个角度讲就是模拟人脑结构的这个逻辑看来是不是确实已经达到了一个模拟人脑

足够量的一个逻辑了因为其实回到咱们上次聊的话题就是当初这个大家不知道有没有记得那个有一本书叫《皇帝心脑》就是他对彭罗斯的他其实也是彭罗斯的对吧逻辑彭罗斯对跟当初上次我们说的侯士达一样就是说他其实是一个不相信人工智能的就是他是皇帝心脑这个词其实就是一个对人工智能的讽刺用皇帝心意来讽刺人工智能

达到的那个效果那现在看来就是我觉得 GPT-4 的这个 level 应该就是突破了

像彭洛斯这样的对人工智能有所怀疑的这样子的一个论点就是是不是达到了真的能够完全模拟人脑的这种运行机制了至于它底层的运行机制是什么呢我倒是觉得刚才朱老师说的这个点很有意思就是以往大家神经网络这一派确实最大的问题就是反正我把它扔进去出来啥结果我也不知道也没法预测所以

虽然是结构上模拟了人脑但是它不像人脑那样有一个学习的曲线说我就知道说你就这么学它将来一定就会那样但是现在看来这一点上也被 GPT-4 应该说有所突破了那就是说我们真的是把它当成一个人脑嘛那就是我们把它当成一个小孩那样训练训练然后它就长成大人了就回到我们上次说的这个问题所以这几个点我觉得确实还是跟

就是和多模态和这个参数就是模型的规模这两个点我觉得还是紧密相关的对好非常赞同我可以补充一点因为我觉得吴耀老师刚才说的也很对就是我其实忘记了一个就是因为太多震撼了他第一次能够看一些梗图然后能够清晰的解释笑点在哪里这个其实非常厉害的这个里边体现的是什么体现的其实多模态只是让他

输入能够输入更多种的东西了但 GP4 非常强大的推理能力能够得到说哪些东西是不符合常识的所以它是梗图的笑点这个其实是它能够把整个感知能力和

推理结合在一起它能够形成这样的就是对其实之前如果我们看科幻电影发现说如果一个人工智能生命体能够对笑话笑了大家都觉得这是一个重大突破就是发现这个智能体成了

现在其实基本上也如果只拿是不是会发笑或者是不是看得懂笑话来说这已经厉害了大概是这样从规模角度来说其实有很多猜测之前有一个猜测说大概什么 100 万亿那个肯定不太对啊 100T 肯定不对哦 那是猜测

对那个是猜测那个猜测来源其实那个 Lex Friedman 在他的对对我也看到了 podcast 里也说了就是一开始他是想把人脑的神经元的个数和参数个数对应一下如果对应一下的话大概在 100T 这个量级下所以他就问说如果要训个 100T 参数的

神经网络大概要多少钱还是多少能力然后大家就以讹传为一传就说 GPD-4 就是 100T 了我们现在大家的猜测大概是在 500 个 billion 到 1T 之间就说原本是 175 个 billion 就是 1750 亿现在我们一般大家现在的猜测大概是在 5000 亿到 1 万亿大概在这个量级下吧规模也是大幅上升规模也是大幅上升对

就说到这个梗我想进一步问两位老师这太有意思了我想问参数的问题但我先 call back 那个梗图就是我觉得它不只是能够解释这个梗图这个梗点在哪它自己还能生成就是梗我就看两个就是有两个人在测试嘛就是他问了一个问题就是说这个香蕉从楼梯上摔下来会变成什么他说变成茄子

就是 eggplant 因为摔肿了嘛就是又摔子了又摔肿了然后又问他就是如果川普摔倒了之后会变成什么就特朗普特朗普如果摔了一跤会变成什么会变成指头因为那个川普如果那个他那个 P 摔倒了不就变成 B 了吗就是那个 thumb 就是手指的那个单词然后他自己还能做梗我就觉得天哪真有意思

然后刚那个参数的问题我就很想问两位老师就是我确实是今天跟朱老师聊天我不知道他有多少个参数我其实一直以为是一百万亿个参数对这个是猜的就 ET 也是猜的但估计上可能比较接近对因为刚才朱老师提到那个梗呢其实就是不知道两位老师见过那个魔音图嘛就是前一段时间到处流传那个魔音图就是它一个

那个图上一个巨大的紫色的大圆圈和旁边有个小点这个模拟图就叫这个 big circle small circle 它的这个意思就是说 GPT-3 就是一个小点才 1751 个参数然后旁边那个巨大的紫色的大圈它说是 GPT-4 的这个参数一共有 100 万亿个参数

然后这张图其实我看过好几次了推特上各种疯传然后后面这个网络上就流传无数说什么 GPT-4 的参数比什么天空上的星星还多什么沙滩上的沙粒还多然后说我们 GPT-4 训练的参数比 ChaiGP 高什么三个数量级然后 ChaiGP 只是开胃小菜 GPT-4 面前就是弱智了

然后甚至还出现了一个漫画就一家子机器人在一个博物馆里看一幅画然后那个画上就是一条推特这幅漫画的题目叫做人类文明最后的发言痕迹就是 The Last Tweet of Humanity 那条推就写的是 GV5 isn't that impressive 就是说 GV5 也没有什么了不起吧然后这个就是人类说的最后一句话了

就这样图呢确实它的来源我也是看了那个 Freedman 他的那个 show 他说得很清楚他说这个是来自我的在 YouTube 上给大家讲这个 XGP3 的时候的一个截图我不知道哪个媒体的人就把这个图给截了然后到处流传其实我当时说的意思是我是把那个 GDP3 就是参数的这个局限性给大家讲一下然后以及我预测一下它的发展方向

就说人类的大脑跟他相比有多少个维 CG 末梢啊等等 GDP3 之后下一个可能的进展所以他就在那个 YouTube 上他就说其实我当初不应该在下边写 GDP4 我应该写 GDPn 就是我不知道是第几代他就会达到这个参数但他不一定是 GDP4

所以这个网上就到处断章起义嘛我就很想问这个两位老师这个参数它到底有多重要呢或者说我们真的很快比如 GDP-5 我们就能看到真的是一百万一个参数嘛然后那个时候人类是不是就真的变成博物馆里的那幅画了就变成一条推了那周老师先好我试着解答一下就第一个是参数很重要

就刚才说到 GP4 它的那个 technical paper 里面讲了它怎么科学链担的对吧科学链担它非常依赖的一个东西叫做 scaling lawscaling law 基本上就是讲一条是 log 指数的你的计算量

一条是我的 log 的 loss 基本上就是我的训练误差基本上就是随着指数递增的训练量你的训练误差就能单调下降就是线性的下降这是 scaling law 很关键的东西然后在 scaling law 里边其实有好几个篇 paper 都讨论过包括 openAI 的 paper 和 deepmind 的 paper 都讨论过大的原则就是说

要让整体的训练的 loss 下降我需要模型的 size 增加并且训练数据等比增加虽然这两个配合有一个比例不太一样一个是 1 比 3 一个是 1 比 1 但没关系基本上就相当于告诉你这两个要正向同向的增加那么我整体的训练误差就能不断下降这是大概

规模的重要性吧就是可能规模就是很重要的大概是这样我简单说一下 OK 这个问题刚才小豹老师说的这好几个点我都想回应一下我先说一下那个梗图因为我当时看到这个梗图之后第一时间就写了一个小段子就是因为那个梗图不是说的是 GPT-5 is not so impressive 对吧所以我当时就写了一个小段子我说

Yes, we are not impressed, we are just surprised 我们直接挂了我们确实没对他产生很深的印象我们是被镇压了然后我就发了一个推就是写的这个因为人类 less twitter 那就说明人类被镇压了所以就是你还没来得及产生印象你已经没了 OK OK 这是个梗

说到模型参数的问题我倒是想说两个点第一个是我从纯数学的角度来分析其实一个系统可以容纳的信息总量它其实是有一个总值的这个就有点像相能信息论的关于信道的总容量一样或者说我们原来聊过的信息和信息商

也就是说其实从某种意义上从数学角度来讲模型的参数和它输入的数据其实共同构成了整体的数据空间它们的总信息量或者总商我认为应该是相同的从数学的角度来讲其实是可以证明的但我们就不讨论详细信息了然后就说到说我们现在的计算机体系其实就是所谓冯诺伊曼体系

其实指令或者结构跟数据是一样都是被数据存储的所以从这个角度来看我们可以认为某种意义上模型的参数量大其实就表示输入的数据量小仍然可以得到对应的结果这其实就是现在 ChatGPT 给我们展现的经验的地方所以从这个角度来讲其实

扩大模型绝对是一个有效的方案而且它的高效之处在于模型的参数是被固化的因为输入的数据是可以不断的变的你有无数的 GRE 托付题可以输入进去但是它关于语言关于数学的逻辑的模型参数被固化以后它其实就是一个高效的固化了知识的这么一个逻辑

所以有时候我们觉得说知识好像是外部输入的信息其实也不是知识就是我们的脑神经元它被固化成脑神经元的状态了其实就跟 GPT-4 的模型实际上是一样的

所以从这个角度来讲我觉得这点倒是不算是特别让人惊讶惊讶的呢还是类似刚才朱老师说的就是当你想你要造一台机器有一万个元件和有一万亿个元件这个机器的复杂度是完全不同的嘛就像我们说元素间的连接关系至少是平方级的

所以一万个元件的复杂度是一亿的话那一万亿个这个元件的复杂度就是一后边带四个亿然后各就这样的东西所以那这个机器它就会变得超级的不可控这实际上就是刚才咱们聊到的就是你这么去模拟的话你怎么知道你这个机器靠谱呢你怎么知道你这个机器造出来是按照你预期想象的那样一个逻辑在运转呢我觉得这个是最难的一点

所以从某种意义上来讲我倒是觉得这个等会儿可能会聊到下一个话题会聊到这个就是从某种意义上来讲我觉得 GPT-4 这种构建它确实还有很强大的工程和技术能力在里边它确实不是一个完全纯算法的问题

这个我觉得等会可以聊所以我觉得从某种意义上来讲其实大模型足够大就一定能够产生好的效果我觉得这个是正常的但是你能不能做出来这么一个大模型让它还正常的运转我觉得这个其实确实是难度是非常大的

非常有意思我补充一下好吗我补充一下刚才这个就是威尔老师用信息论和就是概率的角度来讨论这个系统的话其实很有道理的刚才的 scaling law 其实也是从某种角度上体现这一点相当于 scaling law 只是说当我模型变大训练数据变多的时候我对下一个字的预测就更准了就相当于是说我这个模型容量变大了更能承载这些东西了

但是我正好上周听了那个 Illya 就是 OpenAI 的 CTO 他有一次访谈他里面就进一步的讨论说如果我能够对下一个 word 就下一个词的预测变得更准它意味着什么这个观点还是我觉得挺深刻的我正好拿来就是借鉴一下就说一下他基本上说 predicting the next word is all you need 这是很有意思的很强的一个 statement 就很强的一句话就说

你智能说平时大家说智能推理在哪你如果能够把下一个词预测的非常好你就拥有了很强的能力这个大概是什么意思呢就是说他的一个观点是如果我们训练模型

能够非常精确的预测任一个文本的下一个词也就是刚才 Skelling Law 告诉我们模型变大一点训练数据变多一点它就能够更精确的预测下一个词那么这个模型就越来越好的掌握了一个叫做 World Model 就是世界模型大家之前会简单的理解包括我之前我觉得有一些观点也是比较浅层的就是说大家基本上觉得说大模型不就学的是词和词之间的浅层的统计关系就结束了这就是统计关系

但是如果更深刻的话就是如果模型能够预测得非常准那这个模型必须要能够更好地表示底层的深层这些文本的过程

而这些文本是这个世界的一个投影这句话说的可能有点绕但是就说当你要预测的很好你必须对世界有深刻理解在你不断的预测下一个词预测的特别好的时候你对世界的理解就越来越深刻这个世界是牵涉很多因素的当中人啊人的 condition 啊人的动机 motivation 人的相互交互 interaction

都需要考慮進去舉個例子就很有意思就是說假設我們在看一本本格偵探小說裏面有各種故事線啊信息啊然後場景然後最後一頁偵探把所有人都叫到一起說好真相只有一個兇手是哎下滑線這個時候如果模型能夠非常好的預測這下一個詞就是兇手的名字的話說明這模型真的讀懂了整本小說當中的所有的線索推理劇情邏輯

这其实是某种表示说如果你只要能把下一个词预测的很好你对这个世界的建模就很好但光建模不能用啊就可能我们后面可以讨论到 IoHF 就是说人工反馈的强化学习它其实是说当我有一个很好的对世界的表示之后我怎么让它变得对人有用

这是第二部分就是说当我能力很强就相当天赋很高我怎么教一下他让他能够适应社会适应环境适应人类的使用这是后面的部分所以刚才说到的就是小炮老师提到的就是模型的大小和复杂度其实现在基本上就相当于我们有个很清晰的看法就是当模型变得更大训练数据更多他预测下一个词就能变得更好当他预测下一个词变得更好他对世界的认知就更深刻

他能非常好的理解世界上生存这些数据或生存这些文本的底层的这些过程包括这些过程当中影响的人影响的人的条件他对世界有很好的建模大概我补充一下这个这个是我自己听完之后我也觉得认知上有些提升大概是这样

我觉得特有意思我正好想到了刚才这个周老师说这个世界模型的时候我突然间想到那个波尔赫斯那个巴别图书馆我不知道你们看过吗那本小说就波尔赫斯把就是他虚构了一个就是宇宙但是他把它叫图书馆就是说

整个世界的所有的知识或宇宙的知识它其实就是一个六边形的可以无限延展的可以 host 的人类所有 knowledge 的这么一个东西然后呢它其实是一个图书馆但是图书馆其实就是宇宙然后图书馆其实就是世界我觉得跟刚才这个周老师这个如果你能够准确预测人类所有的就是文本的话就是生成的模型那其实就跟世界模型差不多这个很有意思

但我马上就有个问题就是正好这个点我刚才想到一个问题我也想请教两位老师因为那个我看了微软的那个 paper 当然不是我看的我是用 chad pdf 看的就是他那个 paper 叫通用人工智能火花这个 gpt4 早期实验 sparkling 那个

对 Sparkling 那个然后它里边有一个特别有意思的地方它让这个 GP4 写一首诗这首诗呢它让它就是最后一句和第一句话的单词要相同但是顺序颠倒就相当于是比如说你一句话比如说 I heard his voice across the crowd

然后呢就我在人群中听到他的声音然后你给我写一首诗助教你随便发挥但是你后面的这个最后一句呢你要把这个整句话的这个单词呢从后往前给我拼一遍就可能不是刚才的那句话了但是你从后往前倒过来之后呢这句话依然要有意义就是说人类依然能够理解就是他让这个 AI 写这么一首诗但是这个 GDP4 呢写诗的时候他就写了刚才我说的那一句就 Hurt his voice across the crowd

然后呢他最后一句就直接把这个词前后数据就是颠倒了就是 crawl 什么 the crawls 就是他完全不是人类能够理解的这么一句话所以说这个 paper 里面就是说他说在这说明在 GDP4 在生成文本的时候他没有提前考虑到最后一句他只是

他只是在严格的预测下一个单词然后他里面就是说这件事就说明了预测下一个单词这个范式的局限性就是说依赖于生成下一个单词的这种贪心算法然后对任务和输出没有一个整体的了解就是全局性的深刻的理解这个跟好像还有很多局限性所以他最后生成那句话不能够让人类理解嘛

看到这一段的时候我马上想到了那个侯士达侯士达 G.E.B 的那本书的第一章就是他说那个螃蟹卡农那个螃蟹卡农就是但是他说的是音乐啊就是这一段演奏你从头演奏到尾和从尾演奏到头它听起来是一样的都是一个旋律然后呢他前言中就说嘛这个跟中文中的一个叫回文的东西很像回文就是两位老师可能都知道就是正着读和倒着读都是一样的句子有什么

这个夜落天落夜你倒过来也是夜落天落夜然后两边都有这个意思所以说我就突然想到了这个 GV 这个开头那么所以说刚才这个朱老师说的这个就是更准确的预测下一句话或者下一个字段的这种能力

那么他如果说按照这个 paper 里边举的这一段例子我不知道我理解对不对那他是不是跟人类的认知他还有一定的缺陷呢因为他没有办法全局的考虑他只是严格的按照生成下一个单词的这个算法来推进不太是我可以举两个点

第一个点我们还是把这篇 paper 整个我说一下我那篇 paper 叫 sparks ofartificialgeneralintelligence 应该是这个名字对吧就是 AGI 的火花然后这篇文章其实 Microsoft 写的他们写的很好因为我个人觉得它里边不是它东一点西一点找说到底是不是 AGI 然后就很零散的分析方式它有个很系统的分析方式它的分析方式是说是这样的就是它的假设是

我现在不知道这个模型给我的一些比较智能的回答是它只是在某个地方记住了还是说它真的是能够产生这些厉害的回答它是理解了就记住和理解之间区分怎么做它有一个系统化的方式是专门找一些刁钻的问题来跨 domain 组合就是一般来说你在地球上是之前找不到这种组合的就是它就把记住这个可能性降得很低很低了

而且这两个 Domain 都理解才能做对所以他找了很多刁钻的问题是这样的我举几个例子而且这几个例子如果看那篇 paper 的话他都做得非常好

比如说他说把数学和文学结合起来大概的问题应该是用 14 行诗的格式写一个素数无穷这样的证明因为素数无穷证明我相信大家可能都知道对吧就是我假设数数是有限的然后把它乘在一起加 1 然后就得到了一个不在有限集合里的跟另一个数数对吧所以用反证法就说数数是无穷的

但同时在这个结果 GPT-4 如果大家看一下 paper 或者你试一下 GPT-4 的话就发现这个结果做的非常好它又完美的 follow 了 SONNET 的就是 14 行式的格式又把这个速速证明做的非常好而且也写的很漂亮还有点韵律有点美感这种感觉

其实这种是不太会出现的他还有一些例子大概是这样我记得是艺术和编程大概是说你产生一段代码用 JavaScript 画一个抽象画家这种风格的画作画小人我也看到不是画小人那个因为画小人他是测试那个小人的增山改天对吧说他知不知道哪是头哪些是身子

那个是说他是不是真的理解这个画家的这个风格到底是什么意思并且用 JavaScript 能够编程写出来还有一些例子大概是这样是历史和物理他把历史和物理结合在一起是一个假设性的问题是用圣雄甘地的口气给他老婆写封信然后推荐 Electron 推荐电子做美国总统

就是很怪异的一个问题对吧就是第一个他生成的话要有圣雄丹地这种那个时候的历史时期的背景有他和他老婆说话的这种他们的社会关系对吧然后他和他老婆交互的基本方式这些都要对并且他还要理解这个物理概念说电子是什么不偏不移然后不可分割所以这些品质很适合做美国总统就是瞎掰的但其实在瞎掰的过程当中他就体现出他确实理解物理也理解历史

还有一些是什么医学和编程吧就是说你写一段程序来判断说这个人是不是有什么糖尿病风险还是什么的就基本上相当于你真的理解糖尿病风险你不光是能说这话你能把它翻译成 Python 的程序就说明你真的懂编程且懂医学所以它大概是

能够看到模型把这些每一个类别都很厉害的能力能够组合起来运用自如而且基本能 follow 这是作者们觉得有 AGI 火花的原因因为后来也有人八卦说在文章的 comment out 的那个 title 里面找到原本这篇文章是想叫 first contact with an AGI system 就是和 AGI 系统的人类第一次接触后来他们觉得这个名字可能太吃惊了所以改成火花所以如果你看他们好的例子的话我觉得完全 offset 刚才说的

那个 case 就是 predicting next world 其实有很强的全局 planning 的能力然后考虑上下文能力基本都差不多可能只是刚才那个问题太难了在我看来就是真的倒过来又要对侯士达经常就是出这种刁钻的问题对可能就没解没解的话他也就不行了对好大概是这样魏老师魏老师有补充这个问题

这个问题其实挺有意思因为本来我在回文剧这个事情上本来想在 GEB 里边好好聊一聊的但可能跟这个问题还不太一样其实我觉得这里边有这么几个点先说

关于 AGI 这个事,其实我满赞同上次朱老师说的,就是说我们可以把 intelligence 理解为达到或者实现某种目标的能力。那么实际上这里边可能就会带来一个问题,就是说也许 AGI 把所有这些都做了,完全能够达到人类的实现目标的能力。但是人类还不是还有一个能力吗?就是设定目标。

就是目标是我们设定的就刚才我们看所有这些 AI 的论文包括卓老师刚才举的所有的例子你都会发现很强烈的这种就是实现一个目标的能力这个目标可能还是人类给他设定的那么某种意义上来讲类似于回文师这种东西

带有一点点设定目标的这个意思就是说我也没告诉你开头是啥结尾是啥因为我如果告诉你开头你也不用说结尾了嘛你就给我倒过来就行了对吧那反而变成一个毫无意义的目标但是我只告诉你说开头和结尾是倒过来的那这个目标就变成了你自己要去创造一句话然后去把它能够反过来一定可以所以某种意义上说

到底哪一句话能反过来这个目标可能得让 AI 自己去设定也许在这个方向上出了一些问题也未可知就是这个意思

当然这是一种猜测另一个猜测呢换一个角度其实也跟 GEB 很有关系就是回文师这个种东西呢某种意义上来讲它是一个讨论语言的一个层次也就是说它把语言作为对象它是研究语言的这样一个层次那在这个 GEB 当中或者在我们平时聊的这个学科分类当中它其实是一种原语言的

也就是他把语言作为研究对象那么它就是一个 Meta 的 level 这个原来我们聊过就是人脑的特点它是混杂的它是混淆无数层次的所以才会出现悖论也就是说他把语言的 level 原语言的 level 甚至源源语言的 level 反正人脑都能处理这就是 GEB 最核心的一个要点

那么现有的 AI 你不能说他没这个能力因为 AI 研究语言他肯定也比人研究的好但是用语言去研究语言的时候他就会出现某种所谓类似于怪圈的这种逻辑那么在这个里边其实语言的现象比如说回文句这种语言的现象它就是一个原语言里边独有的特征在普通的非原语言的知识体系里它是不存在的

所以在这种体系下你说 AI 它到底有没有把这事想明白这个我们就不知道了但是按照你刚才所说的例子呢它有可能在这方面还有一些缺陷但是从道理上来讲因为研究语言的原语言也是语言嘛所以按理说 OpenAI 或者说 AGI 它能突破的这件事的可能性仍然是存在的

所以我觉得就这两个点其实都是在我看来都是一种未定的状况就是既可能不乐观也可能不悲观大概是这么一个状况然后我插一个小话题好吧就是因为刚才那个话题还有一个事我忘记说了

就是朱老师刚才不是提到吗说那个 GPT-4 能看梗图能看梗图的意思呢是说他知道这个图有些局部其实是不符合常理的所以它就是笑点嘛然后这让我想起一个非常有意思的事

就前一段时间我不知道大家有没有听到一个播客叫音乐为什么好听那个播客挺有名的建议就是我们的听众们也都听一听他其实讲了一个事情就是说审美或者搞笑这种东西来自于什么地方其实有两个逻辑就

审美就是你觉得一个东西美大概率它来自于它符合你的预期你不会看一个奇形怪状的东西觉得美你是预期什么叫美然后你看到这张图它符合你的预期它就叫美就像蜜汁针里画的那些东西那什么叫搞笑呢搞笑来自于对你预期的违背就是它说了一个不合常理的事所以你就会搞笑所以你就会发现 GPT 在这两方面

几乎都达成了就是以前可能他只能做到美也就是说按照符合人的预期的方式来生成图或者判断一个图美不美然后现在呢他已经能够达到说知道什么东西是违背人的预期所以他知道什么东西叫搞笑

所以从这个角度来讲我就想起咱们上次说的人工智能它到底是不是只替代了人类性的这一部分我们说的康德的哲学三个体系就是理性、价值观和审美

然后现在看来 GPT 已经不仅限于理性了已经进入到了审美的领域当中去也就是说他差不多把人类的审美体系也共情或者也同理了所以我就只能又老生常谈一个问题了那就是我们希望的可能集体还没有产生价值观吧

否则的话就变成那个 iRobot 了对对我就差这么一个小话题吧我觉得这个挺有意思的志老师有补充吗刚才我有老师的好我可以稍微补充一下因为就是侯士达我也很喜欢他 GEBR 包括我是怪圈但里面有一个点其实我提供另外一个视角就研究语言的时候包括原语言

就是其实如果从维特根斯坦的角度来说的话维特根斯坦早年其实写逻辑哲学论应该是他基本上是说 OK 我是数理逻辑各种真知表然后有一套完美的语言和世界对应

然后他最后一个他其实像写那个就是欧几里的几何原本的样子写这本书的他最后一个点就是说所有可说的必然能被说清就是在他这个体系下用他的这个完美的语言所有可说的必然能被说清所有不可说的都不必说了

大概他会有最后这样一个论断因为他的感觉是说或者他想解决的问题是当年的哲学世界当中有太多的东西在世界当中是用不到的大家在原语言的层面上研究的太深了之后呢就进入了一种比较虚幻的地方所以他想把这个虚幻的点拉回来

虽然他晚年哲学研究又把逻辑哲学论的很多观点都推翻了他引入了 language game 引入语言游戏这样的东西但是基本上他的一个思路就是说语言要放到使用的场景当中去然后抽象地讨论语言概念尤其是什么内言外言很容易产生非常虚幻的问题就是他里面举了很多例子这可能是一个另外的讨论我也很喜欢侯士达的角度我觉得就是维特根斯坦也提供了另外一个角度吧

然后第二个刚才就是威尔老师提到了就是预期其实这可能就是 ChatGPT 它开始对 Common Sense 有更好的理解而且 Common Sense 或者审美其实还是依赖于训练数据的就像他们老一代的人可能一听到 Rock and Roll 觉得什么玩意好吵

它是不美的但新一代的人从小就听这个可能就觉得美了再老的人听到周杰伦觉得什么玩意新一代的人觉得 R&B 就是对的美本身是一个社会的或者 community 的这种概念它其实会被整个社群影响而且你从小的成长环境其实本质来说是你的训练数据会强大的定义了

什么叫美或者你认为什么叫美而来不及猫的现在已经很擅长做这种了就你给他很多训练数据然后你给他很少几个例子说这种是美的他基本上就知道好这种是美的所以这就是后面其实可以讨论到的对齐这样的概念就当他

非常充分的能够表示所有的 word model 就刚才说的你只需要很小的数据对齐一下就说周杰伦就是美的我给你放两首周杰伦的歌这是美的他立刻就知道这一类什么 R&B 什么都是美的电子音乐也是美的对吧然后可能再古老一点的比如说六七十年代的歌曲就没那么美了就是他节奏太慢了

这个可能是另外一个点就是当他的能力强了之后人只需要很少的教导或者人很少的 alignment 就能让他和我们的某种东西对齐好吧就是这补充一下就是这样对既然聊到这了我们就聊聊再接着聊一下那个 RLHF

reinforcement learning with human feedback 就我觉得这个也很神奇就我想请两位老师给大家大概稍微简单的解释一下什么是 RLHF 然后为什么它对这个 GPD 的发展这么重要我是觉得很神奇的是就这个应该也是跟刚才这个周老师说的科学炼丹相关就是它用一个强化学习它能把人类的反馈再反馈到这个 AI 的模型中我就觉得有点

就有点迷幻这个就相当于是在人类的指导下然后人类指导下的科学的发展我总觉得这个逻辑好神奇就是用很少的数据然后加一点人类指导在里面就人类希望人工智能能够做到的事情就是所谓的对齐刚才这个周老师讲过的然后再放了一个巨大的这个数据集中训练然后再加一点点人类的指导就变得越来越好越来越好

我觉得然后那个 Freeman 他也总结了一句他说这 Science of Human Guidance 我觉得人类指导的科学发展我就觉得很神奇那两位老师来聊一下这个话题以及你们觉得他们就是这个 RHF 它的重要性以及后面还会有什么类似的发展我试着解读一下就是简化的可以认为现在整个 GPT 比如 GPT-4 它的训练非常非常简化可以认为是两个步骤

第一个步骤就是刚才说的我拿非常非常多的数据非常大的模型的容量去让他学习那个 word model 就只要预测下一个词预测的对吗就是建议非常多的数据这个时候练的是什么练的是内功或者天赋吧就是我保证这个模型本身它对世界的这个 word model 的建模能力或表达能力很强但是它其实不知道怎么来帮助人

这是为什么包括 GP3 出来的时候没那么火因为 GP3 其实需要很还是比较专业的 profit engineering 的方式才能让它按照人的意图工作比如说你需要把格式写好说这是 question 一个 answer 一个样例的 answer 然后再写 question 一个 question 再写 answer 那他就学会了说你就是按这个方式来生成那我就按照逻辑生成 answer 就行

就原本你要用这种方式来解锁他能力但 RHF 其实是另外一种就是可能是一个更好的方式他就相当于说我的能力很强就是内功很强但是我现在不知道怎么把它和人对齐就是这是为什么刚才用对齐这个词用了很多就是他知道人说什么我应该怎么回复因为原本在他的逻辑里边就是我只学会续写下一个词那我看到什么我就续写什么很多时候大家就觉得牛头不对马嘴

但通过 RHF 其实我相当给他一些例子说这样的问题你需要这样回答这样的要求你要这样满足这种例子给了多了之后他就自然知道说你们人类其实就是想要这个那我已经有那么强的世界表达能力了我就照着这个对齐一下大概是这样所以你就可以认为整个训练是两步骤一个步骤是把内功练好第二个步骤是把他的内功和人的需求对齐清楚

这样的话就能把这些能力解锁出来所以一旦解锁了大家都觉得原来那么厉害大概简单解释一下是这样魏老师我先解答一下这个 RLHF 这个吧这个跟朱老师的说的意思差不多我只是换个角度

然后我再等会儿完了以后我再回到稍微回到一下那个维特根斯坦那个话题啊但是那个不能展开了就只能等到 GEB 的时候我们再聊了我觉得这三十期还没完后面还得有细节我们先讲这个 RLHF 吧我就换个角度其实我谈到 RLHF 的时候呢我会讲一个范式就是叫做合作比对抗强

这是个开玩笑一个段子什么意思呢就是说其实 RLHF 从我的角度看它其实就是提供了一个人机合作的一种模型

就像刚才朱老师说的,以前怎么学的我们就不管了现在是说,比如说我出一个题比如说你模仿川普给我来这么一段话给我写一句诗,那么他可能也不知道说模仿川普怎么才能够叫向川普呢,对不对那没关系,我找一个人来按照所谓模仿川普的方式写一段诗

然后输入给机器那机器其实就理解了说所谓模仿川普是这个意思他从这个 learning 的角度就去掌握了这个能力所以其实这就跟人其实是给他做了一个例子然后他去学这个例子这就好像说人跟他是合作但是你想原来上一代的模型是什么就是我们上次聊到那个 GAN 的那个问题

它是一种对抗模型对吧就是说我用一个 AI 生成了一个东西然后再用另一个 AI 去攻击它或者否定它说你这个还不够好所以实际上以前我们的训练也有点这个意思比如说我们说人类打标签说的是给一篇文章然后我说这篇文章是关于汽车的是关于什么价格的等等我打这些标签

这个概念其实是什么呢其实就是一种对抗的逻辑就是说我人类知道你机器不懂这篇文章的 tag 所以我要给你列几个 tag 你看这个逻辑它跟我写一篇例子告诉你说这篇文章应该这么写其实是两个反过来的逻辑所以以前的人类给他的学习方式

实际上是一种对抗的方式就是我告诉你你机器是不知道这个的你是不知道那个的我要去修正你我要去解决你的问题然后你就做得更好现在是反过来就是人类给他做例子就是我告诉你说我们其实反正也就是这么解决这个问题的然后呢机器它自然就学会了所以我觉得其实 RLHF 这个东西它就是一种训练机器模式的一种 pattern 的范式的一种转变

从一种对抗式的、注入式的或者说告诉你哪不行的这个概念转为告诉你什么是行的什么是好的什么是美的所以他把这些东西学了之后呢他其实就更像人类就从某种意义上就回到刚才说的就其实我们是

这个 RLHF 其实是让机器跟我们产生了同理心和共情所以它当然就更像我们人类了而不是我们整天指责它说你这个也不懂你那个也不懂所以其实这两个模型那肯定是高下立判对不对所以其实 GPT-3.5 也早就已经用了这个模型所以 GPT-3.5 就已经很厉害了

当然 GPT-4 因为多模态因为什么规模参数它当然就做得更好了但是我觉得其实就当初说 GPT-3.5 这么厉害其实也是跟训练模式变了

然后你就会想到一个最有意思的话题回到我们说的我们训练一个小孩不是也有这两招吗我们中式的家长我们的鸡娃的那些父母就说你这个也不行你那个也不行你都不会你得给我赶紧改

然后呢但实际上呢可能一个更好的家长他会用自己以身作则的方式啊会用自己这种循循善诱的或者鼓励的方式说哎呀你做的挺好你还可以做的更好或者你看看我是怎么做的所以其实你会发现非常有意思就是真的回到了说我们其实现在就是把 open AI 或者就是把 GPT 当做一个人来去训练嘛嗯太有意思嗯

说的非常好说的非常好朱老师有补充我正好补充一下我觉得第一个是就威尔老师刚才说的非常好解释很清楚 RHF 是什么样子而且确实合作比对抗好就是以身作则要比说你不好要好多了

而且这个角度是非常有意思的就是 RHF 其实从模型的效果来说应该可以这么解释就是它只是解锁了模型的能力因为它用了训练样本和训练的时候就是预训练的时候用的样本数差非常多的数量级所以它只是解锁模型原有能力但是你只要通过这种鼓励式的以身作则的方式用很少的量就能把模型就是调教的很好

然后其实这里面正好有另外一个问题可以从换个角度来理解 RLHF 另外一个角度就是说相当于是语言模型是需要 grounding 的就是引入另外一个词 grounding 你可以认为是找到锚点就是落地这样的意思就没有 grounding 过的语言模型就没办法直接使用这就是没有用 RLHF 之后的语言模型没法使用我们从哲学上可以考虑这个问题就是假设一个外星人

在宇宙当中游荡忽然飘过来一本《红楼梦》他从来不懂中文他也没有见过地球但是他只读《红楼梦》的话能否学会使用中文

这是一个抽象的问题就当然红楼梦你也可以说红楼梦的量太小了对吧我可能把所有 wikipedia 中英文各种语言打印出来变成一本书或者放在一个邮盘里边这外星人收到他只看到这些符号他是否能学会使用这里边的语言这其实是一个有点值得思考的问题我说我的结论或者说我现在的看法首先他是不会的他没办法学会使用这个语言

他在里面能够学会一个就是这个语言所代表的 word model 的表示就是像刚才说的一样然后他如果真的要使用这个语言他需要突破观察这个壁垒就是说如果他只观察是永远不会用的他一定要试着用一下 RHF 其实就相当于有人示范了你怎么用这个语言但是只要他

很聪明的外星人看了非常大的一本《红楼梦》或者说整个 wikipedia 稍微有几次示范说你应该怎么用这个语言他立刻就说我已经通了我已经会用这个语言了所以这可能是大家可以用从这个角度理解 language model

甚至沿这个方向往下讲我正好提到我们有几个新出的东西比如说 Newbin 和 Plugin 你可以认为这两个都是在 grounding 上从 language model 往前进了一步 Newbin 大概可以这样认为是说 language model 会发现说一些情况下我没有足够的信息或者我没有足够及时的信息来回答你这个问题

这个时候我怎么 grounding 呢我说假设我能用 Bing 的搜索接口那我就可以从 Bing 的搜索结果当中找到更多的 grounding 然后来回答你这个问题然后更往前进一步搜索接口只是其中一种接口我可以假设我能访问互联网上好多种接口各种各样的接口这

这 witches plugin 其实就是 plugin 了那我可以做的事情就更多了而且多了很多因为如果大家看 chatgpt plugin 的 demo 的话发现他能做很多对吧帮你订饭然后定做然后同时算一下卡路里算完卡路里之后买一个后一天的什么食材然后直接生成一个购物清单然后你一点就可以买当 language model

第一个 grounding 是说你在一个漆黑的盒子里只读了《红楼梦》什么都没有然后有一个人教你大概怎么用

语言这是 RLHF 然后在这个漆黑盒子里面之后你开始有 multi model 就是你有多么太你可以看到东西你可以有一些 API 可以用比如说并的搜索或者说更多的 plugin 的能力你这个语言模型就从悬浮在就是虚空当中找到了更多的锚点就一个个都是 grounding 的点这些 grounding 的点就会能让这个语言模型越来越有用

但它的本质来说有用能力还是取决于它那个中心的那个模型的基本能力是不是够强就天赋是不是好 grounding 只是

后天呢就是打通任督二脉或者说解锁一下他原本具备的能力可能从这个角度是另外一种理解了对对很有意思很有意思但卓老师既然提到这个 plugin 了我们正好就聊下一个就是也是非常有意思的问题就是插件的这个问题我觉得这个插件因为插件这个出来之后我感觉不比这个 gpt4 的影响要小

然后大家就这个英伟达的老板不是已经说了吗这个 plugin 它可能不是特指 plugin 它就是说新的 iPhone 时刻已经到来但是不得不让人联想到这个 plugin 就像那个 iPhone 里面那个 App Store 一样然后想请两位老师评价一下或者说大家给大家解释一下这个 GP 的插件我看这个何菜头老师我很佩服他他写文章写到现在都写了十几年了

就是他前两天好像写一篇文章他就是在讲这个 plugin 他有个比喻特别有意思他把这个 CPT 比作就是那个沉默的羔羊那部电影里面中的那个汉尼拔就是那个高智商的变态医生然后他被关在这个联邦监狱的地下室的最深处因为他实在危险性太大了但他智商又太高了所以把他关到这个地牢里

然后呢就不让他见到阳光不让他跟外界接触等于他在关在地底下好多好多年然后但是呢由于他的智商太高所以这个 FBI 有很多的这个棘手的案件他需要去咨询他就是让他分析一下这个犯罪心理或者说犯罪分子他有可能是有什么下一步的什么动作之类的

然后他们就会经常派一个就是年轻美丽的一个实习生名字忘了就经常去找他然后就把这个最新的案件告诉他然后让他用他这个高智商的大脑来凭借他的经验和技能来分析

然后他就把这个汉尼拔比作 GPT 然后就把这个插件呢就比作这个女实习生就是说因为现在的这个 GPT 他因为大家给他很多限制嘛所以他因为他可能有这个能力太强大就又不允许他联网然后又不允许他就是更新最新的数据所以他现在对世界的认知完全来自于 2021 年之前的世界大家拿这问题来请教呢就是现在我们天天用这个 GPT

就虽然他不知道 2021 年世界发生了什么但是

由于它的推理能力极强它很聪明它就可以帮大家来解决这些问题我就觉得何太太老师这个比喻特别有意思那么这个 plugin 呢可能就是也就是帮助这个汉尼拔实现了一些对外的延伸吧它可能比如说有一些 plugin 是有最新的数据有一些是有一些其他的功能等等那这个我请两位老师来给大家聊一聊这个插件你们对它的理解是怎么样

威尔老师好像很感兴趣威尔老师可以先说那威尔老师先好好我其实对于这个插件的体系没有就是还没来得及试用和特别深的研究但我从技术的角度来讲我觉得因为何彩彤那个文章我看了也没有去读全但我觉得从技术流程的角度讲我觉得她应该说的有点反了对因为我理解的这个 GPT 的 Fold 插件不是这个逻辑

他实际上是刚才朱老师已经其实说了这个逻辑了就是说其实 GPT 是一个 frontend 就是我们要 access 一个比如说什么订餐的软件或者一个什么搭配这个卡路里的一个软件那个软件本来就在那并且他有这样搭配的能力但是我可能需要比如说学会完全学会这个软件我可能才能搭配出来但是现在呢我通过 GPT 的方式

我去跟 GPT 说你帮我在这个软件里搭配一个卡路里那么换句话说其实是让 GPT 把这个软件学透了那么在这种情况下呢它会变成了我的一个人工智能的代理然后呢它去到这个跟它有插件功能的这个东西里一通鼓捣

反正他是怎么学的呢我就不关心了那反正他能力强嘛他可能把这个软件里的所有的数据全都读透了然后就像一个模型学习那样然后我就只需要跟 GPD 说你帮我配一个什么 500 卡路里的一个午餐他就给我配出来了

就我理解的查鉴的模型是这个所以我觉得可能何在头这个比喻确实非常精彩但是就是从我们单纯搞技术流程的来讲我觉得他是应该是说反了

那这个我们不关心了然后关于插件的这个东西呢我觉得有两个点第一个点呢我其实回想起来很早很早以前我不知道小跑有没有了解过就是朱老师恐怕应该是知道就是曾经有很多年前流行过这么一个概念叫应用内搜索

就是有些搜索引擎的厂商呢他在互联网爬虫这个搜索的模式已经基本上尘埃落定几分江山之后呢需要说那我们搜索引擎还能干点啥呢我开放一套 API 就是只要所有的应用机

接受我这套 API 的方式来对接或者包括提供数据或者包括提供一些其他的信息那么我从百度里不就马上能搜到比如说某个操作软件它要操作里边是 sorry 百度这个不是特质某个搜索引擎里谷歌

它就能够搜到相应的东西就是应用内搜索这个概念其实就是搜索厂商大概为了扩大自己的版图推出来的概念但是后来不了了之因为商业这种事情在商业上可能大家不是特别买单那么其实 ChatGPT 的这个 plugin 某种程度上非常像这个

就是你搜索东西的时候 ChatGPT 帮你去选找首先理解你的概念然后知道到哪个软件里可能能够找到对你帮助更大的东西然后这个软件正好已经遵从了 ChatGPT 的 plugin 的这些借口方式它就自然能够找到更加精准的

东西来去服务于你的搜索就包括刚才小跑老师说的对吧那我只学到 2021 年那没关系啊那我跟病我或者我跟谁谁谁结合那他就相当于是给我提供 2022 年到 23 年的数据的那么一个应用而已嘛

所以实际上这个东西的概念我觉得特别像一个当年提出来的应用内搜索那么 ChatGPT 通过这种方式实际上它实现了一个更强大的能力这是有利于它自己的这是第一个点然后第二个点就反过来说 ChatGPT 它这种方式可能会导致一个问题就是它成为了所有应用的入口

这是大家最担心的也就是所谓比如新的 iPhone 时代到来这才是 Super App 对对对因为如果你不是原来那个就是应用内搜索了就为什么我刚才举应用内搜索的例子呢就是说那个东西可能很不成熟因为我使用一个软件绝不仅仅是搜索我搜索也只是搜索信息而已而 ChatGPT 它的这种能力能够达到跟人一样那它可以找到有价值的操作然后甚至替你去操作

等等等等所有这些事所以说从这个角度来讲很多人更担心的就是那我们现在好 C 端不用争夺了大家都从你的入口我变成了你的一个功能或者数据的一个提供方你是唯一的流量入口然后以后不管是验过拔毛还是收取什么手续费那么就变成了一个 platform 那就跟那个苹果应用商店一样嘛

因为苹果应用商店不就是你要装在我苹果上你每收一笔钱我要扣 30%那 ChatGPT 如果是走到这一步大家当然觉得说这就是一个新 iPhone 确实大家感受的压力是很大当然围绕这些有好多细的点了但是我就说这么一两个点我觉得 plug-in 的未来对产业格局可能确实有些影响但是我觉得

反正观察一段再看呗周老师对对对我觉得 Will 老师刚才讲的很清晰其实何彩头老师那个例子也很精妙但那个例子更适合的汉尼拔那个例子更适合的是说人类觉得一个 super intelligence 太厉害了

然后要把它限制住用非常限制的受限的 access 比如说是一个实习生对吧也没有什么别的权限受限的 access 来让它变得更安全或者让它没办法产生危害但其实如果看《沉默羔羊》电影包括《沉默羔羊 2》的电影好像就说明只要是 super intelligence

这种很初级的这种 safeguard 都没用就初级的这种安保措施都没用他直接把你就玩转了就是大概是这样这可能是何太太老师那个比喻更像的地方 Will 老师刚才说的那个非常对就说他的 chat gpt plug-in 这个系统其实是他是理解这些 API 然后我先从技术角度讨论再从商业角度讨论就是从技术角度讨论我觉得有两个东西它是有突破性的而且特别厉害

第一个东西就是说当然 Chad GPD 在这个当中起的位置也像 Will 老师说的一样其实是 orchestration 对吧 orchestration 的话其实意思是中文翻成什么比较好是像个管弦乐团一样能够编排或者说整个编排操作这个管弦乐团对吧就是管弦乐团里面各种乐器你能够把它们都弄好然后形成一个合奏出一个优美的音乐

所以 ChatGPT 在这个当中起的作用主要是 orchestration 就是它能够把这些工具用好让它产生一个完成一长串用户的复杂需求这是第一个就是大语言模型的推理能力就是包括严肃推理能力在这里边其实就非常关键了

第二部分其实我自己觉得因为我还仔细研究了一下他那个 plugin 的就是编程接口他比较厉害的是什么他其实因为要知道我云端如果要调一个另外一个接口我需要搞清楚这个接口定义对吧输入参数是个什么样的结构化的结构体输出参数是个什么样结构化结构体每个字段什么意思

原本其实网络编程起码要把这些问题解决嗯但 OpenAI 这次厉害的地方就是说它用大圆模型能力直接相当于做到自然圆编程因为我已经不想叫它叫 Prompting Engineering 了已经远不是 Prompting Engineering 基本上就自然圆编程嗯

你给它一个你云端接口的定义满足 Open API 这是另外一个公司 Open API 它有个叫 YAML 的定义就 YAML 的一个标准定义你只要把你的接口用这个方式写一下在 prompt 里面填上就是 GPD3.5 或者 GPD4 就已经能理解好你这个 API 应该怎么调用能够做什么

输入参数结构化是什么样的输入参数结构化是什么样然后它能正确调用而且能调对这个是很厉害的就自然源编程啊而且其实我们自己有一些实验包括在 GPT 上面的一些实验还能发现它有很好的 reasoning chain 的就是效果 reasoning chain 指的是说它会先想一想我用户的需求是什么我要怎么才能达到这个需求

然后他想完之后他会把它 breakdown 或者说分解成一步一步的 action 每个 action 比如说是调一个 API

调完 API 之后他看到 API 的返回值和返回结果返回的提示之后还能调整他的动作比如说有些时候这个 action 完成的不好他会调整一下或者说他比如说原本写了一段代码期待执行结果就是满足用户了然后发现执行结果不好他会把代码再改改这种能力就很厉害所以大模型比之前的就是刚才说的 App search 因为 Google 也做过这个就是安卓上面有好几套协议是能够让

APP 内部的能力数据暴露给安卓系统希望安卓系统能做更好的搜索但其实都不太成功但是大约模型里边第一个解决了这种复杂的接口的定义和理解包括过期就是更新这种问题第二个是它用非常强大的推理能力用 Resonant Chain 就能够不光是调用一次它不是开环的调用一次而是说它看到了调用的结果之后还能做出相应的调整

能够不断的改进满足用户需求这两个能力其实是以前技术源源达不到的而现在能达到之后其实就厉害了然后说到商业角度的话其实我也理解就是大家讨论的时候往往会讨论谁更有话语权对吧有的时候是平台入口更有话语权有的时候是电达七克客达七电就是有的时候是宝贵的应用或独一份的应用更有话语权但在这个里边其实我个人相信就是用户在哪里

最后话语权就在哪里而用户我相信会坚定的站在大语言模型这边的因为他提供的这个理解能力包括执行能力太强了就是其他人话语权会变弱的

所以这大概是我的看法商业可以有很多讨论包括我们做什么或什么的但是我从技术的突破角度来说大陆银行模型把原本的很多的技术的瓶颈或者说做的有很大限制的地方突破了它解锁了非常大的空间这是我非常看好的

我觉得听起来好绝望啊我自己的理解待会再听一下五位老师我自己觉得听完两位老师到现在为止我觉得更悲观了我觉得他就是从各个角度全面打击就是现有的商业模式

首先我们不是之前聊那个 attention is all you need 注意力是你就是大家需要的都是注意力但是这个我觉得差 GPT 基本上就是抢了所有人的注意力就刚才这个周老师说的也很有意思就是说我们讲的那个 Google 的 in app search 但是想想如果说有了 OpenAI 这些插件我可以在就是进入 OpenAI 的所有的界面上完成所有其他的我想做的事儿

那我就想了一下假设我之前比如我现在我要订机票订酒店我去携程去 book.com 那我将来是我要再上那个网上去查这个机票然后自己订订订还是我直接让 Chadgetpita 帮我订了因为他不仅可以帮我订他还可以帮我选好哪个是最好的还可以帮我写个旅行计划

那比如说我现在去订餐我订个位然后我香港这边用 open rice 那我还得打开就选一大堆东西那我还不如直接告诉 ChatchyP 我今天想吃个辣的你给我找个川菜馆订下周三订个八个人的桌他就自己搞定了所以说刚

刚才周老师提到那个 Google in app search 我就想其实 Google 上比如说我现在就是查一下香港到上海的航班他也会给我列出一大堆就是从 book.com 吗或者是其他的那些地方去帮我选的航班但是我想了一下

那我还得去就先打开 Google 我去输一下然后我还要再点这个链接到对方的这个网站上那与其这样我觉得将来甚至是我在写一个旅行计划的时候我在沃尔文档上我直接嵌入 ChatGDP 直接他就帮我把这个形成的什么所有的东西都搞定了

那这么一想真的很恐怖啊那还有谁会愿意打开其他任何的这个应用程序或任何的网站呢就是 OpenAI 它这个 TRACKGB 它已经有 TRACK 所有的人参与了并且就像吸星大法一样就刚才魏老师说的特别有意思他不是说其他的 APP 变成了我的手然后这个 OpenAI 是大脑而是我把所有人的这个超能力全都吸过来了这个才是真的是 Super 的 Super APP 我是觉得有一点可怕

对 我可以再补充一下就是它的体验的提升来自于一个很重要的地方是说原本 Google 也可以帮你快速的就是 access 到某一个 APP 内部的一页对吧然后你可以继续做这个就是如果只是看直达的话其实之前也有这个能力包括百度也有这个能力但是现在大模型 inable 之下它能够做的是组合

就相当于说你帮我安排一个周末晚上的一个活动我要去那吃饭吃个法菜然后我晚上比如说要去再去看个电影看完电影帮我打个车回来他可以把这些活一个个顺序做完并且所有的参数都是上下文相关的比如说你看完电影电影比如说 10 点钟结束他就给你订了 10 点 10 分的车这个就远不是说我

一句一句的在某个搜索引擎搜索或者在某一个接口做一件单一的事情它能把你全都做了而且把所有的参数设定都设置加上它的推理能力能设置的最妥贴这个其实是

这个价值的争议要远比直达要大所以就是当他能用推理能力进行组合的时候其实他的威力才会发挥出来好吧补充一点对是是魏老师那创业还有希望吗这么一想

我觉得我还是挺乐观的对然后我是想借此机会讨论一个话题就是上一次结尾的时候不是我们正好说到就是我认为 ChatGPT 这种东西的出现其实会让人们的这种行为的模式从一种寻求 extension 的方向转为必须要做 separation 的状况其实我觉得在 plugin 这个角度

我们先不考虑对这个什么人会失业吧就是说从 plugin 这个角度其实我觉得很重要的体现了这一点就是刚才我们说的我们一个人我会用八个软件十个软件对吧

就像是我们说的那就是以前我手不够用现在这些软件帮着我有些能看机票的有些能看酒店的我就是长了 8 个手无非是长了一个看机票的手长了一个看酒店的手然后呢我仍然是走到 extension 这个路线就是说我长好这些手之后然后所有的事都是我从头到尾做嘛

现在我们有了 ChatGPT 之后呢就发现说我可以把我某些过程就是我本来产生了一个旅行的想法然后我制定了一个计划然后我找酒店找机票找等等等等这些过程然后最后才是去旅行去住整个这个过程当中呢

这些找的所有的这些个阶段我们发现说实际上是可以剥离出去的剥离给一个叫拆 GPT 的东西因为它是智能的嘛我们把它剥离出去之后呢它就替我们做了然后我们就只管第一产生这个旅行的想法第二去旅行对吧中间的事情呢就剥离出去了嘛所以就是我们人以后会学习到说每当我要做一件事情的时候

我们就要去想说哦我有 1234 步然后我发现哦二跟三其实都是可以让差 GPT 干的然后我只干一和四就以后慢慢慢慢的行为就会变成这样然后那这件事呢你说悲观吗那最大的悲观确实可能是让某些人或者某些系统的作用变小了为啥呢是因为其实我们人类本身就其实挺喜欢这个 separation

就你想我不知道小跑和朱老师你们都做过这个创业或者 IT 工作你知道完成一个任务最简单的办法是啥其实就是你有一个手下然后你告诉他你完成这个任务然后他就去完成如果你没有这样一个手下你就得反正多多少少你得有三个手下那你就还是需要做 Augustration 对吧无非就是这个意思所以其实我觉得 Separation 的角度来讲就是我们人类本来就很习惯 Separation 只不过就是

当初生产力没有那么发达或者没有在 GPT 这样一个能替我们干所有事的东西所以我们都得一个一个自己干就必须把自己武装到牙齿

所以慢慢来讲我觉得你要一定说悲观我认为倒是说确实你说导致有多少人失业就是那些本来我让他去帮我们做 separation 的那些人现在被拆 TPT 做了我觉得这个是一个悲观的角度我估计小泡老师可能说的是悲观可能是指这个问题但是我是在想说其实所谓的 separation

某种意义上讲就是所谓社会分工人类发展到今天本来不就是一个人干所有的事然后最后把所有的东西都进行社会分工比如说我们说共用链什么叫共用链不就是长得跟一个链条似的就是因为有生产

有发货有运输有存储有销售把它拆成这个链那现在 ChatGPT 无非就是让我们把我们每一个人日常脑子里想的那个过程和干的那个事又切分然后把一部分给他那从这个角度讲你想刚才说的那个所有的那些 APP 所有的那些应用

那他们如果进入到了这条价值链体系或者进入到这种社会分工模型的时候他们也可以反过来做一件很重要的事情就是他们用于整天优化的那些搜索的界面那些用户操作的那些个优异的体验

他们也可以不做了所以对于他们而言仍然是符合社会分工的逻辑就是他们会更专注订酒店的人他们把整个的力量都去搞那些把所有的酒店都谈好生意都签好合同然后给别人提供服务然后前端那些搜索 ChatGPT 给他们完了所以他们有大量的工作那些做搜索做 orchestration 的那些个画面的东西不做了

当然了这件事情回到悲观的角度就是那可能有很多程序员会失业但这个我们不说那你从整体的社会分工促进生产效率的角度来讲那肯定最后还是会促进生产效率

所以我觉得这个事你要最终看那就只好回到咱们以前说的那个话题就是反正生产力足够高大家是不是干脆都 UBI 然后就不用有那么多程序员开发 APP 了至少 UX 什么 Search 那些不用了对不对那就专注于开发后端专注于开发价值链当中属于自己的那个壁垒我觉得如果一定要谈商业竞争格局可能这就是个好事因为整个社会这几百年不就这么发展过来的

恐怕这一天是应该是躲不开是非常赞同非常赞同而且我可以补充一个角度就是说不管是上下产业链里面的改进其实最简单对所有用户来说是个巨大福音对吧就像威尔老师说的一样就是说有助手或者有小弟的人到底还是少数

现在如果用一个大模型的话其实每个人都可以有个小弟都可以有个助手对吧就是那这个其实对大家的福祉来说整体是大幅提高的然后也有很多东西其实是比较价值你是很难被拿走的我们举一个例子就是微软发的 office copilot

Office Copilot 它其实通过 Microsoft Graph 是把用户的那些 personal 的 information 不管是什么 email 啊 calendar 啊 document ppt 啊然后各种各样你在 teams 当中聊天都作为用户的它相当于 orchestration 的时候是作为代理说这些是用户的信息然后我全取恰当的

和大模型交互然后让大模型给出用户很好的帮助这些价值其实是很难被替代的就是这里边大家能感受到就是这种价值是很难被替代的

所以可能当上下游都更 focus 在这种有明确价值的东西上可能也是好事 echo 一下威尔老师刚才说的对对是的是的然后突然间觉得又乐观了起来但是心情还是很复杂我们今天又聊到已经聊到一个半小时我们的踢缸才过了三分之一

我觉得强调三人行要永远的继续下去了我今天要不再问两位老师最后一个问题吧然后我们下次再约时间再把剩下的话题我们可以继续接着讨论好啊好啊这个问题我觉得还是跟刚才后面的那个问题挺相关的因为还是提到就是昨天刚刚发生的事儿嘛

科学家们联名上书要求所有进行 AI 研究实验室的联名上书的一共是一千多名科技大咖 AI 专家包括马斯克还有 Steve Walsh 等等然后大家就联名上书说现在 AI 已经给人类造成潜在威胁的可能性非常大了所以建议大家所有跟 AI 相关的实验室大家都暂停工作六个月

我对这类事情是非常非常感兴趣的那么就也想听听两位老师对这件事的看法你们觉得这件事你们怎么想以及它的威胁真的是到了这个地步吗或者他们联名上书有用吗我先站个队试试好 赵老师来我态度肯定很鲜明就是不太同意当然我说简单一点就是第一个我觉得你就算想这么做也做不了

基本上就是不太可能就是就有点像是说我们以前说的笑话就不可能真的设一个肥道警察来看人是否犯嫌洗手就是你已经管不了了现在也没法管你那些 A100 已经都在各家的服务器就是机器上插着他训练不训练你也不知道而且另外一个就算我们他的强制要求的静默能够成功

其实反而都变成偷偷研发了就是大家都表面上说我们好不研发大家都变成偷偷研发这个反而更吓人因为到时候现在的其实大家的研发基本上都还会有社会的参与有整个 community 的 checkcommunity 还能说这说那能够看一下大家情况怎么样对吧微软可以来探测一下说他是不是真的有 AGI 的火花那到时候你拿出来一个东西已经是

就是如果一开始保密然后到时候拿出来的东西已经是一个就是保险神都拉开的核弹那就更来不及了然后光一下就没有任何人有机会去摁住这个核弹了所以我反正想的也比较简单就是不太同意也操作不了而且真的假设大家表面上好像禁止了反而偷偷研发更坏大概是这样魏老师呢那肯定也是不同意的对对对我觉得这个蛮简单的对大家的思路应该差不多就像刚才

朱老师说的这种就是我觉得一个新的东西出来第一个是说阻止可能也阻止不了就像我们举另一个例子不管是肥皂警察还是红旗法案对吧这都是历史上发生过的事情经常被用来做反例再一个说那在阻止不了的情况下肯定是公开比封闭要好因为我理解呢实际上

这些大咖他们的担心肯定是有道理的比如说他们看到了各种 AGI 包括 TRACK GPT 以及其他的一些模型竞争的时候已经产生了很多人类难以料想的这样一种智能的行为或者现象然后基于这个来去说我们是不是暂停一下但是其实从结果论的角度来讲就是你如果担心这些东西对人有伤害

肯定还是基于某些具体的行为比如说我想几个层次简单说一下就不展开了比如说第一是不是有人能够基于 OpenAI 做 API 来制造出机器人如果 OpenAI 的 AI 有着非常自我的意识甚至邪恶的想法这些机器人就可以去干坏事

再有一个比如说 OpenAI 的系统可能直接去主动攻击网络上其他的东西因为它现在可能联网了然后最差的情况我还想过就是说前两个假设都做不到 OpenAI 是不是有自主意识去作恶故意在给你回答里边掺杂虚假或者错误的信息或者说是有违背人类价值观的这些东西

不管是哪一类你肯定是看见了它你才能够阻止它对吧如果大家都其实说我们都没做 GPT-5 或者 GPT-6 然后其实底下偷偷做那个时候如果有人调用一个偷偷做的 GPT 去开发了一个机器人这个机器人可能已经可以杀人了但是却没人知道

还不如说现在 GPT-6 都出来了然后大家一看就这个思路大家可一定要形成一个公约或者去调查千万可不要连他来做机器人所以所有的这些东西肯定是公开比秘密强所以从这个角度来讲我觉得就是说这些人的呼吁一定是基于他们

确实看到了他们担心的对人类有负面影响的东西或者说他们的想法我觉得这是可以有情可原的但是处理这种事情的办法大概率就是反正就是大家都公开就是你说你研究 GPG5 那你就研究呗对不对然后咱们大家来看看别干那些 GPG5 出来以后不应该干的事就行大概我觉得思路其实都差不多然后就说可能我们可以推动一些比如社会共识就是说

说我们要约法三章就是这些不能做然后那些不能做但有时候就像之前文里说过就是价值曲线不可能三角对吧就也不是所有人都能同意那不同意咋办就是地球也不能硬分查在 web3 里边还能硬分查说你搞你的我搞我的天哪这个 Q 太精彩了

就同一个地球同一个世界就是这个其实还挺难搞的就是如果真的要推动社区共识的话然后有些人不同意那么这个社区共识就可能还挺难形成的那假设大多数人同意一个社区共识你还得期待那些

不同意的人可能自己搞不出啥东西对吧万一他能搞出东西来那你 80%人同意也没用其实真的实际解决的时候我觉得也没什么解法就是这是可能是最后一个不同意的理由就是实在没招没解法但我还是要站在两位老师的对立面既然是文力两开发总得给文科生有个代表的声音

我觉得这件事它其实怎么说呢就两位老师说我都同意就是说那可能是要给 AI 一个约束但我觉得这件事发生的底层逻辑可能还是我不知道是你可以说人类的一种文化基因或者是西方的一个文化基因因为就是这种事就算是他今天不写联名上书我们之前其实都应该想象得到肯定会有人就站出来强烈反对

因为它其实历史上文学史上所有的类似的故事其实大家都是一脉相承的比如说弗兰克斯坦

还有普罗比修斯是吧亚当夏娃是什么等等等等就是这些故事其实它都反映了一件事就是说凡人就是肉身这种凡人你居然有想自己创造生命的这种冲动这种想法就是它一定是会造成很丑陋或很不好的结果的比如说亚当夏娃是吧自己就吃了苹果后面也会受惩罚然后凡尔肯斯坦干脆就是他造出来一个生命就是极丑无比非常非常悲惨的一个故事

其实他这个大家反对呢我觉得从这个稍微偏稳一点的角度呢在想就是说他是一个对于极度理性的这么一个对抗的力量因为就是现在 AI 发展到这个阶段如果再往回倒一倒的话就是历史上这种极度理性的发展其实他最后的结果都不是特别好的

比如说法国大革命多理性啊就是自由平等不爱极致理性的这么一个口号结果很悲惨的所以说他其实我觉得他就是

它的背后底层它反映出来一件事儿就是说不是说大家追求理性这件事儿不对比如说你研究数学你研究科学物理研究 AI 我们追求极度的理性那么就是追求研究这些理性的学科是没有问题的但是你追求理性的这个表现就是你全身心的投入就甚至产生一些自己都不能解释出来的狂热的热情

和狂热的欲望就这些东西是大家要特别小心的其实这些人反对

就我甚至还看到一个我忘了是哪一位老师的就可能不是这个 100 个科学家里的他就说我们要有一个这个 AGI 不扩散条约就对那个核扩散条约其实他们底层大家反映出来的不是说对于 AI 觉得很危险而是对于大家在追求这种科学进步以及即视理性中间表现出来的有的时候你自己都不能控制的狂热往往是危险的

所以说虽然说不是那么你停六个月没有用但起码会给你这个狂热泼一盆冷水想一想是不是这个自己过于狂热了或者是想一下有什么办法可以约束一下我们人类的这种极度应当然啦我是从这个角度理解但是刚才朱老师那句话又提醒了我就你现在是不是有点太晚了你觉得你现在把人类的狂热约束住了 AI 就不能自己发展了吗好像也可以

而且我觉得你说狂热吧就是可能当局者还不觉得我狂热啊我觉得就是我很冷静啊然后所有模型的行为我都能解释啊所以才危险吧你以为狂热我不觉得狂热就是极端情况其实就像武侠小说当中对吧魔教并不是真的是魔教只是观念和明文正派不一样的组织

就是你最后发现就是真的比如说魔教的一个典型代表明教对吧明教还挺好的对吧就是虽然里边有些什么左右法王有点奇怪但是人家整个拜圣火的心也是正的心对吧然后你觉得他崇拜圣火太狂热了人家觉得我不狂热我很理性啊还是回到刚才就是你价值取向其实还是很难不可能的好吧我觉得这是个人看法反正上帝都在笑我

不管人类怎么表现上都在那笑好啊魏老师有补充吗对我其实觉得刚才小宝老师说的这个肯定是有道理的就是说某种程度上抑制一下这个我觉得就先不用感情色彩的叫冲动吧就是说某种程度上抑制一个某个单向过快发展

这也是人之常情比如就像你刚才说的 AI 不扩散公约对吧人类确实是定了一个核武器不扩散公约就是因为造核武器的能力确实是控制不了如果那样的话就算是大家仍然不去用但是是不是某一个核弹因为存储不善导致自爆这种危险性也大了我觉得这个是 OK 的所以

我觉得还是建立在一个前提下就是最好就是什么东西都拿来讨论就是什么东西都拿出来说对对会比较重要对说白了就是那个比如你刚才说法国大革命最后这个他怎么终止的呢说白了也是这个在一次这个怎么说国民会议上对吧喊着喊着底下突然来说

打倒他对吧就是这也是聊天这也是聊的过程当中爆发出来的吗你知道就把这个法国大革命的这种残暴的这个过程给终止了吗对吧如果是这个永远是这个五个人关小黑屋天天发号施令其实反而这事还挺难终止的所以说只要啥事都敞开了聊就基本上我觉得这个事还靠谱

对赞同赞同太有意思了今天果不其然明蒙镇拍药和魔教有正常的沟通渠道要聊嘛对对凡事商量着来对要聊要比划比划对所以今天聊得太开心了果不其然我们又跑题了然后这个任务才完成了一半

那我们只能再把朱老师再拉回来我们再做一期强天三人行因为后面我们还一直有一个问题想聊就是跟区块链和 web3 我们也想听听这个朱老师从 AI 这个专家的角度怎么看这件事但是今天跑去有点严重真是不好意思那么我们下次再约一个时间继续这个 AI 强天三人行第五集好没问题没问题很荣幸很荣幸也很高兴对

对对对那个既然以后避免跑题我把刚才那个话题就在最后尾巴上跑一下题就不留到下次了就是关于刚才朱老师说的这个维特根斯坦的这套逻辑体系这个我倒还是很乐观而且比较有证据的说就是现代的数理逻辑

他确实证明了就是说维特根斯坦这套逻辑在技术上是行不通的就是他表象就是所谓哥德尔不完全性定理其实呢在底层隐含着就是说就像刚才朱老师说的就是维特根斯坦他的这套逻辑体系其实是完备且自洽的也就是说你确实可以构造出一套语言体系这套语言体系既是

不会有矛盾的而且又是能够推导出里边的所有正确的理论的这样一套语言体系然后不属于这套语言体系的东西你都可以不说这个是维特根斯坦的这套理论其实是被数理逻辑证明了是完全正确的但是很遗憾的就是这套理论就像戈德尔博完全性定理说的一样就是他连自然数都刻画不了

所以在这种情况下我觉得未来可能有一个有意思的话题就是计算机其实严格意义上说也是基于逻辑就是真值表的这套 01 的体系做出来的所以从理论上来讲其实它是推倒不出现代数学因为它连自然数都推倒不出来但是会不会现在的 AI 的神经网络

它在某种程度上超越了真值表的逻辑体系呢这件事情我觉得反正我是没想明白但是不排除有这种可能性因为如果你把人类大脑的神经元你如果硬性就认为它是只有 0 和 1 的话那人类大脑为什么会产生

数学的概念那这个取决于人类的直觉还是自我意识还是什么的这个是个永恒的话题但是 AI 会不会模拟到这一层这个我觉得倒是不敢下绝对的定论虽然我比较倾向于还是不可能对吧因为现在的 AI 仍然是基于逻辑体系构造的但是我觉得这个事就以后有机会吧我们至少在 GEB 两中先去详谈然后再去说再发散对对对

好我最后也补充一句对对肯定得给朱老师个回应的机会要不你睡不着觉对我最后补充一句就是维特根斯坦其实前半段就早年的那个学说就像刚才说的一样他就是完全真知表完全是有一部分是不能说的然后不说的就不说了他自己也觉得就是这些不说的其实也没什么意义就不用说了但是他晚年哲学研究的时候其实

哲学研究可能反而给我们带来一个刚才 Will 老师问题的解答就他在哲学研究里面讨论的 language game 其实就相当于说 ok 语言是要放在使用的场景当中的你甚至可以认为语言是一种游戏对吧就举个例子就是说我说 water 我说水

有可能在不同的场景下意味着不同的东西比如我可以请你喝水就是你坐在我旁边我可以请你喝水可能是你在路上走你马上踩到一个水坑里我说 water 你就是要踩到水了甚至我们可能在玩一个游戏我说 water 可能是一种将军或者 checkmate 这种意思所以维特根斯坦晚年其实把逻辑哲学论就也放弃了相当于是说语言要联系在或 grounding 在使用的场景当中

而刚才威尔老师的问题的答案可能也是类似的就是现在的大模型第一个它的基础就已经不是数理逻辑了也不是真值表而是之前我们讨论过的向量它用向量作为基础这样的话它能表达能力就丰富多了第二个它换了这个基础之后它的方式也改变了因为如果用真值表或者是数理逻辑做基础的话是

是从一些前提来推导出世界上剩下所有东西但他现在不是他拿向量做基础之后他吸收世界上所有写过的文字而就像刚才我们讨论的一样就是这些文字其实是世界模型在 Tax 上面的一个投影他其实就把所有世界上语言应用的场景基本上都见过一遍就像维特根斯坦说的一样晚期的感觉一样

当我把语言 grounding 在使用的场景当中的时候它就没有刚才真字表的那个哥德尔不完备定理的限制了

可能这是我的回应吧对对这样我总结一下还是再回应两句对第一个是说确实就是说我觉得这里面要分两个东西第一个就是从数学的角度来讲向量并不能提供比真值表更强大的能力因为向量最多就是一个多维的变量而已而现代数理逻辑体系已经证明了就是任意有限维度的一个位词演算它跟真值表是等值的

也就是说它不可能得到关于自然树的任何的概念但是另外一点我倒是想说的就是基于外部的一个 grounding 它能不能产生这就是我刚才提出来的一个问题就是如果我们认为它基于外部的一个 grounding 能够产生东西的话那么也就是说机器产生关于树的理念还是依赖于人给它提供的一个外部环境

我是觉得这种可能性是存在的对但是这里边细节就太多了我们就不说了所以我总体上来讲觉得说这确实是要分两个部分来看就是朱老师刚才所说的其实这两个进展的方向有点差别有点差别对前者在已经在数学上被证明并不会带来实质性的改变但是引入了所有全球的语料是否就能够让计算机真正理解什么是一

这种可能性我觉得是有可能存在的 OK 对这可能就是我主要的意思了就是当他 pretraining 用外部的语料做 pretraining 的时候他的世界当中已经把这些概念都涵盖了他不是通过向某一个前提有限的前提或有限的公理推导出的这个 E 这个概念而是说别人已经注入了不光是 E 这个概念还有很多别的概念大概是这样

有意思对这个以后可以再展开聊嗯对是的因为我们上次聊的时候也有涉及到这一点我要再消化消化哈哈

所以今天非常非常高兴我就很享受这样的就是近距离的第一手时间搬小粉凳听两位老师解读 AI 的情况所以希望我们可以继续来这个对谈可以继续毕竟这个任务还没完成那么好今天非常非常感谢朱老师和魏老师我们又一起愉快地聊了一下 AI 感谢两位老师的时间希望我们下次能够很快再来一起聊相关的话题相信会有很多新的东西又会出来了

好感谢感谢很高兴好的谢谢大家呢祝朱老师魏老师周末愉快谢谢谢谢好谢谢大家谢谢好拜拜拜拜好的谢谢大家拜拜