We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode OpenAI 变故看秩序与创新:自由创造奇迹 vs 约束是自由之母?

OpenAI 变故看秩序与创新:自由创造奇迹 vs 约束是自由之母?

2023/11/22
logo of podcast 文理两开花

文理两开花

AI Deep Dive AI Chapters Transcript
People
播客嘉宾(魏老师)
魏老师是一位专注于中东文化和古代文学的学者和播客主持人,通过她的研究和教育工作,为人们了解中世纪阿拉伯文化和《一千零一夜》做出了重要贡献。
Topics
小炮老师认为,OpenAI事件体现了秩序与创新之间的矛盾,创新需要一定的秩序和监管,但过度监管又会扼杀创新。他认为,‘大众创业,万众创新’时期虽然是创新时代,但也建立在一个相对有秩序的环境下。沙盒机制是包容创新的一种手段,但沙盒内的创新未必能成功应用于外部环境。创新与秩序的关系是纠缠的,此消彼长,目前社会秩序供大于求。 魏老师认为,熵增熵减理论可以解释创新与秩序的矛盾:创新往往发生在混乱中(熵增),而秩序追求的是稳定(熵减)。创新是秩序到来之前的一个短暂过渡阶段,创新成功意味着新秩序的建立。他认为,区块链技术是构建秩序的一种手段,它通过共识机制实现熵减,是一种由创新直接产生新秩序的模型。他认为,AI是创新和混乱的供应方,其发展带来的挑战是巨大的,人类需要关注数字世界中AI带来的风险,并寻求数字技术来制衡。 魏老师从熵增熵减的视角分析了创新与秩序的辩证关系,认为创新往往产生于混乱(熵增),而秩序追求的是稳定(熵减)。他认为,一个系统中熵增和熵减的平衡才是最佳状态。他以金字塔的建造为例,说明创新需要一定程度的自由,但同时也需要秩序来实现。他还讨论了沙盒机制,认为它是一种在局部范围内容忍混乱以鼓励创新的方法,但沙盒内的创新未必能成功应用于外部环境。他认为,区块链技术是秩序的供应方,它提供了一种全新的构建秩序的手段。他认为,AI是创新和混乱的供应方,其发展带来的挑战是巨大的,人类需要关注数字世界中AI带来的风险,并寻求数字技术来制衡。

Deep Dive

Chapters
本期节目讨论了 OpenAI 创始人 Sam Altman 被解雇的事件,探讨了这起事件背后是资本驱逐还是价值观冲突。节目嘉宾认为,这很可能是 AI 安全边界和商业模式之间矛盾的体现,即秩序与创新之间的矛盾。
  • Sam Altman 被 OpenAI 董事会解雇
  • 事件背后可能涉及 AI 安全边界和商业模式的冲突
  • 事件引发了关于秩序与创新关系的大讨论

Shownotes Transcript

听众朋友们大家好,欢迎来到新一期的《文理两开花》我们已经脱更了很久了,实在是不好意思但是今天就不强调各种原因了反正最好的实际行动就是更新起来就是了所以今天我们和魏老师又一起我们想聊一个很有意思的话题但这个话题其实说出来大家可能都不信这次真的是没想蹭热点但是居然这个就蹭了一个巨大的热点

因为主要还是脱空太久实在过意不去所以就跟魏老师商量着我们打算更新一期但实在是没有什么好的主题所以我想来想去最近我想了一个自己心里边一直在想的一个问题或者是所谓的疑惑吧也是跟这一年发生的所有事情都比较相关的就是志趣和创新之间的关系或者它俩到底是一个什么此消彼长的关系

于是我就发微信给魏老师说干脆就以他为主题吧然后魏老师就说行结果呢第二天早上这手机上就跳出过消息说这个 Sam Altman 被下课了 OpenAI 的董事会把他开除掉了但是原因呢其实到现在还是不是很清楚

所以呢整整一天昨天是周六周六整整一天就是各种排山倒海的猜测社交媒体上的就是靠谱的不靠谱的连什么性骚扰的原因都出来了反正最后就是一点点的线索然后这个慢慢清晰大家也慢慢就是有了比较确凿的证据吧就是当时人也发了言所以到了晚上基本上

就清楚这还是一个创始人之间或者是团队之间的大家的观念不太一致造成的结果那大概率呢还是对于人工智能这种安全边界的不确定性安全一派和这种要尽快的发展这种突飞猛进的商业模式两派之间的矛盾吧但是

后来我想了想这个热点实在是太巧了因为它四舍五入其实就是一个秩序和创新之间的矛盾的关系所以呢这次就是莫名其妙的我就把这个题给压对了

但是呢我刚才录播客之前我还翻了一下推特好像现在已经又反转了好像他已经要回来了就是现在那么很有可能的结果就是他会回来然后现在董事会就被换掉了然后换掉跟股东相关的所以呢他就有可能从一个真的是从一个非盈利的 non-profit 就变成了一个盈利型的机构但这个大家我们可以等待看一下结果

所以呢就觉得和魏老师的这一次更新的感觉还是非常非常的巧因为这个创新与秩序呢刚才跟魏老师开播之前聊他也说自己最近想了很多跟这个相关的问题那么今年呢其实我觉得这是一个非常大的主题不只是包括创新领域科技领域

其实也是包括经济领域甚至是全球的主题都是跟他们的矛盾相关的但是这个主题其实又比较难聊因为创新和秩序或者说秩序中的监管它永远是一个实际上很难兼容的两件事然后如果只要讨论这个话题大家基本上是观点是出入比较大

这个创新到底是需不需要秩序需不需要监管然后我们什么时候监管怎么监管然后谁来监管谁来决定好像又是个灵魂三门所以这些话题呢就经常会把各种有意的小船推翻掉所以今天呢我还是和魏老师我自己觉得我们俩的有意的小船不会因为这个话题而翻掉所以我们会仔细地聊一聊这个话题

对对对感谢小炮老师这个开场我也说两句一个是确实很有意思就是小炮老师想出这个秩序创新的这个概念对其实就很像文理的这个大框我觉得甚至堪称一个某种程度上可能跟其他大框都有关系的一个更大的框

我觉得这是有可能的所以当时小炮老师发出来就这五个字然后我就觉得特别兴奋我说这个概念真是太好了对这是第一第二是说小炮老师刚才说了我们这个脱更太久但我觉得这次有个新气象就是好像文理出了一个新形式就是在真正播客开录之前小炮老师都写了一篇小作文来这个

讲预告等于是一篇这个强有力的预告小作文所以我觉得这个今天有一个网友说的对说还是主要全靠小炮老师带我觉得是特别有意思带节奏好像是这个意思所以觉得特别好玩对对然后我觉得就是刚才小炮老师说的最重要的一点就是我觉得我们可以应该从文理两开花的角度就是惯有的这种视角能够讨论一些

创新与秩序的一些很有意思的点对对对不仅不会让我跟小泡老师的友谊小船翻船而且说不定还能弥合很多原来因为讨论这个问题而导致友谊小船翻船的这个人是不是能够争取取得一些共识对好呀好呀那太高兴了

那我们今天就赶紧进入主题就是我们会聊一下最近的感想其实有好几件事吧都是跟他相关然后可能会讨论讨论他们俩的关系到底是什么以及我们现在我们跟他们的关系是什么

那我先请魏老师谈谈感想吧就是既然扣到了热点还是对热点评论几句或者是魏老师最近的一些思考有什么地方跟它相关呢先说 OpenAI 这个吧其实 OpenAI 这个我倒是因为这两天一直在开会有点忙也是那天看了这个新闻之后想起来

吓一跳然后就赶紧去翻各种八卦什么这那的但是就像小宝老师说的这个这种大事出来肯定都是一堆的信息天昏地暗的然后到底哪个是准的哪个是不准的可能也得慢慢猜水落石出然后尤其是今天一早又要反转又要说这个回去那么我的一个最大的感受就是说大家一定都会认为说董事会和奥特曼他是两派

对吧但是这两派到底是分别的价值主张是什么或者说董事会为什么会开掉这个奥特曼呢大家认为最多的肯定应该是关于这个就是 AI 到底是应该

拼命全力向前发展还是考虑各种安全边界这个问题我觉得这可能是两派的一种说法另一种说法也有说是关于商业利益的就是说可能有一方认为说这个还是应该更多的顾及商业利益然后另一方还是觉得应该更多的顾及一种技术中立的或者说一种非盈利组织这种模型

反正各种说法都听说过我最主要是没有来得及时间去挖掘说现在最新的进展是不是已经非常明确了说是哪一派是怎么回事我倒想最好是听小胖老师直接介绍一下因为这块确实还没有研究太清楚然后最有意思的是这个看到一个网友的一个段子可好玩了说这个说

说实际上大概率是现在的 OpenAI 这么发展下去未来几十年可能就毁灭人类了所以那个时候的一个人穿越回来鼓动了董事会把奥特曼给开除了来扭转 OpenAI 的发展方向

我觉得这个也体现一个就是大家各自认为就是谁占哪一派的一种倾向性对吧就这个段子编出来那肯定是认为董事会是站在这个更加发展安全边界的这个角度而奥特曼是要全力加速 AI 的本身的发展 AGI 的这个方向

所以我觉得可能性是最大但是其实我真的是没有明确的看到这个结论不知道小跑老师是不是就是现在看到最主流的结论大概是啥其实主要还是看他们的行动就是目前呢大家猜测的也比较多但是刚才魏老师说的我觉得很有意思就是大家在思维惯性中可能都会觉得发生这种事情都爱和之前苹果的发生相同的事情做对比嘛

那都会觉得是资本驱逐是吧就是资本跟权力之间发生了冲突然后把 CEO 给干掉了但实际上呢其实这次确实跟大家的直觉思维关系有一些不一样其实它不是一个资本驱逐的问题而恰恰是相反的是因为就目前的信息来看因为 OpenAI 它的这个董事会的架构跟别的公司是非常不一样的嘛

就是说其他的公司的董事会基本上是和他的投资人要为他的股东负责所以说跟资本是站那一派的而这个 OpenAI 因为它的创始的初衷就是非盈利机构所以它的架设就是赚钱的机构是被一个非盈利的董事会且这些董事会中的所有成员都跟 OpenAI 所做的事情没有太大关系的人组成的

那么也就导致了这个董事会代表呢恰恰不是资本这一派恰恰是他们的初心所以呢就是现在是周日的下午三点大概是已经过去了一天左右现在最新的消息呢我刚刚还看了一下这个是彭博的一个记者大概就是说很有可能是他会回来但是这个前提呢是董事会会解散就是会换一个董事会

那换谁呢就是新的董事会的成员会是谁呢最大的一个可能性就是微软的 CEO 进来因为他们是最大的股东嘛最大的投资人

所以这就很明显了就是可能真的要回到一个不拧巴的就是大家比较习惯的就是一个正常的董事会结构就是所谓的董事会会要为股东投资人负责那么 OpenAI 之前那种比较拧巴的虽然是为了全人类的福祉而努力但是它的执行机构呢却是一个引力型机构的这种形式呢有可能就会成为过去

这个大家可以拭目以待但是这件事情呢其实我们今天也不是说要聊 OpenAI 这件事我觉得等我们这个博客发出来之后呢我相信就这个对他的分析的博客呀文章啊之类都会已经排山倒海了所以我们还是本着文理两开花这个挖掘第一性原理的这个主题我们会就着这件事呢去聊一聊智慧和创新之间的关系那如果再把它拓展一下

有可能就是说我们大家的两个理念就是通常的两个理念一个是自由会创造奇迹然后另外一个理念是约束才是自由之母这两个看起来不是那么太大的冲突但实际执行起来往往就是有很大冲突的这两个理念

我先請魏老師接著先談談自己對這個理念的想法或者說你覺得就這一個概念對的話你自己最大的感想是什麼?明白了就是剛才小豹老師說的其實

我们刚才说的奥特曼的这个事就是做个引子,这个引子呢,如果说能够扣到这个题上呢,可能大家最能够直观感觉的就是,比如说董事会和奥特曼一边代表创新,一边代表秩序的话,就正好跟我们扣题。

现在看来好像也差不多但是就是小豹老师刚才说的其实只是跟直觉相反也就是说董事会可能更代表一种公益性的非盈利性的组织似乎更贴近于我们说的创新也就是说我们只发展 AI 只对人类做贡献然后这个奥特曼呢反而和微软在一起呢其实是更关注盈利更关注一种商业化的逻辑其实从某种意义上来讲好像

更偏重于一些秩序就像咱们上次曾经聊过的一件事就是比如说高利率的情况下可能经济活动就会变得更有秩序然后如果完全是零利率其实就会更加鼓励创新所以从这个角度来讲他们两个大概类似有这么一点关系吧是不是对对这个可以从不同角度来想啊

就是如果按照魏尔老师一个逻辑也是说得通的就是他们代表的是资本主义秩序嘛就是你这个 OpenAI 的架构本来就是从这个公司架构的角度来看你是创新因为你用了一个非盈利的机构来治理盈利性机构那么现在又回到了这个盈利性机构的主导它好像是回到一个资本主义的秩序

对对但是从另外一个角度就是看他们做的这件事来看呢就是之所以会有这个矛盾那他还是董事会中这位创始人就之前也是 Jeffrey Hinton 的学生嘛就是他一直是觉得 AI 是需要在一个充足的安全的前提下来突飞猛进的发展的所以从这个角度来讲似乎他是代表秩序但是奥特曼呢他就跟我们上一期聊的这个就是

有效率他主义有点相关就是说他的理念反而是我要不断的创新我要最大程度的创新然后带来最大的结果然后这个结果呢我再用它来改造人类的福祉吧就是从这个角度好像他又是创新的代表嗯对对对嗯

有意思有意思对对我觉得正好这下真的回到说关于创新与秩序这个相关性的问题了其实我觉得有好多的角度去考虑这个事我先说一个最有意思的我觉得有意思的角度其实就是关于商或者确定性的理论我觉得这个大家可能都聊过这个事就是说我们其实就是所谓商这个理论就是说

就是讲的是一个系统的一个混乱程度或者一个不确定性对吧那你会看到说所以人们好像都会喜欢说商减就是好的就是说呢那希望我们这个系统当中呢有更多的确定性或者有更多的结构或者也就是有更多的秩序

对从这个角度来讲如果你一味的强调说伤是不好的而伤减是好的那么其实你就站在了秩序派对吧就是你强调秩序的价值其实才对人类最有效但是你会发现人类的这个创新活动它本身就是一个破坏秩序而且还需要有一定混乱的周边环境才发生的事情对吧

就是创新与秩序的这个矛盾好像就从这个里面来就是我们凡是看到创新的特点第一它产生于混乱之中也就是所有的人的如果思维方式全一样整个这个社会一切都井井有条

完全遵守一个秩序所有人的思维都被固化住遵守一个秩序去行为不就没有创新了吗对吧我们其实有时候说某些社会制度的特征就是这样它限制人的思维人的思维天生的就是有这种发散性有这种混乱性有这种总是觉得周围啥地方不对劲我就是要折腾一下的这种感觉才会有创新

然后秩序呢恰恰相反就是说如果你觉得这个商检是一个好的东西但是如果强大到一定程度那么就实际上整个这个社会运行完全有规则在这种情况下每一个人可能确实有了非常确定的未来有了非常确定的行为模式然后有了极大的安全感

那这样子的一个东西可能就有点像什么就有点像我们原来举那个例子说巴西队跟 31 个小学生去踢球那他一定是得冠军就这个一切的结果都已经被预设好了

在这种情况下其实它真的符合我们发展的这种价值观吗恐怕也没有了就是一切都确定所以从这个角度来讲我觉得创新和秩序这个东西为什么小跑老师不是写那篇文章吗说不管是说自由还是说这个约束是自由之母为什么人会这个

产生这种纠结就是觉得这两个东西没有绝对谁好谁坏总觉得有点纠缠其实就是因为商增和商减这两件事其实没有一个绝对标准就是应该是一个系统当中的商或者它的确定性这两个东西是处于一个比较平衡的位置这个系统才是一个最佳系统

一个绝对没有伤的和一个伤极大化的系统其实两个系统某种意义上都是死亡就有以前我们经常强调的是伤最大化然后变成热剂系统就死亡了其实不是那么回事对吧其实是说如果一个系统绝对有秩序绝对有结构就像一块晶体一块金属那样其实它也没有任何的活力没有任何的变化所以我觉得就是创新与秩序

为什么会永远大家在纠结为什么会就像小宝老师说的甚至有些人的这个友谊的小船都会为争论这件事情而打翻实际上是因为大家没有意识到说商和秩序或者说商和确定性他们两个是一个平衡态才是最好不是谁最大谁最小就最好我觉得这个角度其实是最重要的一个角度嗯

对对非常精彩终于又听到了魏老师的就是经常能够把一件事就是首先带到一个非常深的点我就再往浅的地方再带一带但是我非常同意魏老师的想法其实这件事说白了就是我们为什么总觉得创新和秩序或者说创新跟监管它是一个对立呢实际上如果你从这个词的角度来看的话创新它是一个褒义词

就至少大家从感觉上讲创新是好的然后秩序呢或者是监管呢感觉就是你要这个不好的事情发生了所以你才需要秩序你才需要监管我们大家都很熟悉的一位老师不是曾经说过吗监管就是监就是看着你发展管就是事情不好的时候来纠正你就大家都知道是谁了然后但实际上呢这两个词中间所带出来的这些情绪呢

往往就会让大家观点会有偏颇但沃尔老师经常就会抛开人类的情绪就是从最深的角度来挖掘就是说不管你是创新还是秩序的话这两点实际上在一个自然界的状态中它都不是一个正常平衡的状态那么所谓好的状态可能是一个正常平衡

我就举个例子吧就是刚才魏老师在说其实创新和完全的创新和完全的秩序都是一个商增或商减都是一个混乱的状态确实是这样的我们大家一说到创新这个词的话往往可能会想到这个

大众创业万众创新的时代大家会觉得那个时代是最好的但实际上在那个时代虽然大家在做很多新的事情但是它的这个酝酿它产生的环境却是一个非常有秩序的环境也就是说在当时的那种环境下大家是对未来有比较确定性的期待或者说比较确定性的这个

预知那么在这种确定性的感觉下呢就是其实是在一个非常有秩序的情况下大家会往这个方向来走所以呢这是一个创新的环境就是我写的那篇文章我举了个例子其实这个例子听起来跟刚才魏老师说的有点相反魏老师的意思是说创新是在一个就是有商的环境下就是在不确定性发生的情况下是从混乱中才会有创新嘛因为所谓的创新就是跟原来的制度相反

但是我举的那个例子呢实际上就是他举了一个例子就是这个金字塔之前大家都觉得是一个奴隶创造出来的但实际上呢各种考古学家发现其实建造这个人类这么伟大创新这么伟大奇迹的这件事呢其实只有这个自由的工匠才能做出来因为如果你是奴隶的话在这种不自由的或者说过度秩序捆绑的情况下你是没有办法发挥你最大的这个聪明才智的

但是从这个意义上讲呢实际上他也是从一个在有秩序的环境下才预料出来的创新但他跟魏老师所说的创新呢是在一个极端态下出现了一个新的现象呢可能是相反的就我先说到这儿吧不然又说的太长我觉得你刚才说这个例子很有意思我倒觉得他们可能存在着一个所谓全局与局部的这个关系因为你刚才所说的

这个金字塔的这个伟大创新其实是只有自由工匠才能做成的嘛那从这个自由工匠的这个角度来讲它其实是一种创新的或者一种混乱的状态对也就是说自由工匠的脑子里可以有各种各样新奇的想法然后才出现这个金字塔但是有秩序的奴隶呢大概是完成了

我们常说的那个从一到一百也就是说把这个金字塔最后按照这些有思想的灵活的工匠的这种设计给它做出来这样的话是不是其实就是创新与秩序之间是一种

就在这件事情上我觉得也是达到了一个平衡或者是一个结合才产生了这么一个效果可不可以这么说也可以这么说因为我刚才在想另外一件事怎么说就是魏老师解读的那种创新态或者是就是那种创新的状态其实都不一定是很好的状态就是

我举个例子吧比如说就真正的创新它从定义上讲它一定是跟现有的不一样如果从这个角度来理解的话那就是那所谓现有那一定是有秩序的我们在已经存在的东西那么它没有了秩序或者是脱离了秩序它一定是在一个很混乱的状态下那么这个状态下呢其实大家是不会太喜欢处在那种环境下因为那是一个没有秩序的环境下

就是在比如说这个大革命对吧就是大革命是推翻旧秩序建立新秩序的这么一个时期但是你并不想生活在那个时代因为那个时代是一个完全没有秩序的那么所以我的意思是说这个创新它其实只是在秩序到来之前的一个斩断的一个空间中产生的一件事它才叫做创新

如果你创新成功所谓创新的成功那意思就是说你的新的秩序建立了那它又是在一个新的秩序下的一个非创新的东西就加密世界其实也是一样的我觉得魏老师可能会举这个例子对对等一下可以聊一下这个话题但我觉得你刚刚说的这个很对其实就是有一个点就是说

创新之后它可以建立一种新的秩序对吧就是在创新成功以后建立一种新的秩序然后这种创新呢它在旧秩序下呢它代表着一种混乱因为如果创新跟旧秩序是一体化的那么就不会诞生新秩序了对吧也就是没有创新了所以从这个角度讲我觉得其实就反映了所谓那种

创新跟秩序的一种甚至可以说就是一种纠缠的状态就是不能叫平衡就可能用平衡甚至都过于弱了对吧就是它必然是产生一种纠缠一种纠结就是创新既打破旧的秩序然后它又建立新的秩序对就像量子纠缠那样对

所以我举一个例子你刚才说这个话题就是引发我想到的关于创新与秩序的一个例子非常有意思就是因为人认知到一种创新它往往会在一个需要一个混乱的小环境我们可以这么说就是需要一个混乱的小环境

对吧

就是这样一个关系然后但是这里面有个最大的问题就是人怎么知道这种混乱是值得的或者说人怎么知道说我需要纵容或者包容这种混乱让它去产生新的东西并且这种新的东西对社会而言是进步的是好的我才能够让它在

发扬出来因为并不是所有的混乱都诞生创新对不对并不是所有的混乱都能够带来一个比现在秩序更好的秩序所以人在这件事情上就产生了一个极度的纠结

就是一方面又认为说我们需要有创新我们不能扼杀创新不能用绝对的秩序和没有伤的这种确定性来消除创新但是我们又担心这个东西可别混乱到直接把我们现有的秩序搞乱了就像你说的那个

大革命的那种导致全社会彻底混乱进入到一个伤的状态然后经过几十年才缓过劲来的那种状态大家总是在这个角度上去纠结于是就发明了一个很好的概念就是 sandbox

就是沙盒就是现在社会其实你看到所有的监管机构因为你刚才提到监管了各行各业的监管机构他们在发现一个有可能是创新的东西但是又担心它会造成大范围的混乱的情况下采用了一个方式就是我构造一个小的局部然后让你在这个局部里你的这些创新的 idea 和行为

可以导致足够的混乱只要你别影响外园对吧然后你在这里混乱混乱混乱大家把这个混乱期度过然后形成了新的模式然后在你的这个小范围内获得了新的秩序之后我们再看这个秩序能不能跟外部的大秩序能融合或者是对外部大秩序产生一个迭代这其实是

现在人们理想化我只能说理想化主义下

包容创新和鼓励创新的一种手段然后在这个情况下沙盒这个 sandbox 其实就取它的本意就是 sandbox 是什么呢其实就是小孩的一个游乐场就我给你放一个大概一个箱子的这么大一个空间一个小孩钻进去里边有沙子可以这个沙子随便揉成各种各样的形状你甚至可以使劲往外扔反正你扔到 box 的墙上又弹回来了

就没有影响到外部的环境没有用沙子把外边弄得一塌糊涂满地沙子非常脏的这种环境所以其实 sandbox 就是给小孩一个这样的一个混乱的创新环境让你在里边随便折腾我看你折腾出什么来也许你这个小孩有很强的艺术天才在这个 sandbox 里构造出了一堆的这个艺术作品那我们承认说这个小孩可能艺术细胞真不错将来他出来把他培养成艺术家吧

就类似这个意思所以其实我觉得就是人现在对于创新的态度发生了一个进步就是说其实就是用容忍局部的混乱的方式来鼓励创新然后来能够争取让他未来可能对旧的秩序产生一个迭代

但是这是我想说的是刚才呼应你刚才说的这套逻辑但是我是觉得说有一点就像 OpenAI 这次的事情发展下来这个状况其实你会发现这种纠结就存在这里就是我们一方面已经发现 OpenAI 已经有这么强大的能力

所以我们大概率认为它是一个巨大的创新它如果能够跟我们现有的我们所期望的那些不被破坏的那些秩序的基本原则能够有效结合的话那大概是给人类可能能创造巨大的福祉但是现在大家就担心说

这个 open AI 这个东西它相当于出了一种新的人就假设是一种新的人它不是那个被我们就是有一段编码然后给他一个输入就能够得到确定性输出的那么一个东西而是一个可能如果我们把它就这么放出来它是不是一下子就整个把我们现在整个人类社会的这种认知的秩序交流的秩序语言的秩序全都打乱了

所以在这种情况下大家其实是在纠结在这比如说我提一个问题就是说如果我们想给 open AI 构造一个 sandbox

让他在这个 sandbox 里去尽情的行为然后我们能够观察到他的能力和我们这个社会秩序的边界然后我们再决定让他怎么应用于全人类的话那请问这个 sandbox 会是一个什么样边界的东西呢就比如说我们放一个城市里边有三千万人

然后把它弄个大局域网然后让这个 AI 放在里边成为这个城市的一个社会的一等公民对吧理解我说的意思吧就是说我们如何才能够构造出这样一个环境来让我们放心的去试验 OpenAI 的能力如果不是那其实就是现在这个状况就是 OpenAI 直接能够被全世界的每一个人访问然后跟他去问答让他去做什么什么什么这那的那么

这才是现在大家担心的就是因为没有一个 sandbox 这样的东西控制它那它其实可能就会导致失控就是说你一下子就让它直接参与到了原有的旧秩序当中那是不是就会对旧秩序产生一种像你说的一种不受控的大革命式的一种混乱和灾难

我觉得可能大家其实现在就在纠结的这个问题呢说的有点多非常好非常好就是这个其实又回到我们之前不是经常讨论的一件事就是说三爆沙盒机制呢确实是现在全世界公认的一个就是所谓的福之创新的手段但这个经常会带来一个问题或者带来一种讨论就是你用三 box 里边实验的东西它究竟是革新呢还是

不能用革新和革命这个词就是说你放进去的东西它到底后面它会不会真的是真正的创新还是它慢慢的就被同化成一种对原有知识的一种微改进就是一个革新

我觉得大部分的情况都是后一种情况后者因为这就是一个悖论嘛就是所谓的如果咱把这个创新就定义成那种颠覆性的创新就是跟原有之去完全不一样的那么它只能在让这个世界同时适用的情况下它才有可能发生嘛就是说举个最简单的例子我们就还是回到加密还是回到 Crypto

这个区块链领域最近也发生了很多事情咱不管说是我们讲的国内的区块链还是香港的 Vibe3 还是怎么怎么样但是它其实如果我们从这个金融角度看这个区块链它现在从我的角度看它就是一个放在 Sandbox 中好几年然后现在已经被完全被现有金融体系同化了的东西

它是一个微改进你看现在不管说 RW 还是任何东西你说它只要是你现在还能够一个非常有秩序或者说能够在舞台上还能够伸展的一些东西它一定是在沙盒里边已经被棱角磨得差不多了并且能够适配到现有金融体系中的一个东西那么我们之前的从这个所谓的中本从还是之前大家所谓的各种就是非常狂野的想法或者是颠覆的这些理念呢

从现在来看我们可能还是要不就在平行宇宙中发生那么要不就是在现有秩序的对里面我觉得 AI 也是同样的问题当然了就是从技术上讲可能是不太一样的那现在呢我们也都看到了像欧洲现在已经出了这个 AI 的监管法律那么现在刚刚结束的中美会谈是吧 APEC 其中一项最重要的合作就是中美之间对这个 AI 监管方面的合作

所以我觉得 AI 有可能它的这个影响会更大但是如果我们还是把它放到沙盒里我觉得想象中的那种颠覆性的 AGI 的这种代替人类的至少是会晚来很长一段时间吧它有可能会在现有知识下还是会被磨成一件我们比较熟悉只是面目稍微有点更新的东西

没错因为我刚才提沙盒这个概念其实最主要是想提这个就是旧秩序的掌握者或者说人在面对这种

创新必然产生于混乱而且可能导致混乱的这种心态的这种纠结人们总是看历史就是说这个创新的这个过程然后让这个社会进步了迭代了然后于是乎呢就会期望下一次创新呢也是对社会进行进步或者迭代其实忘了一件事就是当初那个那个创新发生的时候其实基本上都是混乱

就是从混乱中来而且会导致社会的混乱然后最后混乱了一段时间才最后又对于社会的进步产生了作用我们都是事后来去看只是忘了当初的混乱然后总是想着当初是进步于是乎就会得到一个错觉就是说我们能不能有一个办法只要这个进步不要那个混乱

所以我们就把它套进那个沙盒里这是最理想化的一个状态但实际上基本上确实就是所有的这个沙盒的这种努力目前来看好像基本没有太多有成功的因为逻辑上来讲其实很简单就算你在沙盒里印证了清楚了它适合沙盒那个环境那把它放出来之后要么它就是就像你刚才说的要么已经是没用了就是已经对现有秩序不会产生触动了

所以那就是一个敏然众人对吧要么就是他在沙盒里当初所造成的那个混乱其实在现有的社会还在造成一次否则的话他就没有达到那个从混乱到有序到秩序的这个效果所以我觉得所有的这种沙盒监管的模型大概率最后不行对但是这件事情就回到 AI 就是这样就是刚才我想提的那个问题其实就是个反问

如果没有一个所谓的沙盒能够满足现在人对 AI 的这种监管的这种试验的话那不就是等于你得承认 AI 一开始就必须放在全世界的这个范围内去直接用才能够有它的效果就因为你连个沙盒的 idea 都构造不出来

对吧就像我刚才说如果你想把 AI 放在沙盒里你应该咋放对吧因为你比如说你把区块链放在沙盒里那可以说我让三个银行互相之间搭个链然后这就像个沙盒似的去让它运作但是 AI 这种东西如果你想象一个沙盒的话在 AGI 这种环境下恐怕你连想象都想象不出来

就像我刚才说的难道说弄一个 3000 万人的城市然后里边放一堆 AI 画个局域网吗如果你网络跟世界外边是连通的话大家仍然都跟 ChatGPT 聊天的话那你看来这个沙盒也没够到成所以其实这种想用限制性的方法去约束创新的这个东西确实是不太行但这样我觉得这个其实就是一种纠结或者一种纠缠混乱跟秩序的这种迭代就是从混乱到秩序再到混乱再到秩序的这种迭代

应该其实就是可能就是社会发展的这种固有规律吧对只不过你担心的是说 AGI 这件事大家可能担心的是一个叫什么突然的一个彻底混乱就是全社会一下子混乱了会不会担心这种情况的发生我觉得其实

这个回到咱们原来聊过很多 AI 的话题就是从这种方式这个角度来讲我自己反而可能是偏向于有效加速主义者的这种逻辑就是反正你担心也没用因为你也没找到别的好招你对吧也没有 sandbox 也没有什么的就你担心也没用就大家就放出来反正走一步看一步好像就是这个状况对对对

我记得上次录的时候我忘了我当时具体啥观点只记得好像跟魏老师相反但其实现在我我也有点倾向于了就是呼应刚才魏老师说的我非常非常同意其实他俩就是一个纠缠态就我刚才想了一下你把他作为一个概念对也不是一个对立的概念他就是一个真的是一个纠缠的概念就是你中有我我中有你然后那种而且就是只要是一变身为对方然后

另外一方马上就会出现那种纠缠状态所以他其实也就是这个世界的两种理念就是不停的忽走忽右就像跳舞一样左脚右脚然后他其实也是一个供需规律吗我记得我在那个文章里面写他就是一个当秩序比较少的时候创新蓬勃发展的时候可能是在一个比较混乱的状态他没有什么秩序

但是创新一旦是成了气候然后用力过猛的话那么又会在现有的秩序下冲破底线然后变得一地鸡毛然后这个时候秩序就会重新抬头开始硬钢我这联想到我们当下的状况那结果这秩序又供过于求原来是供不应求没有秩序现在又秩序太多了现在就是这样一种情况

然后创新就被干脆就被绑住了然后大家就开始躺平秩序和创新的这种纠缠他如果从这个角度来看也是各种不停的纠缠但是他有一个先后的关系就是此消彼长但是我们现在明显他就是一个秩序供大于求的时代

就不管他是不是真的需要这么多秩序还是你已经走上了这条路然后你后面只会越来越多秩序监管会越来越多但他现在是这个趋势于是我就觉得他是始终在纠缠但一定会在某一个时刻一方的力量大于另一方对对对我这里岔开一个话题啊就不是说

我发现一个很有意思的点就回到我刚才说的那个商增与商减的那个角度来说 blockchain 这个东西这种技术你会发现它到底是谁的供应方吗这件事我觉得很有意思就是现在我们看来我越来越看到说 blockchain 其实这种技术是秩序的供应方对不对它提供了一种全新的构建秩序的手段对吧它的源起

表面上我们说它是一种科技创新但是你其实会发现说

它实际上是在一种完全原来无秩序的一种状况下能够找出一套独特的秩序因为中本聪最早发明比特币他就是说那我全球的电子支付这人跟人互相都不认识对不对我给你我说我给你钱你咋知道你拿到了钱然后怎么全世界都知道你拿到了钱这件事情实际上是从全世界人毫无秩序的一种状况下创造出来的

创造出了一种全新的秩序能够让人与人之间

完全无关的人之间都可以来做转账都可以来做金钱方面的合作它是一个强大的构建秩序的手段而且其实是在区块链技术的鼓吹者们也是反复强调这一点对吧就是强调区块链是一个商减的一个逻辑对吧它通过哈希通过投票通过共识算法达成了一种商减的状态甚至有人提出来就是说其实

其实是这个区块链跟生物体是一样就是吸收能量然后创造结构对吧就跟我们人体跟生物体一样吸取外部的能量然后创造结构所以比特币挖矿消耗大量的能源大家也认为它是合理的这是一种创造秩序的手段它是秩序的供给方所以曾经有过很长一段时间大家在讨论说区块链是不是 regtechregulation technology 就是这个监管科技

其实从我现在的角度来看我觉得大概率是有可能这样的

这件事情有两个完全不同的角度去想第一如果你站在一个纯自由主义者纯创新主义者混乱主义者的角度你当然是反对监管的对吧然后所以呢当我们一旦说区块链是 regtech 的时候那么那些区块链的支持者们反而都不同意了对吧就我们这明明是创新我们是为我们带来了货币的自由结果你现在说是一个监管状态

监管科技就是最后发现原来是监管部门可以强加于我们身上的这种科技那还了得那我们宁可不要区块链我们也不能够向着这个方向发展这是反对的角度但是正向的角度你会发现那你应该怎么去理解 regulation 这件事情就 regulation 这件事情就是 regulator 们对你的一种行为吗

不一定是这样就比特币它从这个世界当中发展出来不就是一种技术上的秩序的建立吗所以区块链实际上实现了什么我们举个最简单的例子就是康胖

我们聊过就是康胖的就是你把抵押资产放进来然后通过一套利率的计算方式决定说你借走钱的时候多长时间要还多少钱如果还不了其实你的资产就要被清算赔付给那些借给你钱的人这套通过智能合约创立起来的秩序

它不也是一种 regulation 吗就是人进来这个环境要符合一种 regulation 符合一种行为的规范那人类社会自己发展比如说社会的道德对不对没有一个执法者来去惩罚你你就不遵守道德吗不会的因为你周边的人因为你不遵守道德而鄙视你所以道德其实也是一种人类自发的一种 regulation 所以说

我觉得大概率有一种可能性就是区块链向前发展之后它会变成通过不管是技术还是叫智能合约化的一种分散在全世界非常所有的地方的一种

局部的内生的或者说共识的这种 regulation 那从这个角度来讲你说它是 regtech 难道有错吗没有错只是你不要总认为 regulation 就是那些当权者那些 authority 对我们管制和限制的一种手段而已其实它真的有可能变成全人类

共同由于不管是全局的还是局部的共识来去约束我们自己行为的一种 regulation 那有什么不好呢就这样的话真的就变成我们说的从混乱的创新产生了秩序我觉得就是创新产生秩序的这个角度而言可能区块链就是最好的一种

由创新直达新秩序的产生的一种模型然后我们每一个天天写智能合约的人就是在给这个社会创造无数的局部的或者说部分的领域的这种秩序其实这个社会可能就真的向这个方向在发展了对对非常有意思在刚才魏老师说的时候我就在想就是说到底区块链其实它还是一个工具

就是我有时候就在想我觉得这个区块链和比特币真的是这个世界上最神奇的一个概念因为你好像永远得解释它就是从它诞生的那一天起 15 年前从白皮书上起你就得不停地解释它就是它是什么它能做什么它是干嘛的然后一直解释了快 20 年还得不停地在解释它是什么它应该是什么它应该做什么

我觉得这个概念太神奇了这个世界上应该没有任何一个概念就是得花 20 年的时间还没办法解释清楚它到底是个什么

我觉得刚才魏老师讲过我其实非常同意我觉得我的角度就是它其实还是一个工具就是你真的是要看就是它具体用在什么样的地方什么人在用它以及这些人的目的是什么你很多事情看起来拧吧就大概能想明白了比如说刚才魏老师说的它用在这个 rec tech 上

实际上如果是用在不管是加强现有秩序还是把现有秩序改进的更好它是在一个希望能够把秩序这件事做得更好的这种目的下那它呢就比较能够发挥一定的作用

但是如果你把它就是还是回到比特币和各种加密货币如果你把它当做是一个完全代替信任以及代替现有这个已经有秩序的这个金融体系的这件事作为一个目的的话呢那它就会有点拧吧

因为你想这么一个工具它诞生的唯一原因就是要代替信任就是我不知道为什么朱本聪这么讨厌信任啊或者说这个加密爱好者这么讨厌信任这件事就觉得这世界上就不能有信任有信任就不行就我一定得在没有信任的情况下完全混乱的这个情况下我还能够做出一件事来那在这种情况下他发明了这个工具但是

他发明这个工具之后虚拟货币或者说比特币这个虚拟货币领域往往又是一个信任的重灾区就是这里边发生了多少

要不就是 rock pole 要不就是交易所跑路要不就是黑客各种信任的重灾区往往就是在这里而你如果看现有的这个金融体系它是一个这么强监管就是这么一个中本聪很讨厌的地方但它又是一个最不需要信任的实际上说实话你真的把钱放到银行里真的会担心吗

我觉得这个又可能说到了另外一个极端但是我的意思就是说它真的只是一个冷冰冰的工具那么用它的人的目的是什么就是往往会让大家观众或者说参与者会觉得很混乱它的

它在某种情况下是一个非常好的工具是一个非常有作用且能够把现有的情况变得更好的就像刚才魏老师说的这个 regtech 我也是很同意的但是一旦它被有这种奇怪的目的的人用的话它又是一个会产生混乱的一个工具但往往在大家还不知道它这种混乱究竟是一个创新的情况下往往会把它当成是一个创新

而且我觉得另外一个角度吧,我觉得这个也是现在区块链的这个行业发生的情况,我真的觉得是,真的是看它的这个持份者目前是谁的力量比较大。我们说之前为什么币圈这么蓬勃发展,是因为大部分在这边有利益的人,他们还是有自己的目的,以及就是说这个东西的价值,这个升高呢是对他们有好处的。

但是现在呢也呼应刚才我说现在是一个秩序功过俱求的年代现在的持份者更多是监管就是说那么使用他的人更多呢是这个力量靠近了现有秩序的维护者这一端那么他可能在这方面的这个发挥的作用又更大一点我就评论一下对我觉得是这样其实从某种意义上讲 AI 的这次的这个事情这个矛盾

好像也体现出这种尖锐性因为我刚才说区块链很可能是一种 regtech 这种东西我觉得其实现在的慢慢的发展就经过一波三折慢慢的其实在体现就是从我们现在做的一些具体事情来看区块链其实慢慢越来越多的被央行政府这些东西所接纳

他们会慢慢的接受这种新思想就是我刚说那种思想就是说如果大家全都在用区块链来做某些比如金融交易或者一些这种数据的一些 proof 的话那么央行也好政府也好他们在未来的某个时间点可能也在接受了这种新范式的情况下

也就会去自然的说这些东西已经被区块链智能合约 regulation 做到这么好了的情况下那这部分的权利我就不完全放在自己的手里就像你刚才说的那个点

我觉得最有意思就是监管是什么对吧监就是看着你做事然后管就是你出了事的时候我再出手来制止你对吧那你看其实区块链这套技术体系出来之后不是最大利于这件事情的发生吗就是说

我本来可能是无时无刻的不要看着你让你给我上报各种数据随时随地你要向我汇报然后每一个事情都要让我来批准这种看着你的手这种事情慢慢就会下放给了一套可信的技术体系

然后管也是这样就是哪些东西我要求你披露哪些东西我可以制止你哪些东西我可以不制止你这个边界就会也越来越下放给实际的技术体系的这套东西让他们去实现我目前看到说

很多监管机构大概有点这方面开窍了吧我不能说是完全开窍了就像你刚才说的现在是个秩序过剩的年代是因为从过去没有足够的 regtech 出现的情况下

最后发现就是所有的东西都需要监管者一家来这个供应方来去决策而实际上在我猜测未来真的有可能他们慢慢慢慢的会往这个方向发展至少我们现在其实已经看到一些开明牌的政府和央行在向这个方向发展了恰

恰好倒是你说的币圈前些年的这种乱象是因为在那个时代掌握话语权的人其实他们并不是真正的技术的创新者对吧他们是反而是更擅长利用所谓的信任利用所谓的发财梦来去忽悠大家来去把钱拿到自己手里走的完全是老一套走的完全是老一套对啊跟区块链没有任何关系

所以我觉得这种此消彼长的这种形态正在发生就是什么意思呢就是说监管机构政府机构他们也是慢慢慢慢的新时代的人在进到这个机构里嘛

对吧就是因为政府不要老一说监管机构一说政府就是一堆老头或者一堆老太太对吧再过 20 年的政府里边那不就是今天的年轻人吗对不对而相反这种能够在这个原有的币圈的这种兴风作浪的一些个人他们的其实是传统的这种所谓信任体系下忽悠钱的对吧麦道夫什么这些人他

慢慢慢慢会退出历史舞台然后你看这个此消彼长可能就在区块链这个领域里就体现说其实技术创新迭代到新秩序的这个过程好像正在发生嗯我觉得好像是这样嗯

对对非常非常同意就我还引回到我刚才讲的那个著名的这位老师讲的这句话监视看着你发展管事就是说你出了问题我上去阻止你他还接着说过一句话就是说我觉得这个监管其实也得分开明的和不开明的这个就不多讲了不多讲我觉得这播客就播不出去了

咱们说开明的监管这位老师他后面还说过一句话就是说我们就所谓不开明的监管呢是基本没有什么监的动作只有管的动作就是一看事情不对马上切掉的动作那么他觉得这是不好的而且就是你不能用监管马车的方法来监管飞机

这是这老师说的啊就是我只是觉得他这一话其实套用在刚才乐老师的这一段描述其实也是非常符合的因为其实我觉得监管最有效的情况下还是你这个工具要有用那有用的话呢还真的得这个工具要升级

如果你真的是永远用一把螺丝刀去开所有的瓶的话那你一旦遇到这种升级版的瓶呢你肯定是开不了或者是没有办法有作用那监管也是一样的就是如果你没有一个更新的工具来帮助你既监又管的话那你永远是只能管因为你最简单的方法当然就是一刀切掉了

对吧如果你觉得有问题你就不要看他了你不要琢磨他你不要研究他或者想想你怎么用更好的工具来监管他你干脆把他杀掉就好了但是如果你有个更好的工具的话你会发现其实你不用做的这么极端也可以把这个事情就是把这个监管做的很到位也可以阻止危险的发生所以我觉得刚才魏老师讲的这个逻辑呢我确实觉得

至少是在我们先不讲政治原因就至少是在监管的这个逻辑下它是非常成立的而且我们也是希望它真的是往这个方向走这个就点到为止了到此为止对对对点到为止对对对然后我想正好回到那个话题就是 AI 这个话题这件事其实我挺有感触的就是

回到刚才说为什么我想提出来说这个区块链其实大概率是秩序的供应方就沿着小泡老师说的这种供应方的这个概念我觉得人类现在遇到的大难题就是确实是 AI 这个层面因为 AI 这个层面其实恰恰是自由或者混乱的这个供应方

就这件事情其实是非常有意思的一件事情就是从这个角度也可以说回到我们说的那个范式就是说前期的我们聊过说 AI 代表生产力区块链代表生产关系我当时以前不还说吗这生产力生产关系它是一对马克思主义经济学的一个逻辑说如果我们要换一个逻辑会怎么样呢其实就用咱们最新的框的类似的逻辑就是区块链是秩序的供应方

但是 AI 恐怕是创新或者混乱的共用方因为我们现在面临 AI 的最大的问题是啥就是那种既爱又恨的那个就是我们希望 AI 的能力它得达到完全是跟人一样甚至超越的人的这种能力它才有价值对吧我们发展 AI 发展 AGI 不就这个目的吗但是如果一旦它真的具有了这个能力它

他就是一种另外的人那他脑子里能想出啥他能够在网络上干出啥甚至说出现这个人形机器人之后会不会出现这个什么机器军团或者出现对人进行杀戮的这种情况我们不知道

所以也就是说从这个让 AI 变成跟人有同样的智力的这件事情上我们就特别纠结然后这其实你就会回到刚才说的这个话题就是这种所谓的混乱这种所谓的破坏性

恰恰归根结底就来自于人的这种自由的意志或者这种自由的这种想法对吧就这种所有的这种破坏性其实是来自于人的这种自由想法然后你当你让计算机构建的一套系统也能产生人的意识的话那么产生人的自由想法于是那他就一定会带来人所能够带来的混乱就比如说这要出了个希特勒怎么办对吧就类似于这个意思

所以我倒是觉得从这个角度来讲区块链这件事情很有可能已经被认知的稍微有点清晰了因为如果它本来就代表着秩序的话我们就能够充分利用它的能力去让秩序变得更合理其实就这么回事但是 AI 能带来啥这就确实还没搞清楚

就是还在纠结当中就是一方面我们想让它提升点生产力还是创造一些财富等等提升一些效率这个事是我们希望的但是一旦它变成有人类智能的这种东西之后所带来的这种混乱会是啥程度这个好像是最大的一个纠结所以就回到 AI 我是觉得 AI 的监管或者面对

确实是一个大问题好像都还完全在众说纷纭比这个区块链的这个其实要严重的多对这个非常同意而且我们是肉身的人在操心这个数字世界将来的问题

就是 AI 将来的危险性大概率是发生在数字世界嘛但是数字世界的东西你这个肉身的人是没办法解决你不像现在有个人犯了法出了问题然后你直接把他抓起来关键语就好了但是如果说真的 AI 发展到 AGI 的情况你人是没有办法的没有任何办法的除非你是用以子之猫攻子之盾嘛你用一个种另外一种数字或者加密的方法去归管它

让他们在数字世界里面制衡你就没人什么事了人到现在还一天到晚内讧呢就是各种董事会还搞不清楚呢就现在我真的觉得这是两个层面上的问题但这个魏老师那个观点我是同意的但它应该是在数字世界里发挥更大的作用对有道理这个数字世界呢大概最后真的就是区块链约束 AI 的这么个行为模式了

问题是人怎么办人这个事就比较麻烦就是我们因为总还是想利用数字世界来给我们来带来福祉那是将来会变成什么样的道路呢真的是两个平行世界吗干脆我们平行

卡断塔就算了就是人还是这样很普通的生活在现实世界里也别纠结了然后数字世界呢这个一日千里的进展因为一旦有了这个 AGI 的话其实数字世界最大的一个

期待就是他可以实现自我迭代嘛对吧就像那个最早那个α go 还是学习人的下棋的方式但是到了α zero 的时候是从零开始没有任何预先的学习从零开始让他们自己下棋实现迭代所以

如果是数字世界 AGI 完全实现自我迭代那数字世界有多精彩这个事可以是另外一个话题但是这个人类到底是跟他就人类自身的创新和秩序那跟这个区块链和 AI 到底是什么关系呢

应该也还是会有点关系我觉得这件事可能就是最纠结的一个点好呀那魏老师还有什么观点我没问到的吗没有了我觉得就今天把预先想到的几个点都说到了我觉得这个创新与秩序的这对概念应该是一个包容性蛮强的概念我觉得甚至不排除未来是不是还可以有一些更多的后续的内容都可以放到这个里面来聊

一定会的我觉得这个我都写了就是它肯定是今年甚至在以后相当长一段时间里的主题你会不停地看到各种的例子来扣题回应它对对对其实我想补充一点就是这几天我在想这个主题的时候其实也蛮发现就像刚才说的这种商增和商减可以分别对应着这个

创新与秩序的这个角度来讲其实以前我们讨论过的很多话题甚至包括那几个框其实也都可以跟创新和秩序这个概念发生连接关系以后都可以再多聊聊好呀好呀那大家期待下一次文理党开会尽量保证不会拖更太久也不会太口出狂言我觉得经常会被打脸

好那今天感谢魏老师感谢大家那我们下期再见好谢谢小豹老师谢谢大家拜拜