No.44 人工智能风云录之驶上不能踩刹车的快车道
01:58:52 Share

技术就是当你出生的时候还不存在的任何事物所有人类创造出的伟大技术发明都在显示出人有多懒惰我认为并不存在无法模仿的人类特性

能发明的东西都已经发明出来了我认为全球市场五台计算机就够了你们计算机会不会思考这个问题就好像问潜水艇会不会游泳一样我觉得科技让世界变得紧密很多而且会继续让世界变得更紧密欢迎来到半拿铁互联网实话半拿铁互联网实话

美国科技圈头部大 Vaka 追古钢铁侠慈善家营销大师嘴炮王咱们敬爱的 Ellen Musk 老师问他你是戴沃吗你是魔鬼吗

我是我是我是行了吧上头了咱还问几眼了呢咱就是问个问题而已真的是杰弗蒂恩在吴子奇的游戏中能赢你在四步以内当杰弗蒂恩听 MP3 的时候他会查看其中的二进制内容然后在他脑子里进行音频解码

在 2002 年的时候 Google 搜索曾经挂了几个小时于是杰弗蒂恩站出来手动处理用户的查询请求搜索准确度翻了一倍在这一刻他们不是两个人在这一刻罗森布拉特皮茨麦卡罗特灵魂附体伟大的神经网络科学家他们继承了联机派的关头他们不是两个人在战斗他们不是两个人

半拿铁 44 期打板开始我是刘飞我是小蕾

不容易今天到了人工智能风云录的第四期要结尾了这个尾结的也挺辛苦生产过程当中也是淡经节律生怕哪个地方讲的不够全面甚至中间还产生过要拆成跟我说要拆成两期的这个小部分因为内容实在太多了今天争取我们两个小时内结束就想要跟大家讲清楚但是发现后面的分支树干都非常复杂

错综交织在一块了所以最后这一期给刘飞提出了更大的难度各位也找一个安静的环境想要听明白得稍微的下点工夫我估计我现在也是战战兢兢是今天内容确实有点多就光比较主要的人物就有八九个我尽量讲清楚辛苦各位实在不行就停车靠边再

再听一遍至少两遍的来开始咱们稍微先总结一下之前两次寒冬过去了专家们也觉得更现实一点咱们不是一口吃成个胖子该怎么解决点实际问题咱们就尽量解决一点自动驾驶车能上路了电脑公司生物公司这些用上专家系统了机器也能做数学定理证明了国际象棋也能打赢人类了

另一方面大家在理论上也更现实了符号派开始没落进入了新的时代就是机器学习的时代计算机性能有了互联网知识量数据量有了各种算法的理论知识有了进入了真正的统计机器学习时代咱们前面

上一期说过了万事俱备只欠东风那东风就是神经网络了杰弗辛顿行死流云离海月生如霹雳震山川对震撼登场那接下来咱们听到的那种慢慢的终于跟我们熟悉的一些公司和产品有关系了但是终于跟我们商业故事扣提了大家在这些年听到的一些新闻也能在这期基本上也有出现了

第一章神经网络火种传 1960 年那是一个夏天杨立坤出生了杨就是木字旁的杨立是张国立的立坤是坤伦的坤坤明的坤听名字是个中国人其实是个法国人跟司马赫一样给自己起了个中国名字

还真的正儿八经的法国人法国巴黎郊区的我不会念好地方好地方我接过法语是真学不会他这个名字是怎么起的名字是 Y-A-N-N-Y-A-N-L-E-C-U-N 所以 Young Lincoln 确实挺像韩语拼音的挺像的这是个

凯尔特语什么意思呢就是好人的意思杨好人杨好人是什么鬼杨利坤他自己给自己起的中文名这个字都是他自己挑的确实是自己起的跟司马赫一样那就是对汉语也多少有点严重也不是他发现中国人给他瞎起名这个名那个名我喜欢叫他燕乐存的什么的燕乐存也挺好听我喜欢杨乐坤就叫这个了行吧相当于挑了一个

1983 年从巴黎 ESIEE 大学工程专业毕业读大学的时候杨立坤就对一个词产生了兴趣叫感知机这是很早了前面咱们谈过两期都有提到它包括星盾也是接触过感知机才产生兴趣的

但是又像星顿遭遇的一样 80 年代人工智能的寒冬神经网络的末日杨立坤去读论文发现这读的怎么都是日本人写的因为美国人已经不写了人工智能主流领域压根都不写神经网络原因就前面都说过了 1985 年的时候在巴黎有一个计算机领域的学术交流会杨立坤也去了发现有一个美国学者他也在搞神经网络

这少见了是美国人在搞顿时来了精神原来在美国本土人工智能胜地还有地下党行刑活种还有自己人上期也说在地下搞的这老哥在台上滔滔不绝讲他的新方法他说我最近搞了个方法这个方法叫什么波尔兹曼基没错这位老哥那就是杰夫辛顿演讲结束之后杨立坤立马跑出去找人太多了人群当中找不到这

这木然回首哎这看不到人这个时候啊杰弗辛顿问旁边的工作人员说哎你知道听说巴黎这有个老弟啊叫杨立坤哟哎这是双向奔赴啊双向奔赴啊非常叫人感动那是为啥因为这个杨立坤啊是谢诺夫斯基推荐给杰弗辛顿的哦谢诺夫斯基咱们前面提到了波尔兹曼基就是他俩一块做的老搭档啊老搭档了第二天啊杨立坤和杰弗辛顿终于见上面吃饭了吃饭的时候发现

这么掉到人眼里了这杨立坤不大会英语杰弗辛顿呢那是半点都不懂法语怎么交流呢厉害的是这两位那都是神经网络地下战友就比划着交流就很快就达成一致了觉得就是这个意思

杨立坤后来回忆说我们这说的就是相同的语言太难了杰弗辛顿两年之后还加入了杨立坤的论文委员会那个时候他还在读书特地从美国飞到巴黎那会还没毕业没毕业专门看他的论文博士毕业博士论文论文大便的时候辛顿问英文杨立坤答法语配合的相当好

除了辛顿作为老师完全听不懂之外其他都特别顺利累坏了翻译杨立坤博士毕业之后那就去多伦多大学了咱们也提到过多伦多就跟辛顿读他的博士后这个博士后可不是谁都能读的当年有一个叫 Michael JordanMichael 乔丹的崇明跟篮球运动员崇明他也想去读

没读成啊这位迈克尔乔丹那也是大名鼎鼎的机器学习领域的大师啊开创者呀但是去不了啊杨立坤就去了杨立坤当时对人工智能慢慢产生了浓厚的兴趣包括他特别喜欢看那个 2001 太空漫游喜欢这里边的 HAL9000 那个机器人就人工智能嘛多年以后

他自己有了一个全球领先的非常牛逼的科研工作室的时候就把 2001 太空漫游的电影海报装裱起来挂在了墙上这是他的一个精神图腾在博士后期间杨立坤研究到了日本计算机科学家辅导邦彦的一个方法辅导邦彦出生于 36 年在 1980 年他提出了 Cognition 叫认知机

这个认知机是个什么呢它主要运用了分层和神经元意志的概念模拟人类视觉系统的工作原理这个又跟咱们前面讲过又跟感知机跟感知机很像但是咱们之前但它分层啊对 但是之前咱们不是提过吗就当年皮茨啊麦卡洛特他们研究的时候发现这个青蛙识别的时候它眼睛那儿先处理一道眼珠还处理一道它就用了这个方法它把这个处理一道给简单实现了我们举个例子比如说我们看一幅画

画上一个苹果大脑就会把视觉信号进行分层处理就是我看看这个形状看颜色看纹理其实是分层处理的并不是说一下直接得个结论是苹果你肯定是通过它身上的某个特征识别出来是苹果的认知机也是这样分为多个层次每个层次有很多神经元素

目前为止听起来跟神经网络是差不多的只不过它每个层次的功能不一样比如说第一层就主要负责接收原始的数据接收这些图像信号第二层传下去的时候慢慢的会对数据进行更加抽象的表示最终识别出图像中的物体每个神经元都关注局部特征它不是说混乱在一块我是关注边边角角的我是关注它形状我是关注颜色

有这个分层了就像一头猪进了屠宰场之后把它切成不同的块送到不同的作业部门来处理对差不多这样那认知机还采用了一个叫抑制的机制就是在这个机制之下某些神经元会抑制其他神经元的活动突出最重要的特征说你这不重要你歇会儿我来上还有职场大压

它是相当于说这个事重要了一些之后那你肯定就容易调得更准权重就更高对在某个识别的课题当中这个权重重一点它就有利于识别出更精确的这个了大概这个意思吧嗯

比如说对于苹果来说它的轮廓和红色部分是最重要的特征它的背景苹果放在什么背景我是识别主体背景就抑制掉大概这个逻辑这样整体成本就更低了小蕾可以看一下这个图要

刚说的是载猪那这回这个图啊是一个狗的视力大家可以看看我们的手弄死啊对识别一个狗它最终识别的其实是狗还是狼它先从像素点看这个边缘从边缘组成形状这个四肢和脸是什么呀然后大概对比一下哦原来这个是狗不是狼你看这是大脑的处理过程你要让中国的古人就是狗行千里吃屎狼行千里吃肉哈哈哈哈

这个叫控制论的解决方法最后看结果对刚才这个认知机是日本科学家做的杨立坤看到之后就这个好但是它不够好用我要在这上面做改造改造了哪些地方严谨说有这么几点采用了局部连接降低计算复杂度通过权重共享降低过拟合的风险提高泛化能力通过卷积对平移缩放和旋转等变换到

好

继上一期之后刘飞自我超越又一次的创造了万达铁历史上科技含量最高的一个新罐口对甚至说我在念这个罐口我都不知道是啥意思了我就听懂一个鲁邦性其他的都懂不了大部分都忘干净了

大家确实不熟悉的我也没法解释了这个没法解释但是大家需要知道的就是这个方法比起当年罗森布拉特时期的感知机已经有了巨大的提升就之前它只能识别数字现在已经能识别一大块的很完整的一个图像了它的抽象性更高一些它的可适应性更强一些而且在最开始罗森布拉特它是最直接的识别我只能识别像素相当于现在我已经能识别模块了

机器也是一块一块的看因为它抽象了一层相当于把形状也抽象出来它是一块一块所以整体做出来的效果也好了很多

杨立坤的改造非常成功因为他在这里面使用了卷积这个方法卷积这个方法大概就是像刚才说的一个一个像素点变成了一块一块的看这个方法所以他整体最后发明的算法叫 CNN 卷积神经网络有点熟了感觉对 CNN 那是真的是后面就提到了他多厉害这是有方法了但是训练神经网络还需要机器

在多伦多大学还得排时间表因为毕竟高校机器有限的太麻烦了所以后来杨立坤就跑去贝尔实验室工作了这边有专门的机器给他用而且数据特别多他可以拿很多数据过了几周之后就开发出来一个识别手写数字的系统准确度是一技绝尘干的还是跟感知机一样的事但是已经完全不是一个时代的东西了小雷可以看一下嗯

什么鬼我说实话你让我认我都认不出来 4687 那个 6 那写的是啥玩意真的是确实很厉害而且很快它是在一个可能对于大部分 00 后没见过的那种老式的台式电脑显示器那多少寸的了那叫很小了十几寸十寸出头的台式机对不对

然后那里面一个很粗糙的一个黑白界面里面出现了一个手写数结果下面就给它打上了机器自动给它打上这是个什么数贝尔实验室的母公司 AT&T 这个大家应该比较耳熟能详了美国电话电报公司巨头对很快而且那个时候是已经拆的 708 岁的一个巨头了也还是巨头

很快就用上这个系统了而且还转手卖给了银行用来识别发票有一段时间啊在美国有 10%以上的支票那就是杨立坤这个系统识别的呀这个还是很方便的不过后来因为这个 AT&T 又分拆了又拆的七零八落的所以项目资金没有支持了这个系统呢就没有再做大做强哦

然后你看这个时间差不多也到了五代机那个时候了五代机失败了日本的五代机后来那段时间江湖上弥漫的那就是人工智能又不行了神经网络也不行包括新顿投稿有的杂志就说我们给神经网络留的额度一篇今年已经发了一篇了你这个还是神经网络我们就明年再发吧就相互之间没有敌人将要成功的那种恐惧之后大家就又不着急了包括杨立坤自己的重要发现 CNN 他不能叫 CNN

你得叫 CN 就把中间那个神经去掉就搞成叫卷积网络又跟前面谈到的但凡提到神经就不行这又是到了那个年代了杨立坤也是被边缘化了但是他是坚定的神经网络支持者绝对不放弃继续拿着火种跟杰弗辛顿一样等机会那一年他双手插兜马尾辫扎在头决定继续战斗他还是扎马尾辫的小蕾看一下这个运压的不错

怎么说呢长辫子的一个微胖的有点像刘欢老师对对对这个形容很贴切那就不是微胖了吧咱们接着说一下神经网络的其他火种还有谁呢还有谢诺夫斯基咱们稍微提一下杰弗辛顿的亲密战友他 1947 年出生于美国

我以为是俄罗斯人虽然名字看起来像苏联人但其实就是个美国人应该是俄罗斯裔之类似这种也是人工智能历史上最重要的科学家之一神经网络和计算机开创性研究的科学家加州大学圣地亚哥分校神经科学心理学认知科学计算机科学和工程系的生物科学教授美国四院院士

国家科学院国家医学院国家工程院国家艺术与科学学院据说在世的四院院士只有三位他这位也是依然在世的在世的不展开说他的人生经历了我们还是说他在神经网络这个方面的贡献他除了布尔兹曼基这个重要的方法方面他还在早期复国运动里面开发出来一个系统在

在 1988 年他开发出来一个叫 NetTalk 网络对话有点像这个是一个可以文字转语音的工具大家就感觉 88 年就有了现在大家用的当然很熟了这个男人叫小帅对而且他这个为啥厉害你说早年所谓的 TTS

text to speech 这个课题吧其实很多年都有人研究但是他这个怎么厉害他这个现场学呀他这个现场学习就跟那个罗森布拉特的感知机一样我可以在电视节目上给大家演示他怎么学会这个人说话的都到这程度我们看一下电视节目今日秀 the today show 全美观众当时看到的那一幕来

这是刚开始发出这种奇怪的声音对他学了一半的词一号

这孩子三岁了电视节目播的就是他学习的这个过程从零开始学习的过程一开始那个咿咿呀呀就是刚开始学的时候他说不出来他也是说那句话电视直播他的学习过程那不就相当于今天实时直播开个发布会那样的过程对其实我给大家展示他有多厉害而且还不用是录好的

再去你这内涵谁呢没有没有别的意思啊就他在现场跟大家展示说我刚开始啊没学之前是什么呀学呢我学的是一部分的单词和对应的发音但是他能举一反三啊他学了一部分固定的单词和他的发音之后他还能知道新的我再给你个新的文本的词他能发出这个音了那就真的是人工智能了能把新的句子这个发出来前几期解释过啊

它不只是执行代码它能产生代码里面没有的新的东西对 线动复司机做的这一件事和之前咱们提到过的自动驾驶上的进展包括刚才提到的杨立坤做的能看支票能识别手写数字的系统都成为当时让神经网络差点复国的这么一个很重要的一个节点

当时差点神经网络大家都觉得可以了又行了又寒冬了要不然可能能继续持续发展下去那谢诺夫斯基还做过一件特别出名的事就是跟明斯基兑现要报仇为神经网络报仇

熟悉前面情节的朋友都知道明斯基到了 2006 年你看这个时间 56 年达特茅斯会议这一年 50 周年了纪念庆典就在达特茅斯明斯基在台上演讲谢诺夫斯基就坐在台下演讲完了直接站起来你知道吗你知道吗在我们这些人眼里你大大阻碍了神经网络的发展你知道吗你就是魔鬼你就是 devil

现场开发现场问你就是戴沃问他你是戴沃吗你是魔鬼吗明斯基那没有直接回答给他气得哆嗦了明斯基这个时候就拆了 JBT 了我跟你说神经网络有哪几点优势有哪几点问题它有一些局限性对不对要客观理性的看待这个事心动夫斯基听完没搭理他就说你是魔鬼吗

宁斯基是我是我是行了吧真的这样气了就跟他赌气说了我是上头了咱还问起眼了呢咱就是问个问题而已真的是这关于谢诺夫斯基咱们就简单说到这接下来再提几位一位是 1964 年出生于法国巴黎你看又是个法国的人约束亚本吉奥

他是 MIT 毕业的去了贝尔实验室读博士后后来到了加拿大的蒙特利尔大学任教你看就是边缘因为他也搞神经网络他在神经网络方面的贡献非常多提出了非监督学习的自编码器对 LSTM 做出了优化对生成对抗网络做了很多创新等等这些确实咱也没法展开讲了不过大家知道的就是他并不是那种说

我冒出一个点子来我把这个方法推进到神经网络领域大家都觉得是巨牛逼的方法像杰弗辛的误差反向传播或者布尔兹曼基或者杨立坤的 CNN 他不是做这个他是去优化他去落地他非常扎实他最后做的这个工程做的最后这个算法的优化特别厉害有人造末也得有人拉末所以他主要就是有妙手回春的本领本教神医

别人的算法和方法在他手里这个效果就贼好特别好当时蒙特利尔大学全北美排名 150 开外看不着影但是能吸引很多人工智能的学者去因为他个人的影响力太大了厉害比如说咱们稍微提一个也是另外一个人物了

有一个申请硕士的学生叫伊恩古德费洛他拿到了斯坦福大学加州大学伯克利分校和蒙特利尔大学三个 offer 结果去了蒙特利尔对啊这个正常人的选择显而易见嘛就斯坦福了呀对就你拿了清华北大和蓝翔基校的 offer 你要去哪这个我们没有任何对蓝翔副校继续的意思但你是搞学术的你跟蓝翔不是那么的对口你要去哪对他说那

蓝香技校有本教我要去那当时他特地去了蒙特利尔大学去参观校园当时有个学生听说你要来这你有斯坦福的 offer 你可想清楚了你可别来这了结果就因为本教在那就去了稍微说个直线这位伊恩古德费洛在 2014 年的时候当时博士快毕业了相对比较清闲

没事就去酒吧喝酒当时跟一些实验室的同事吹牛逼砍大山他们聊着说神经网络现在是可以识别图像了咱们能不能反过来反过来搞个逆向操作不就能生成图像了吗就反过来古德费洛就说这个 idea 不错有意思又去落实去了想了半天怎么搞最后想出来一个方法怎么搞呢打造一个能从另一个神经网络当中学习的神经网络第一个神经网络创一幅图像嗯

试图欺骗第二个神经网络就是他试图把它搞得特别真实告诉第二个神经网络这是真的这是真的但第二个神经网络就负责指出错误你看你这不像真的你这个人八只手对你是个螃蟹你看这就是现在的 AI 做不好就是第二个神经网络偷懒了好好看看手吧看不明白

然后他就这么搞相当于以前是机器学习那是人叫机器但是现在机器叫机器互相学习同事们当时都吐槽你这酒喝多了吧少喝点酒你左脚踩右脚你上天吧你

然后古德费洛自己回到他的单身公寓想了左想右想你们不支持我自己搞掏出了他那本破笔记本电脑自己写代码就在自己的笔记本上那当时确实呢笔记本性能所限只能用几百张照片训练嗯

就这几百张照片搞照片搞着搞着发现有点意思还真搞出来能画出来像模像样的东西有戏他就把这个方法写成了论文这也是人工智能群星闪耀时这篇论文就让古德费洛成为了生成对抗网络之父也就是干之父

GAN 大家可能最近看 AI 比较多可能知道这个算法这个算法在 Diffusion 扩散算法出现之前 GAN 一直是 AI 绘图的最主流算法当时杨立坤就在 2016 年说过说 GAN 是过去整个 20 年深度学习领域最酷的想法据说杰弗辛顿听了之后立马就算年份

算啥算年份立马就算年份看看我当年那个是在 20 年之外还是 20 年之内查完了之后说对

对这个干就是 20 年之内最牛逼的算法了黑到家了前面拿自己的论文的引用数跟他老爹比我比他多了 59000 次也没有人去数但确实看得出来新顿人老顽童其实很有意思的一位前辈不是黑这个肯定是他自己说的肯定是一个

就当一个趣事说性格挺不错在之前那个 18 到 20 年之间比较流行的 deep fix 大家应该有点印象就是深度换脸换脸的技术有很多各种各样的 app 利用了这个技术曾经一度引起了网络的热议的那个对它的底层用的就是 GA 啊

目前 Diffusion 风头更大一点包括 Mate Journey 这些都用的 Diffusion 但是这两个 Stable Diffusion 用的也是它对但是这两个一直都是主流的 AI 绘图算法但是 GN 的生成的效果也确实很好 Doyin 应该用的是 GN 对小蕾可以看一下他在 21 年生成的一张人像

看不出来这个图一定要放在我们的说诺词里面大家看一下根本就看不出来当然现在可能经过了这段时间的洗礼之后大家知道他生成的以假乱真的照片式的东西有很多但是你如果没有太接触那些内容你看一下这张完全就跟照片真的是一模一样在国内可能大家接触比较多的是当年国内有一个团队把特朗普演讲的声音换成了中文生成了一个假的视频图像那个可能大家有点印象

嗯

那我们火种接着说说最后一位 1976 年吴恩达出生于英国伦敦吴恩达姓吴这个口天吴恩情的恩达达官贵人的达吴恩达这个确实是中文名是个华人爸妈是中国香港的移民他在中国香港和新加坡都待过从新加坡大学毕业 1997 年到美国读书而且从三个学校读我也没搞清楚他怎么读的还来横跳

卡内基梅隆大学 MIT 和加州大学伯克利分校那确实都是计算机顶尖的高校了其中包括两所圣殿拿了三个学位计算机统计学和经济学三个学位 96 年到 98 年在贝尔实验室做人工智能的研究 98 年获得 MIT 硕士学位

2002 年获得加州伯克利的博士导师迈克尔乔丹又是本吉奥的师弟就是一家人嘛 2002 年吴文达开始在斯坦福大学做教授注意啊他可是在斯坦福大学可不是在什么那个蓝墙基桥不是蒙特利尔蒙特利尔大学啊

现在你看神经网络地下党基本上都被排挤在国外了加拿大日本包括欧洲很多美国边缘的大学也有但是埋伏好了斯坦福肯定是没有的斯坦福作为人工智能三大中心都不怎么提神经网络所以他就是正规军礼的反贼而且很特殊的是他自己本来不是特别对神经网络感冒的后来读了一下杰弗辛顿的项目还有方法就转移了路线就

就好像说你在上那个名门正派的进修班突然有一天说我要练九阴真经了练个辟邪剑法天天去各种研讨会上宣扬说这个好这个好大家都来学这才是未来我告诉你们

当时人工智能领域顶级专家里边有一位叫吉腾德拉·马利克那在途中站出来就打断他就说你这是威门邪道你这没有任何证据啊你这就是自己瞎说霸道你凭什么说他好走火入魔了你文达确实没有什么证据嗯

你要问问就是信仰能够提前看到将来当时欧洲和日本也有火种不展开说了确实出现了很多咱们日后看起来在神经网络包括机器学习领域非常突出的贡献

但是要说最大的火种聚集地那还是新顿的多伦多大学必须的他自己也是到处点火那个时候他每年经费只有 40 万还是维持着这么低的经费但是坚持一年开两场研讨会嗯

从 1987 年开始在加拿大就举办 NIPS 神经信息处理系统进展大会这么早对就一直坚持到了新世纪而且组织了一个地下党一样的研究团体刚才说的这些人温达

杨立坤本集全都在这个团体里跨越全球来进行学术交流而且这有点像宗教团体了就是 06 年神经网络教父新顿 60 大寿同天就在温哥华举办 NIPS 大会新顿高调在大寿的生日现场所有的信徒们

说我们在搞的这个玩意儿我觉得以后就叫深度学习从这定了名了定了名以后以前叫什么不重要今天开始就是深度学习新顿说要有深度学习那就有了深度学习六十大寿是一个载入史册的日子所以就说像宗教就是庆生的时候就讲这个东西深度学习到底是啥呢估计很多听友都听说过这个名对直白点说深度学习就是神经网络

只不过它就是多层神经网络所以凡是使用多层神经网络的基本上都可以叫深度学习那星盾当时讲深度学习的时候还开玩笑说他们那些都是浅层学习浅薄学习我们是深度学习当年感知机的时候就是因为说再加一层这个空洞量都是海量的搞不定对

所以这个其实是个超级成功的营销案例因为这个词在学术圈很快就开始传播了你不是不让加神经 CNN 还要改成 CNN 现在没有神经这个词了再也不提神经了就是深度学习而且人家提的是机器学习我深度学习你机器学习我深度学习

大家都学一下太厉害了我觉得广告创意行业应该给新顿颁发个营销奖这就有点像那种切割打法我新切一块市场来从零开始给你定认知东西还是新瓶装就酒对

火种的故事咱们差不多就到这了人名就有点多但是也不是特别多还好提醒一下杰弗辛顿教父不多说了梁立坤法国人在美国纽约大学搞研究他是辛顿的博士后 CNN 的发明人本基奥加拿大人在蒙特利尔大学搞研究吴恩达华人在斯坦福大学搞研究

所以你发现没这几位全是外国人没有一个美国人他们之间关系非常好交流也非常多比如说文达就在宣讲的时候说杨立坤那是整个地球上唯一能从神经网络里挖掘出有价值的东西的人刘迅你高兴吗听这话

没事啊这网络都是我的他爱挖就挖去邢顿也评价吴恩达说他当时的博士生导师迈克尔乔丹就认为他投身神经网络这是叛徒但他自己很清楚是怎么回事因为他知道神经网络是未来哦

那咱们火种讲完了终于进到第二章登堂入室可以啊终于真正的要开始聊原了进到主流了相当于我们回顾一下过去的人工智能资助主要在哪呢在军方和政府尤其是军方新世纪来了出现了很多科技巨头那是不是你得逮着互联网公司耗烟吗不是拿赞助是

拿赞助拿资助那最先行动的当然就是不管物理距离还是精神距离最近的斯坦福大学依然是圣殿咱们都知道斯坦福跟硅谷那关系特别紧密对吧那斯坦福这个时候在神经网络那

不提神经网络深度学习领域有谁呢有吴恩达吴恩达就是斯坦福大学的吴老师就在 2010 年约了一个人吃饭谁呢拉里佩奇要找谷歌伸手要钱了

文达准备了很多材料画饼不是画饼去讲科学科研方案未来深度学习那可不是光搞图像识别机器翻译未来深度学习一定是走向通用人工智能的 AGI 的那个时候就这么讲的画的饼

有点大但是也不能说是预测错了这个项目当时起的名叫马文项目 Project Marvin 纪念马文明斯基不知道咋想的一个深度学习项目名字叫马文明斯基吴老师应该是没有讽刺的意思确实想纪念一下前辈真的没有吗那我不知道得问吴老师 2011 年项目批下来了吴文达加入谷歌工作搞他的实验室

这个时候吴文达当然要先拜一个码头照着稍微解释一下为什么要拜码头你说做实验室你好好搞科研不就行了吗为什么你在企业里搞研究不一样企业里搞研究你没有业务部门合作就是死路一条因为你每年汇报的时候你没法跟老板解释清楚你价值没有成绩再等两年再等两年我就能给公司赚钱你这说法说不过去你要是说今年我给哪个业务部门合作了你看他们绩效好了老板会愿意再多投资助

另一方面呢你不跟业务部门合作你没有数据没有用户那咱们也说了深度学习神经网络这些非常依赖数据的你没有数据你也很难做你总不能自己标自己找人去抓这个成本太高了所以说拜马头首先第一个要拜的那当然是先拜最核心的业务啊那先找最大的大佬谷歌搜索的负责人阿密特辛格哈尔

温达说跟我一块搞搞出来 AI 以后用户可以直接问问题不用输入关键词了对话对话形式解决问题酷新高海尔说用户不想问问题用户为啥问问题用户输入关键词就行了一句话就把温达噎死了对回去接下来温达没办法接着拜马头拜了好几个什么图像搜索视频搜索这些都不愿意跟他合作主流的不行这边角料的也不搭理他

半来半去聊到了一个人 Jeff Dean 杰夫迪恩这位在座的包括我之前也都不是很熟悉但是在程序员领域那可能是全球最出名的程序员之一了大神他在 99 年就加入只有 20 个人的谷歌团队而且成为了佩奇和布林之外最重要的工程师

相当于三号位四号位在技术方面厉害解决了非常多早期谷歌的重要技术课题包括爬虫索引查询广告系统的搭建还有分布式的结构这是懂技术的基本上全是核心的系统很多人比较熟悉的是他写出来的 MapReduce 架构这是全球最流行的大数据处理模型之一这是搭服务器的我读研的时候当时打还

还有这个加工的有接触的这个 Jeff Dean 厉害到很多人觉得他是个神就给他写了很多段子就在公司论坛里流传特别好玩虽然跟今天要讲的故事无关但是我特别想但是跟笑声有关要说跟半拿铁这个风格有关所以我就多分享几个可以当杰弗蒂恩向以太网发送一个数据包时从来不会有冲突原因是本来和他有冲突的包都默默撤回了和冲去哈哈哈哈

这个真的稍微有点技术基础大家才能够搞懂对杰弗蒂恩在吴子奇的游戏中能赢你在四步以内杰弗蒂恩的个人识别码是圆周率的最后四位杰弗蒂恩曾经在一次图灵测试中失败了因为他在不到一秒的时间里正确识别了第 203 个肥波纳切数是

杰弗蒂恩的键盘多达两个键有 1 和 0 当杰弗蒂恩听 MP3 的时候他会查看其中的二进制内容然后在他脑子里进行音频解码

在 2002 年的时候 Google 搜索曾经挂了几个小时于是杰弗蒂恩站出来手动处理用户的查询请求搜索准确度翻了一倍我的天哪真的就是把它当神供就说这么多这其实是有点像咱们经常说苏联笑话的那种特殊的笑话就是说这个人神到一定程度已经不是正常人能达到的地步了

有点意思大家可以自行搜索因为这个在中文世界里面也广为流传能搜到很多很好玩的就这么一位大神表示文达吴老师你这个不错

不错我很感兴趣终于有博乐了我读本科的时候我自己就写过神经网络的算法两个人一拍即合他们的项目热火朝天搞起来了第二年也就是 2012 年成功发了一篇论文介绍他们可以在 YouTube 的视频里识别出猫了这篇论文后来被称为小猫论文 Cat Paper 吴文达介绍他这个项目的照片也成为人工智能历史上的经典照片小雷可以看一下嗯

吴老师看起来很开心是在介绍他的论文成果对

因为项目成功了所以它本来只是一个项目只是一个叫 Google X 实验室当中的一个试错的项目这个项目成功了所以专门为它成立了独立部门叫做 Google Brain 谷歌大脑说到这儿很多听友应该都知道了不过可惜吴文达老师作为谷歌大脑之父把台子打起来自己先撤了说我不搞了我要去投身互联网教育了所以创立了一家初创公司叫 Coursera

做的就是前几年在国内也比较流行的木克教育向人类传递知识火种吧他的课程确实都非常顶尖都是找哈佛阿斯坦福这种大学提供的这个平台的课非常好我自己就学习过 Coursera 的机器学习课程

还拿了个证书当然这个线上课程的基础含量不是特别高但是有温达老师的签名还有斯坦福大学的样式我当时学的基础学习说明我这也不是给大家瞎讲早早的进修过了也把这个证书放到 show notes 里给大家看一眼持证讲课推荐各位想了解的可以去学习一下它虽然是英文教学但非常简单你基本上有高等数学的基础都能学会

你先别把话说的这么慢这个课确实挺著名的大家就入门的时候很习惯学它做的比较基础是这样那我回头有空试试我学不明白我回来找你可以言归正传温达算是打响了企业界砸钱搞 AI 的第一枪他走了之后谁接手呢温达说我跟你推荐一个人

这个人在冰天雪地的地方他叫杰夫辛顿 Google 当然听从建议就特地去找了已经 64 岁高龄的杰夫辛顿老头子了杰夫辛顿说我没兴趣我在这可舒服了终身教授而且我这圈里有名气啊

各种青年才俊搞搞我的地下党不是搞搞我的学术研究活动搞搞我的宗教对企业界我没兴趣谷歌说你要么先来看看先来看看我们公司啥样说不定喜欢的星顿确实去公司看了当时看完之后没说去但是他当时吃饭的时候就碰见了几个人这几个人怎么这么开心看起来干啥的感觉年纪也不小了

我们这公司刚被 Google 买了我们刚被收购了所以开心原来公司被买这么开心回头我也试试挺好玩也要自己搞一个辛顿回去就准备成立这个公司公司得先亮个相秀个肌肉怎么秀呢去参加当时非常知名的一个比赛叫 ImageNet

图像网这跟上一期连上了放下来了这是斯坦福大学的一个大型数据库这个比赛的题目就是识别各种物品动物等等这些他当时指导两个学生参加这个识别的比赛两个学生一个叫伊利亚萨特斯基佛一个叫亚里克斯克里哲夫斯基

听这个名字啊又是外国人而且他俩确实都是苏联出生的辗转来到加拿大萨特斯基弗跟辛顿认识的经历也广为流传很有意思据说他在当年读本科的时候好像大二还是大三去直接就敲教父辛顿的门碰碰碰敲完进来说你们这个深度学习实验室啊算我一个嗯

我也想进来辛顿说你谁啊谁啊为啥不约个时间啊那个萨特斯基福说好的呀那我跟你约时间就现在吧现在可以吗真虎啊辛顿最后还是接受了他因为当时他说他第一眼就感觉这个小伙子还是挺机灵的而且他是数学系的有用啊你别忘了辛顿自己一般都是委托别人搞数学嘛

所以就当时给了他一篇反向传播的论文让他读读完之后回来听听他什么想法过了几天萨特斯基夫就回来了说我不明白啊心顿心说这就是个危机分啊你这搞不明白悟性这么差吗对啊萨特斯基夫说不是啊我不明白为什么你不求导而且加上一个函数优化器呢你这不是傻吗心顿心想我

我操楼下买了震楼机震撼到家了这个事我想了五年一年才想明白数学是真不行于是萨特斯基弗就顺利进入时间室帮他做项目而且后来辛顿明确提到过萨特斯基弗是他唯一一个教过的比他自己好想法很多的学生以后我们就把他叫小萨

可以对小萨的评价甚高这个小萨他是出点子的另一位刚才提到了一个苏联出生的克里哲夫斯基是拉莫的那是确实是很靠谱的软件工程师这二位你们想东西我帮你们实现就是把他们的想法落地他们一块把这个系统搭载在有两块 GPU 的电脑上训练的非常成功上期咱们说了这个系统叫 AlexNet 一战成名远远超出上届冠军 10 个百分点

对介绍这个系统的论文成了奠定深度学习时代的最重要的论文相当于这个系统出来之后深度学习时代正式开启复国了 Alex Knight 震惊全球在这一刻克里哲夫斯基和萨特斯基佛他们不是两个人在这一刻罗森布拉特皮茨麦卡罗特灵魂附体伟大的神经网络科学家他们继承了联机派的光

他们不是两个人在战斗他们不是两个人我们以后应该真的自在的视频化一下看看我们录节目的时候各自都是什么样的生死历劫的一副脸孔真是拼了命了刘飞

喝点水不错把这个气氛确实是烘托出来让大家感受到这个时刻的重要性是而且前面咱们说的传递火种当中最重要的三个人物杰弗辛顿杨立坤和那个比较年轻一点的约束亚本吉奥这三位被称为深度学习三巨头大家公认的这三位那就是深度学习时代的开启者在 2018 年三位同时获得土灵奖

拿到了计算机行业的诺贝尔奖算是终于得到了整个计算机领域的公认地位如果你去搜当时介绍的新闻很多新闻用了一个词坚持但是很多读者估计第一眼看到坚持啥不知道坚持啥听了我们前面三期故事就知道多不容易老头从 70 年代开始搞就像刘飞说过的十年寒窗无人问一朝成平才天下之那比班达铁不容易多了哎

就在 AlexNet 在 2012 年横空出世之后带来的第一件大事那就是新顿被买了严格来说是新顿的公司被买了新顿不是说我搞公司玩感受一下他比赛完就立马成立一家公司叫 DNN ResearchDNN 好理解深度神经网络公司

公司只有三个人只有三个人辛顿萨特斯基福克里周夫斯基就这仨就他仨就这仨除了这仨人还有什么业务呢毛都没有就是个壳就是个壳这家公司唯一的资产就是三个员工辛顿就挂了个牌找了个黑板

跟布兰森一样找了块黑板拿分笔写了一个现在招标了我这个 DNA Research 要卖了我这确实没啥业务但是我们仨人在这你们要买就买前排落座要举牌子抓紧前排有大座这谁来真来了刷刷刷来了好多家公司最后剩下四家哪四家 Google 微软百度还有一家咱们卖个关子先不说应该也是巨头啊

看这个犹豫的就还不一定算是巨头不是那么巨头那行这四家的报价那是节节攀升很快就从 1500 万每刀到了 2000 万每刀结果到了 2200 万每刀的时候只剩下两家了 Google 和百度微软都不干了撑到最后了厉害但是百度撑不住了因为 Google 直接说我 4400 万

4400 万美刀直接收要不要这百度算了算了李老板算了算了让他拿直接收购了这家空壳相当于直接白给钱给钱就是请你们三位来我这上班就这意思自我包装一下当时看大家都震惊了说这么贵买个这么高但是后来看这便宜太便宜了真的是给谷歌续命的事情

这主要是后面其他家在请的时候那可就比这这个价格又高出太多了价格高出太多了在这里面的投入你现在随随便便一个服务器啥的上个什么计算课题那都是上亿上亿的这便宜

从那个时候起这些大厂包括 Google 包括微软都决定要大力投入搞深度学习了包括百度全球化的军备竞赛被新顿这个火种点燃了说起来这也就是十年前的事是未来的资金流入越来越多人工智能从政府资助已经基本上就变成了企业之间的军备竞赛嗯

不光三季投新顿的两个学生小萨还有小克克里卓夫斯基也都成了后来 AI 领域非常重要的角色后面还会提到我们接下来进入第三章三国鼎立有那小蕾先猜一下哪三国吧那就谷歌和微软肯定是各有其一那第三个其实你按市值算也该算到它了就是 Facebook 对

那不是说人工智能吗那科技大厂都要去插一脚的等会就会提到了首先咱们先要引入一位新的奇人名字叫戴密斯·哈萨比斯 1976 年出生于伦敦是混血母亲是华裔新加坡人父亲是希腊裔塞浦洛斯人

所以是个非常国际化的一个混血 13 岁这位哈萨比斯获得国际象棋大师称号而且是当时同年龄段全球第二就第二直接排第二了被称为国际象棋神童很多神童人生的高光时刻就到这了但是他没有

他从剑桥大学计算机科学系毕业全系第一 21 岁参加一个智力比赛跟全世界的选手比国际象棋围棋拼字游戏双路棋和普克有点像个铁人五项而且是同事参赛就是你必须五项最终的综合成绩好才算最厉害的他呢参加了之后从 21 岁这年的五届一共拿了四届冠军有一届没拿为啥呢没去没去啊

为啥没去呢他太喜欢电子游戏了所以当时就参加了一个电脑游戏的制作这个游戏甚至可能很多 80 后玩过包括我叫主题公园啊

这叫主题公园玩游戏少没玩过很正常可以造过山车和游乐设施的模拟游戏我特地去搜过就是小时候我们熟悉的主题公园可太屌了他就是主要设计师早期我的世界对而且在游戏里已经有了最基本的人工智能模块因为你是造公园这里面都有游客进来游客的行为是随机的我喜不喜欢这个项目我参加哪个项目我上哪个项目说甩出去了摔死了都是随机的哪

还有这么暗黑前两天我们玩海归汤玩多了还有后劲所以他那个时候已经开始接触人工智能了后来他跟哥们办了一家游戏公司这家公司不是特别顺利 05 年关门他决定还是兴趣驱动搞

一家人工智能公司不过这个时候搞人工智能已经不是洒洒水了得学点东西因为之前确实没有那么熟所以哈萨比斯去伦敦大学读了神经科学博士又去伦敦大学盖茨比计算神经科学中心做博士后这个中心的创始人是谁呢芝麻掉到人眼里杰弗辛顿

他们是委托杰弗金顿来办的这个中心哈萨比斯在博士后阶段就拉着一个实验室的哥们叫沙恩莱格和校外的一个创业者叫穆斯塔法苏莱曼三个人一拍即合咱们搞个公司吧苏莱曼呢他有创业经验然后他们俩呢就搞技术 2010 年 DeepMind 成立了哦

这个迪夫曼的这个名字呢致敬的是科幻小说银河系搭车客指南里的超级计算机 Deep Thought 其实差不多意思深度思考也是对深度学习的一个致敬那你可以看出来这后代的很多科学家跟科幻作品之间还有这种互相启发的关系挺有意思可能真的有很多科幻作品完成了早期教育和启蒙的这个作用是

那合伙人起了接下来就是投资人了上来就找最顶级的 PayPal 黑手党咱们迟早会讲到这个 PayPal 黑手党就是最早一批从 PayPal 出来的一些人变成了投资圈的风云人物这里面最出名的当然就是 Ellen Musk 了另外一位很知名的

彼得蒂尔哦这个还很多听友知道他应该知道他那本书从零到一哦那本书他写的现在也是国内创业者必读的书籍了只望掉到针眼里哈萨比斯找的就是投资了 FacebookLinkedIn 和 Airbnb 的彼得蒂尔哈萨比斯想办法找关系脱关系找到了彼得蒂尔去他家里拜访很有套路上来先不提那些事先说哎

你客厅里摆了国际象棋这我收跟他谈国际象棋的历史下棋里面你知道云含哲理说这个为什么这么走讲了彼得第二很高兴这个人讲的很有趣对很好玩最后聊了几轮图穷地线原来是要投资彼得第二听他说他要干啥说

这事有点大那就得拉人入伙喊了马斯克马老师一块搞吧接下来 DeepMind 的钱到位了再加上你像前面也说了他其实跟神经网络圈深度学习圈的这些大佬都认识杰弗辛顿杨立坤他们都成为公司顾问了人才也不愁了很多年轻的深度学习研究员加入这个公司慢慢就传承局了哈萨比斯他们就研究了一下这

这肯定不能瞎搞 AI 咱们不能说就是说搞 AI 搞 AI 你不能不找场景找个什么场景呢玩游戏哈萨比斯他们很聪明啊因为这个能演示就你玩的游戏在电视台上一播啊在媒体上一播大家发现哇这个有意思所以容易卖货媒体也容易宣传嗯他们当时已经能让 AI 玩一些亚达利游戏主机上的老游戏了哇

说到亚达利大家不熟悉可以去听任天堂往事里面特地提到过亚达利五期节目当中有他的戏份在这事让佩奇知道了佩奇说买

有钱必须买于是杰弗辛顿这个时候咱们前面提到了他不是买了杰弗辛顿的公司吗所以杰弗辛顿现在在给 Google 做一些事情刚才好像没提到就是当时买其实杰弗辛顿是兼职加入的他大部分时间还是在多伦多大学的这个也值了有这个大实在他两个学生是全职加入 Google 的然后杰弗辛顿这个时候

跟杰夫迪恩两个杰夫两个大神带队带着一帮 Google 的人去了伦敦因为那个时候哈萨比斯和他们 Deepman 的公司总部在伦敦就跟哈萨比斯谈交流了一会儿觉得不错很谈得来路线大家很对这里要提一句杰夫辛顿老爷子很有意思他有一个病他腰椎肩盘有非常严重的问题他没法坐他坐了

他自己说上一次坐下来是 2005 年了显得是一个错误一不小心卡扎所以再也没坐过了要么站要么躺所以后来每次坐飞机他都是得躺着

绑在飞机上被绑过去成本可太高了所以这次开会呢大家都在迪普曼的会议室长桌上面坐着开会杰弗辛顿就躺在旁边地上聊到一半举个手我有个问题所有人看着地上叫不听说

这么大一教父不好好把病治一下真是虽然像这个场景挺好玩大神呢杰弗迪恩就说那我来看看你们代码可不可以他们说可以这大神看了 15 分钟啊可以啊

我觉得你们这个团队确实是自己知道自己在干啥怪不得前面说是大神虽然不是两秒钟 15 分钟就看明白 15 分钟看明白把他们的核心的东西都能搞明白确实就是神一样的脑子是哈萨比斯当时就犹豫了犹豫半天之后最后还是同意了收购他

他犹豫了犹豫了谷歌要收他他还犹豫了对他刚开始他跟员工承诺了说我们保持 20 年独立不变因为他担心企业会影响他们做什么事情就太追求短期价值了但是 Google 的人表现出来非常有诚意就是我们不干预你而且 Google 这就说到 Google 很厉害的一点它后面确实干预非常少

就是让他们几乎完全保持独立经营这格局还是可以的后来犹豫了以后觉得这么有诚意那就收吧收购吧然后跟员工开会说之前咱们说好了 20 年保持独立不变咱们这个时间稍微缩减一下缩减成了三周三周之后咱们就不独立了

接下来 Google 就放了一个大新闻决定用 6.5 亿美元收购一个公司这个公司只有 50 个人没有实际的业务和所谓的净资产就是这 50 多个人和他们在做的 AI 项目 DeepMind 很快就出名了当然它更多的出名破圈还是接下来这个事儿

要说到了还记得之前的课题就是下棋很多围棋选手觉得我们是下围棋你不行的国际象棋可以简单他们就跟上一期连上了在 2016 年 1 月份的时候自然杂志

封面报道搞了个人工智能大新闻封面上就写了哈萨比斯宣布 DeepMind 的人工智能系统 AlphaGo 已经击败了三届的欧洲围棋冠军不过呢就这个比赛它是个闭门的比赛没有公开这个时候大家都在猜啊包括很多围棋大师都说就比较疑虑就质疑

不行不行别吹牛公开一下看看有本事决战紫禁之巅紫禁之巅大家都看看直播紫禁之巅放个这上头 2016 年 3 月你看这时间没过多久说明人有底气立马安排了跟韩国选手当时顶级的选手李诗诗的比赛

比赛之前李适时说我估计吧也就打个 4 比 1 机器他也能赢一局我放泡水让他赢一局我要是不客气 5 比 0 我告诉你

当时的媒体也都这么认为毕竟李士实当时围棋水平他是碾压之前阿尔法购击败的欧洲围棋冠军因为欧洲他不是他们的优势项目是东亚国家中日韩大家都知道这场比赛 2 亿人观看直播不光老百姓关心当时科技圈商业圈都非常关心因为你这赢了 Google 抬起头来了最焦虑的肯定是哈萨比斯当时杰弗蒂恩来了

谢尔盖布林也来了都去首尔现场看比赛局势非常紧张下完第一盘李适时就表示楼下买了镇楼机震撼到家了我没想到啊这个阿尔法购能这么完美的下棋他用的就是这个词完美嗯

结局一比四机器放了个水李士实大败非常有意思的是第二盘的第 37 手下完之后李士实包括所有在场董维奇的都蒙了正常人不会这么下这下又来了一个神来之手结果后来走了很多步之后发现真是神来之笔很多棋手都评价太神了这

这一步在阿尔法购后来回顾他这个计算过程的时候发现阿尔法购自己知道这么下的概率是万分之一但还是下了就是下他个出其不意哇所以这就是阿尔法购自我学习得到的这被认为是上帝之手一样厉害啊嗯

那这个跟人的思路真的就是有相似之处了李世石他不是当时下棋的时候最顶级最巅峰的时刻他是 07 年到 11 年的世界排名第一但在当时不是世界第一第一是谁中国棋手克杰克杰是 15 到 17 年的排名第一 17 年阿尔法购安排在乌镇跟世界冠军克杰比赛三局全部获胜 3 比 0 克杰毫无换手之力

中国围棋协会给阿尔法购授予九段称号那是最高段位了聂卫平说他的水平不是九段至少二十段吧九什么段啊二十段已经衡量不了他了迪普曼的团队宣布这次比赛之后阿尔法购彻底金盆洗手退江湖再也不下棋了没有必要下了

给人类起手要留出继续进步的空间对但是 AlphaGo 后来还有很多迭代版本会用在其他更有价值的地方比如生物对像现在 AlphaFold 把所有的蛋白质都给算明白了是

说到这儿稍微提一下咱们稍微说一个直线就是 AlphaGo 背后的方法整个人工智能的故事我们聊符号派和连接派很多这次终于可以聊聊行为派了稍微岔开话题聊两句在连接派刚刚诞生的时候除了讲维纳我们还讲过冯诺依曼写过自我复制的一个程序成了第一个精神病毒冯诺依曼提出了自复制自动机他的那本书编者叫伯克斯

伯克斯是一个研究哲学数学心理学语言学的一个学者他跟王浩是朋友他们都是一个圈子的伯克斯在密直安大学创建了一个计算机和通信科学系成了世界上第一个计算机科学系这就是世界上第一个计算机科学系非常早他培养出来了世界上第一个计算机博士

叫霍兰德这个霍兰德也差点去达特茅斯会议你看这时间多长那好早呀他跟明斯基麦卡锡差不多同龄人好像就小几岁吧他没去说他当时在忙吧忙他的一个什么项目他忙什么项目呢就是他从生物进化论得到的启发在冯诺依曼和伯克斯这些前辈们工作的基础上发明了一个算法

就跟进化论一样在每次迭代中变异就他每次改一点东西优胜劣汰慢慢慢慢不就能学会了吗那不就是行为派起了个名字就是大名鼎鼎的遗传算法那遗传算法因为跟神经网络还不太一样所以在神经网络差点被干掉的时候他活得还凑合还是有些人在研究他的有一支脉络继承了下来霍兰德他有个博士叫巴托

巴托在 MIT 工作他的老板叫阿比博嗯直忙掉到针眼里了这个阿比博是谁呢他是维纳最后一个学生都是一个圈子所以就是这个巴托也一直在研究遗传算法和进化方面的人工智能课题巴托第一个招来的博士生叫萨顿你看这已经传承了好几代了嗯

我已经脑子有点是跟不上了因为全是名字没关系就是咱们说伯克斯学生霍兰德霍兰德学生巴托巴托学生萨顿现在讲到萨顿了这第四代了萨顿整合了两个重要的理论一个理论叫马尔可夫决策过程一个叫动态规划这两个熟悉机器学习或者人工智能的朋友肯定大名鼎鼎之前也讲过一马尔可夫提到过

他围绕这两个基础发明了一个全新的人工智能方法叫强化学习嗯

强化学习一直其实没有得到重视直到 2016 年的这一天 AlphaGo 震惊世界大家发现他用了强化学习方法这么牛逼这里头是他用了强化学习而且强化学习它并不是一个单独的排他性的方法不像说有一个方法你用了这个你不能用别的我就是给你加 buff 的对他是跟很多算法包括深度学习这些算法很好的结合在这之后强化学习基本上就变成了一个

主流的学习方法了拆掉 GPT 它也用了很多的强化学习的模型强化学习厉害的地方在哪呢后来 AlphaGo 还出了一个新版本叫 AlphaGo Zero

他不用任何棋谱就之前咱们想象的还是学棋谱他就是自己跟自己下棋就两个人互相下两个机器互相这叫强化学习对所以能快速学习到全新的水平不用棋谱了已经另外也要提一句 AlphaGo 背后的方法严谨来说叫什么叫基于强化学习的启发式 MCTS 搜索的基于卷积神经网络的监督学习算法哎

你一听一方面他跟最早三秒的下跳棋的搜索算法很相近启发式搜索可能还有印象之前那么老一辈的符号派的专家提到过的启发式搜索同时他又加入了神经网络和强化学习的部分

所以你会发现 AlphaGo 简直就是个最好的案例它说明了一个问题符号派连接派行为派是可以融合可以完美融合这就是共同创造了一个 AI 历史上的奇迹这也是为什么特别想聊 AlphaGo 背后的原理它其实是一个融合从这个时刻开始大家也发现了三个学派不是什么非此即彼不是什么你死我活了很多方法都是你中有我我中有你时代变了久久归一 AI 大同啊

那说完 AlphaGo 震惊世界之后我们说回 DeepMind 这条线在 2016 年 DeepMind 用最新的系统 AlphaStar 训练了星际争霸 2 的 AI 那个 StarCraft 的那个 Star 它围棋都能下电子竞技游戏那不应该也是新手年来吗那这还真是一加一等于七想多了

想的真是有点多了输得很惨因为星际争霸它是个复杂策略的它之前其实有 DOTA2 的 AI 玩的还不错但是星际争霸 2 的 AI 完全打不过因为太复杂了这里面的策略它不是操作一个单位它是操作各种复杂的单位你还要同时去看资源的情况看兵种的策略去操作具体的战况这个太复杂了

打不过你刚说我还在想因为现在也有创业公司还在深耕这个方面我在想如果他们已经做好了别的公司可能已经没有路走了是 其实打不过甚至说 Alpha 都打不过游戏里自带的简单难度的电脑 AI 打不过电脑 AI 真的就是逻辑方向不一样所以说当然电脑 AI 它是基于规则的肯定设置很多规则的所以你这么学是打不过的

但是在 2018 年 DeepMana 的系统又有 5 比 0 的战绩打败了 Liquid 大家肯定熟悉这个战队更多可能熟悉到他的战队他的职业星基二选手然后同时以 5 比 0 的完胜战绩打败了来自同一个战队的选手 Mana

它还是赢过的就还是打星际的已经打到了对星际二的就已经水平上来了水平接近了不能到顶级不能到顶级只能是说到头部就有点像国际戏器大师到这个水准了现在这个 Alpha Star 的这个机器 AI 还在那个因为星际争霸 2 它是有一个全球排行榜嘛它还是在这个排行榜上这个上游的但是不是在最顶级大家感兴趣的可以自行去了解一下啊

当然除此之外还有很多公司都训练过游戏各种各样的成长都很快现在下棋玩游戏大部分都不是最大的难题了嗯

那说到这儿 DeepMind 差不多就落一个逗号 DeepMind 和谷歌大脑前面提的文达做的谷歌大脑是在 Google 内部两股有点微妙的力量因为一个是收过来的一个是自己本来做的他们各自有自己的研究方向和路线但确实都很厉害都有很多重要角色在江湖顶尖的高手都是云集的嗯

迪普曼的有谁有哈萨比斯还有好几个刚才他的那些合作伙伴以及吸引到的很多年轻的专家谷歌大脑有杰弗迪恩有杰弗辛顿还有杰弗辛顿的学生们都在谷歌大脑也都是很厉害的两个团队说完这两个团队还很值得一讲的是 Google 在硬件方面和深度介入业务方面的推动深度学习在 12 年虽然火了但是要训练深度学习的硬件基础要求其实是非常高的呀

我记得我们读研的时候我们都知道深度学习都学过深度学习但是没法用实验室里自己都搞不了肯定搞不了的就是它要求太高了硬件性能要求太高了没钱不行对我前几天跟我之前的前同学聊天你知道现在大公司采购 A100 的芯片一块芯片可能就是上百万的价格上百万的价格一块是跑不了的你要是上百块上千块甚至上万块的就跑

所以就更好理解前面咱说的训练模型跑一次要那么多钱的原因了是没有条件对大部分公司和高校是没有条件的那我们说回谷歌了在那个时候科研人员已经发现了 GPU 的计算性能更好其实 GPU 显卡大家都知道图像处理器它本来只是做图像处理的现在看因为它的计算性能好所以能训练很好的模型

Google 当时的 AI 主管叫约翰·詹南德雷亚这个前面其实提过一嘴最早做那个并行计算机做一个商业公司后来还做过什么天气应用被苹果买了后来多纸捏合什么反正做过很多事情的那位他之前有一家公司的 CTO 是这位

就相当于他们之间的合作伙伴他那个公司就卖给 Google 了但卖的时候相当于就是这个约翰张南德雷亚带着公司来的这位现在已经是 AI 的主管了另外还有一个就是我们提到刚才的大神杰弗迪恩这两位两人一块去申请 GPU 张嘴就来 4 万个

立马就批了不给为啥 4 万个 GPU 价格是多少 1.3 亿美元就专为这个做一个你说不清楚收益的项目那一般公司不会批的地主家也没有这么多余粮他俩真的是跑断了腿说破了嘴再找高一层的老板那老板呢再去找拉里佩奇谈了半天要找到这个成绩才行最后终于 4 万个 GPU 给他搞定了

接下来基于这 4 万个 GPU 开始真的有项目落地了在 Google 里面自动驾驶的项目开始启动效果不错很快业务模块也陆续接入深度学习了比如说谷歌照片谷歌照片大家可能不是那么熟但是现在我们用的 iPhone 手机和国产的那些安卓系统里的 AI 功能智能的部分都是用了深度学习都很类似 Google

Google 的广告系统 AdWords 也迭代了一轮在这里面加入了深度学习的模块很快这一个多亿回本了很快回本哪怕你加上所有的人力成本一般他们说回本还不加人力成本你加上这大几百万美元的研究人员的人力成本也回本了人家科研人员是真赚钱了

当时跟温达聊说深度学习没有用那个主管也离职了刚才提到的约翰·詹南德雷亚他成了搜索业务的主管约翰会加入更多深度学习的模块他又熟悉早先他又很积极的推动后来谷歌助手也出现了再后来 Siri 也出现了这个过程当中杰弗蒂恩发现还不够因为硬件还得迭代说咱们需要一个神经网络专用的计算机芯片是

神说要有 TPU 于是就有了 TPUTPU 计算神经网络专用芯片专为优化的 TensorFlow 机器学习框架而打造主要就用于 AlphaGo 系统以及 Google 地图 Google 相册 Google 翻译等应用当中

这个就是杰弗蒂恩推动的它这个 TPU 有用到什么程度一开始 AlphaGo 当时刚开始做的时候内置了 1202 个 CPU 芯片和 176 个 GPU 芯片去击败了欧洲的那个冠军后来跟科杰下棋的时候用的 TPU 只有 48 个这个集成度就太高了

目前这个 Google 的模型基本上就是全都跑在自己的芯片上自己就自己硬件了这个还比较有意思的一个点就是 TPU 的碳排放量比英伟达的 GPU 要少非常多所以非常环保但不光环保还节能呢节约这个电费啊

这个在现在企业的 ESG 特别火的这个方面应该也是很有价值的环保上你看在新硬件的加持下面再加上深度学习的效果 2016 年杰弗 DN 亲自带队新的神经网络谷歌翻译发布了准确率大幅提升也差不多就是这个时候我们日常用的翻译工具大家会发现就在那几年变得越来越靠谱了不管是百度有道等等都变得非常好用了基本上用的都是深度学习的算法

就一个行了大家就都知道该怎么弄了对咱们再说一说隔壁啊隔壁 Facebook 其实也在很早的就观望深度学习但是就像刚才萧磊为啥没猜到对一时间没反应业务离的稍微有点远动作就有点慢对那还还停留在 Meta 的那个是一个阶段之前那个 Facebook 也跟 DeepMind 接触过想要买来着哈萨比斯觉得我跟你企业文化不匹配所以就没接受然后 Facebook 后来也慢慢开始着急了就是

咱先不说业务上怎么用吧但是作为巨头那么也得先储备点粮食吧是有点人才吧人都被挖走了到时候也没法挖回来下一场战役没法打还是怎么也得先把实验室建起来 13 年找到一个人他是谷歌大脑的研究员兰扎托想要挖兰扎托想了想问问自己老师吧他老师是谁啊是谁呢杨立坤他老师其实在 2002 年就差点去谷歌他就说

你别去我就感觉这些企业都不是老老实实做研究的就是看短期收益不看长期的你去了之后 Facebook 然后兰扎托最后还是去了 FacebookFacebook 太有诚意了扎克伯格亲自接见亲自劝说他而且扎克伯格把他的工位安排到自己旁边就在旁边紧挨着就说

这个项目就是我现在看的一级项目我亲自来看你来办这个事办这个实验室不能说力度不大这太有诚意了所以兰扎托去也有这个也可以理解开始我还以为真正是因为他们给的太多了又过了一个月杨立坤接到一个电话扎克伯格亲自打过来说公司现在我在做什么事我现在你徒弟就在我旁边坐着呢等等很需要你你要不要也来

并且很有诚意的说我读了你的论文我觉得这个挺好的杨立坤拒绝了说我帮不上忙您另请高明现在时间就到了年底了兰扎托有一天说老板我得去趟 NIPS 扎克伯格说这是个啥兰扎托说这是我们老师和他们新顿教父他们办的会扎克伯格说我也去我也去兰扎托说

就像你一个朋友特别想参加聚会但你知道他们不是一路人他想去就很尴尬硬要去怎么办怎么办呢他想了个办法这样你就在同一个酒店办一个演讲活动变个商业活动到时候一碰巧了

我也在这个酒店交流一下这挺好扎克伯格就这么去了而且真见到杨立坤了那还是当面聊跟他吃晚饭到了第二天杨立坤真被他打动了去 Facebook 总部看了看扎克伯格趁生追击说邀请你来给我们建一个 Facebook 的 AI 实验室怎么样杨立坤想来想入

我还是给你两个条件第一我不离开纽约我不会放弃纽约大学的工作就这两条件扎克伯格当场答应杨立坤一看这么有诚意三顾茅庐这也是我就来吧于是杨立坤就成了 Facebook 的 AI 奠基人而且他是非常认真对待这个工作他跟辛顿不一样辛顿是隔三差五去谷歌指导一下他是大部分时间都在这个公司的那

一周基本上只有一天回学校但是非常认真的投入到这里面的业务的一直到今天杨立坤也是 Facebook 现在我们叫 Meta 了的 AI 总司令只不过 Meta 前阵子被元宇宙伤得有点重 AI 也没有太跟上目前没有看到这方面有太多的动作

我们再引入另一位 1961 年那是一个秋天中国上海陆琦出生了哇到了这个时间点大家都知道那是吃不饱的事 61 年前面我们也不止一次说过是他从小体格特别差营养不良视力也不好就吃到差到这种程度就说他在村里跟爷爷奶奶过的时候一年只能吃两次肉太苦了

年轻的时候去造船厂想要当工人人家不要你这看不清楚体力又不行 77 年恢复高考考得还行但视力差想去物理系去不了做不了物理实验差到这种程度看不清楚 80 年考上了复旦大学的计算机专业一直读到 88 年读的本硕据说在学校那就是一个书呆子的形象很瘦眼睛又很古板很大

很鲜艳喜欢思考各种各样的问题人称负担陈景润他读书的时候其实就对 AI 产生兴趣了他当时就说当我们在计算机系写下棋程序虽然是很简单的棋但给我的直觉就是只要给我们足够的时间以后一定可以做的比人更聪明你看

你看这些人都是有神的感召的有信仰这就是有信仰在毕业之后留校了在一个风雨交加的星期天这一天是改变陆奇命运的一天当时有一个卡内基梅隆大学教授图灵奖的得主爱德蒙克拉克他在复旦做讲座可能也是因为雨天没啥人听他就被拉过去凑数听一听场面太不好看了图灵奖啊

虽然是凑数他现场听了听还真提了几个问题克拉克印象可深刻了他一看这小伙子是谁陆奇然后就搜了搜他之前写的论文后来就给他发消息决定说跟我走吧陆奇你来美国读博我会给你提供奖学金然后

卢奇当然想去但是那个时代其实还没有那么开放按照卢奇的资历按照当时的大学的规章制度他根本排不上的还不到 90 年代大概需要等一等等多少年呢等个四五十年就行了结果当时的复旦校长一拍桌子让他去

整个中国历史上还没有人去卡耐基梅隆大学呢给他开绿灯这位校长是谁呢这就要说到这就说到在半达铁 22 期中国半导体祖师爷节目里提到的谢希德院士中国半导体之母了不起

所以说为什么这一天改变了陆奇的命运呢因为陆奇本来这一天想回家看爸妈的就是下雨天没去就被拉去凑数就碰上这个雏林奖得主感谢这场雨是所以 96 年陆奇博士毕业了接着去哪呢找学长打听一下扫听一下接下来去哪好是去做科研呢还是去什么硅谷呢听说硅谷最近挺热闹的打听了一个学长谁呢卡内基梅隆大学毕业的李开复

李开复说你得去硅谷硅谷好现在企业界发展未来是很有前景的陆奇就决定去了 IBM 做得很好过了两年就去雅虎了而且雅虎大家就后面我们互联网史话肯定要有它非常重要非常重要的它是全球互联网的开拓者最早的巨头可以说

陆琦在雅虎是高级副总裁负责什么呢搜索这是个非常关键的创新业务嗯过程当中他还跟杨志远一起收购了 3721 周鸿祎的 3721 都是他参与的未来肯定还会讲到啊嗯

陆奇晋升是非常快的而且他既聪明又勤奋非常少见长期保持 4 点起床查授邮件开始跑步 6 点开始工作每天只睡 4 个小时从不间断神人一样 09 年陆奇被史蒂夫·鲍尔默亲自挖到了微软担任他的直接下属推出了一个全新产品

并必应必应就是他搞出来的从零到一搞的同时陆奇还顺手负责几个业务 Scaf 云服务 Office 365 几乎核心业务都在他手上

office365 当年叫 office 为啥叫 office365 呢就陆奇把它搬到了云上这就是陆奇亲自干的这是微软非常成功的策略到现在布局我们看微软的营收力大量的云计算也是跟陆奇这个策略有关系的他跟很多人不一样的是除了做业务他也很熟悉学术他还是保持日常看论文的一个状态他对 AI 也有极强烈的兴趣很快他就认识杰弗辛顿了认识神经网络这些前辈包括认识了温达

快速 get 到了深度学习的价值在 2012 年新顿那个公司竞拍的时候微软本来不太想参加的陆续在推动其他高管就觉得买这个千万买三人怪不得最后比百度还更提前推出了

所以那微软回头再看已经跟不上了迪夫曼的他们来了新顿他们还有他学生还有那些厉害的人都刷三难了所以这我们看看三巨头拿了图灵奖的新顿在 Google 做兼职杨立坤在 Facebook 只剩下一个了本吉奥陆奇那个时候就有个重要的 KPI 就是挖他

一定要把它弄过来一直到 2016 年本吉奥一直是拒绝各种科技公司的邀请还是在他的学校里做研究陆奇亲自带队坐飞机

去蒙特利尔大学请本教出山本教很直接给多少钱我都不去给多少钱我都不去想都别想他很喜欢蒙特利尔这个地方因为这个地方他可以说法语他的母语是法语对然后就很亲切另外在学校里学术研究也更开放去了企业还得搞项目还是最开始杨立坤单亲的对说不定还得搞人际关系什么的他更不喜欢嗯

陆奇看这咋办就想办法找突破口还真给他找着了本吉奥那个时候在给一家公司叫马鲁巴可能这么发音做咨询嗯

做咨询这家公司得嘞买了它这家公司做什么不重要收过来值不值钱不重要我收过来就是把它做咨询的这几个小时卖过来一年之后这家公司终于加入了微软本机要如愿所长成为了微软他们的顾问

但是陆奇在收购那个时候已经离职了说到陆奇上上时间也感觉在想这个事呢是他也是整个硅谷历史上位置最高的中国人那确实他也不像温达温达他还是其实在外国长大的新加坡长大的嗯

但陆奇是土生土长的中国人上海出生的经历过特殊年代的他能成为微软这种巨头的正儿八经的二号位很不容易太厉害了而且他跟印度人萨提亚纳德拉我们现在都知道是微软的 CEO

在他跟他的竞争当中差点就赢了很可惜 2016 年离职之后加入百度成为 COO 而且我们知道萨提亚确实是非常的英武所以说输给他也不丢人是而且在百度的整个经历也非常光彩大家都看到那一年他做了很多事情

非常出色我当时有在百度的师兄跟他直接接触过太勤奋了而且非常全面他不光关心业务他随时问学术上的进展随口一问你最近研究什么课题有什么论文推荐给我过两个星期再见全读完了哇

他愿意去一线去看大家在读什么论文在看什么那一般当老板我就安排活你们去研究论文去看怎么实现高高在上多少有点信息减乏是那你这么回头看的话陆奇对 AI 的影响是非常大的在微软他积极推动 AI 在百度也积极推动 AI

如今做投资也是很早就布局 AI 包括他把硅谷著名的投资孵化器 YC 搬到中国成立了 YC 中国然后后来可能因为各种关系不能叫 YC 中国了他就把它改组成了奇迹创谈奇迹创谈也是投 AI 为主这都是有很多关系的

那说完了三国鼎立差不多了还是稍微过一句全球 AI 最重要的公司之一中国的百度笑什么呀说嘛

对不起你的态度不端正对这是恶习恶习前面说的文达他做了互联网交易的同时在 2014 年加入了百度成为百度首席科学家而且搭建了百度大脑 IDL2017 年文达离职那真从 AI 方面的技术来说确实在国内百度早些年的积累还是最多的就我们真的说现在拿出来的技术模型这个基础

BAT 也好 字节其他的更不用说其实还是百度技术看百度最后的对 尤其是在 AI 方面的技术积累他们是积的最后的我们回顾一下从 12 年到 16 年是企业开始慢慢水涨船高开始搞 AI 的时候了从 16 年开始就可以说企业已经深度融合 AI 进入各种各样的业务的时期到 22 年之后又是另外一个局面了我们进入下一章第四章终结者

2014 年 11 月美国科技圈头部大为 AKA 硅谷钢铁侠慈善家营销大师嘴炮王咱们敬爱的 Ellen Musk 老师马老师出手了看 AI 这么热闹我怎么能不凑个热闹呢就发了一篇文章说 DeepMind 的 AI 的增长那可是指数级的了我跟你说

5 年到 10 年期间 AI 就会产生严重的危害我们要防止有害的数字化超级智能体逃进互联网非常危险从这个时间点之后他就开始到处宣讲只要有他的公开场合就到处宣讲这个故事一直到现在其实也还是一直在讲那就是硅谷人波窃西海岸活佛那个

跟霍金和刘慈欣说我们不要接近外星人不要回答马斯克就说 AI 就不要碰很危险或者说你得注意你们不要碰 Google 可能会搞出毁灭人类的机器人大军这可比核武器危险等等等等

DeepMind 的人包括 Facebook 的扎克伯格他们都说目前的 AI 也就是玩玩电子游戏下下棋也没有那么危险马斯克说那不是这个逻辑因为技术进步是指数级的可能速度达到我们还没反应过来刷一下诶

就到了几点了昨天是跟人类智力比是 0.9 今天到了 1 明天 100 了可能过了几点你给追你都追不上这不是现行发展但是马斯克确实很有意思他自己的公司也在做人工智能一点都不松懈非常努力用他的话说我必须用我的努力来防止将来可能出现的问题马斯克确实可能也算是真诚的 2015 年马斯克宣布投入 1000 万美金在人工智能安全方面

做建设他投给了一个叫生命未来研究所的机构但后来想了想觉得这么做不够能不能传个局搞一个非商业的机构跟大公司对抗他的观点是啥呢是商业公司为了商业目标可能搞出一些危险的东西了因为你为了商业目标可能就会损失原则就要扔掉一些

真正安全的还得是非盈利组织嗯他这么想的时候芝麻掉到真眼里有两个人也这么想哎一位是 YC 的老板 Sam Altman 未来有机会会单独讲他大家只需要知道这位是非常年轻的硅谷最知名的投资和腐化机构可能没有之一的 YC 的 CEO 嗯腐化了 3500 多家创业公司 YC 这家公司自己在 2014 年的估值就达到了 650 亿美元嗯

2015 年的时候这位 Sam AltmanAltman 多大呢 30 岁整只有 30 岁那会儿他是 1985 年生人他对人工智能非常感兴趣虽然之前没做过觉得现在是时候了 YCA 已经做成这样了已经到天花板了没什么可做的了我 30 岁第二春了来吧全心投入新的事业当中还有一位也是年轻有为的哥们

格雷格布罗克曼 GregBrockman 哈佛大学的辍学生 MIT 辍学生都没读完是 Strape 支付公司的 CTO 当然因为他没读完所以年轻这家公司我看最新估值已经 500 亿美元了那也是美国最大的支付公司之一就有点类似支付宝的业务但是他有很多银行的业务之中他大学没读完就创业了所以在 15 年的时候才 26 岁

89 年生人我们的同龄人他非常懂技术但不是特别懂 AI 他觉得我可以学我做 CTO 是可以的 Stripe 就是 YC 头的所以他跟奥特曼很熟他跟奥特曼很熟奥特曼又跟马斯克很熟那这就串起来了一起串局所以这个布洛克曼就跟奥特曼和马斯克吃饭吃完饭那就是会车开了远光灯整个世界都亮了就就就

搞这个这也是自己编的自己编的我们就不用《俏皮话大全》那本书了我们也生成事了生成事就搞这个弄起来咱们缺的现在缺个啥呢相当于就缺个程序员了不是就缺个 AI 专家了真正懂的人在哪对打电话先给本机要上来就找三巨头

本吉奥大家还记得三巨头之一陆奇挖不动靠买公司才请他当个顾问这种肯定请不到但本吉奥给他们列了个清单说你去找这些人布洛克曼就挨个请他们一共十个人把他们邀请到了一个酿酒场就在这聊得特别兴奋了

特别兴奋秉化的特别大这十个人当场就有九个同意加入了包括谁呢包括前面提到的小萨萨特基斯那不是还在谷歌吗在谷歌现在谷歌大脑新顿的关门弟子就是当时敲门很虎的那个小萨小萨这种名字就好记多了我跟你说这些科学家也很有理想主义精神未来他们要做一个什么呢完全没有商业压力的非盈利实验室就跟谷歌和微软竞争就跟他们干

这事被谷歌他们一听说这还行立马就报价挖人他们出多少三倍五倍也行把九个人全都给我弄过来这里面最重要的是还是小萨最重要的他们最器重的是小萨小萨说这是钱的事吗

五倍让我想一想博克曼博克曼着急一条一条的发短信劝他我们这好为了未来对专门为了小萨甚至推迟了公司成立的新闻发布会就等来等去还没等到消息就在新闻发布的时候小萨发了短信给博克曼说我上船了可以

在 2015 年一家有马斯克、彼得蒂尔也有这位他们共同投资超过 10 亿的非盈利组织董事长奥特曼 CEO 布罗克曼首席科学家小萨他们的公司正式成立

宣布将毫无保留的贡献出未来的技术人工智能将向所有人而不仅仅是地球上最富有的公司开放因为开放所以公司名就叫 OpenAI 它终于来了这家公司当时的争议就非常大很多人都说这完全技术开放的路线肯定走不动包括很多人对这家公司的这个方式做技术的方式都不看好

三巨头里边杨立坤是在企业界最活跃的他在 Facebook 各位都很记得他有一次就见到小萨了他就跟小萨列了一个清单列了十几条理由证明 OpenAI 完全不行研究人员太年轻没法赚钱跟巨头咋打不过的最后给他留了一句话你们肯定失败小萨

别想劝他你这大好的前途还是抓紧再换条正路是有没有很耳熟跟星盾和杨立坤他们自己当年搞神经网络的时候收到的劝说那是一模一样历史又是一个轮回 2020 年 OpenAI 发布了 GPT-3 这个模型在学术领域引起了广泛关注成为了一个主流的大语言模型大家开始模仿

还是参考了 2022 年 12 月 ChatGPT 上线引起了全球的轰动 2023 年 3 月 GPT4 发布又引起了一波轰动在科技领域这几个产品的发布被称为 AI 行业的 iPhone 时刻嗯

也就是人工智能新时代的来历关于 Chad GPT 到底能做什么 GPT 模型能有多厉害其实很多媒体都有讲了咱们就不在这多讲多讲就没意思了有心的朋友该了解的都了解差不多了我们讲一讲商业的侧面在 2019 年 OpenAI 放弃了完全的非盈利用一些复杂的方式来拉投资了因为做 AI 太烧钱了 22 年一年就花了 5.44 亿美元嗯

微软宣布投资 10 亿两边互相帮助微软提供资金另外一方面很重要它要提供语料和数据微软有大量的语料 OpenAI 提供什么 GPT-3 的独家使用权 2023 年初微软宣布我再给 100 个亿

目前微软占股 49%之前的各种 VC 占股 49%OpenAI 基金会占股 2%是这么一个比例当然一般来说 OpenAI 现在看起来就是个微软的子公司了完全跟之前的想法背道而驰了对不过他们的股权设置方式非常神奇分四个阶段对利润进行分配首先早期投资者连本带利收回他们的钱就是先把他们的钱还光嗯

接下来微软和其余 VC 获得 49%的利润这个利润包括了 920 亿美元和 1500 亿美元最后上面这些钱付完之后 OpenAI 拿回 100%的股份嗯

获得公司完全的控制权这相当于是什么就是卖给他们了个理财项目你买的不是永久股份对我先帮你赚到这些钱回来我还要去实现我的适合远方是 OpenAI 这个操作也是很骚就是风险对冲你没赚到这个钱反正买的就黄了赚到了我最后还能把我的熟身熟身出来非常屌这也说明 OpenAI 在这个合作当中确实是比较有话语权才能谈下来要不谁给你玩这些是

另外马斯克马老师最近批评 OpenAI 特别频繁对对对老说变味了屠龙少年又变成巨龙了对就走了太远已经忘记了当初为什么出发了一方面呢就他为什么骂自己当时投资的这个项目呢因为 2018 年马斯克早就退出了他想要更深入介入 OpenAI 的业务相当于我当董事长怎么样我当 CEO 怎么样

被奥特曼拒绝包括特斯拉也在搞 AI 它的自动驾驶那时候会跟 OpenAI 抢人的两边一直闹得不太好结果马斯克宣布退出董事会结束了这个事另外一个事也跟马斯克早先设想的不一样就是刚才提到的 OpenAI 现在看起来又是个商业公司了找来跌了而且投靠微软那

所以据说现在马斯克决定自己再次传局再做一个非英力组织又要从里开出这段也挺有意思马斯克在今年 2 月 17 号的时候发了一条推特这句话基本上也说明的就是刚才小蕾说的那个观点再给大家朗诵一下 OpenAI 最初作为一个开源的扩胡这就是为什么我将其命名为对为什么我将其命名为 OpenAI 扩胡完顿好

非盈利性的公司创建的以作为对谷歌的制衡但是现在它已经成为了一个币源的顿号最大利润的公司由微软有效控制根本不是我想要的当然这个是谷歌积翻的所以说你从语法上你会感受到多少有那么一点不是特别顺畅反正意思就这么个意思了是

到了 OpenAI 和 JPT 基本上就到今天了接下来咱们收个尾聊聊人工智能当前的阶段回顾一下整个历史第五章毕业生你看前面咕咕坠地的婴儿幼儿园小学有没有来着这个阶段现在该毕业了咱们举个例子人工智能就是教小孩刚才提的那么现在 JPT4 的出现有点像已经教出来了

拆的 GPT 到底有没有通过图灵测试是众说纷纭的不过如果我们算一下历史上被最多人认为通过图灵测试的系统那肯定是拆的 GPT 那必须的有科学家做了一个测试对比人类平均的水平智力水平和 GPT-4 的水平对比了各种各样的测试比如 SAT 考试 IQ 测试数学测试各种测试大部分都是碾压正常人了 10%小蕾可以看一下这个

刚刚说 10%是他们公布 GPT-4 的时候说的那几个特定的考试但是按照这个图来看从整体角度上确实也已经是超过人类平均水平在很多方面都是一倍左右的

这个水平是那 GBT 的这个模式跟人工智能我们讲的各种派别和路线有啥关系呢怎么做出来的呢包括为啥杨立坤这样的深度学习巨头看不上他呢他没有搞出来主要是他们在企业圈的他为啥没搞出来而且这个拆 GBT 出来之后也不是很喜欢呢像杨立坤就天天在推特上吐槽我

我们简单先回顾一下人工智能的路线发展咱们不是说过吗早期的科学家符号派要教小孩就是教公式定理背单词你去学语法我给你写一些语法书你从这个方面学后来控制论出现说你得把小孩扔到一个真实环境里让他学一些具体的东西连接主义呢就说小孩自己学管他怎么学的

就让他学就看结果这时候发现教小孩最大的问题是知识那就搞知识库就跟编教材一样就是前面提到做各种知识库就这三个学派在开始创始发展之后这个时候符号派一统江湖接下来大家发现

知识是最大的问题你得教他这知识太麻烦了就跟编教材一样编不出来那怎么办还是自学慢慢的连接主义神经网络这种自学的学派就占了上风杰弗辛顿的带领之下自学变成了最重要的你再加上刚才提到的遗传算法强化学习效果很好所以这个学校现在不管教语文教数学教物理化学全用上自学了就是老师虽然教但是主要靠自学

几句话吧前面四期包括这期到第四期的内容简单又做了一个总结对包括咱们也讲过了其实现在老师教学生也不是像之前这个老师这么教我就只这么教而是融合的学派在 AlphaGo 也提过了就我强化学习自学包括规则的一些东西我也教他有用的都上现在是这样的那 GBT 是这种就是他们觉得为啥要分学科学科都不想分了为啥搞这么复杂

就把这个小孩关图书馆里你就进去学直接学你别管你学的是什么学科别管你看什么书这就相当于几乎去掉了大部分的规则研究课题等等的彻底拥抱神经网络最后发现他还真的像模像样的什么东西都学会了你不去给他安排老师只把数据给他那他自个儿就能琢磨出结果来对最后就是

对于 GPT 或者说 OpenAI 的团队来说他们只做了一件事就是调一调他都记住了我调教一下你应该怎么回答问题接下来你去回答回答的很好就到这程度

GBT 背后的语言模型其实 70 年代就出现了它的语言模型非常好理解就是知道了上下文预测下一个词是什么就当你知道一个词下一个词是什么这么预测知道前几个词下一个词就是这个很简单的逻辑 GBT 也是这个逻辑比如说我们讲半拿你会知道下一个是铁我们说不容你会知道我们会说义

就是这个意思 GBD 预测下一个词的时候也是这么做的一模一样但是他就在一个词一个词蹦的时候他就蹦出来了一个推理能力蹦出来了一个呼呼声风蹦出来了一个恍若鸽舌这个是让学术界特别惊讶的就没有想到因为是猜词对

就正常想猜词也很难想象到说他能猜出一个新的东西来怎么能做到呢这就是大家想不通的就像你一个三岁小孩读了世界上所有的东西但没有逻辑推理能力说出口的都是头头是头啥都会这个确实目前是学术界的一个未解之谜但他就是有了这个方面了但这里面另外还有一个很哲学的部分就是

我们说人脑为什么要中间那一层为什么要有抽象能力为什么要推理演绎比如说我们看到路灯为什么要认知路灯的特征或者说模式识别那是因为人脑存储不了那么多你记那么多路灯干嘛因为路灯都差不多我们大脑记录一个路灯大概的模式之后见到这是路灯就行了嘛

但是反过来说如果一个大脑能容纳所有的数据或者容纳特别大规模的数据那我把这所有的路灯都记下来没有什么不可以那我们为什么要中间这一层我要识别这是个啥当我要去回答一个问题的时候我把所有这些

干的原始数据全部拿出来再搜索一遍跟你算给你答案这不是也是个方法吗所以这就是一个很哲学的问题了这个很魔幻听见了是啊对就为啥要抽象这不需要抽象嗯

或者说他做了这个抽象我们也不知道咱前面也简单说过了只不过他中间这个过程我们不了解但是他是不是真的有做这个抽象这个过程这里面就很有意思的一点就是他们 GBT 团队做这个模型的时候让机器就给机器有一个 prompt 神奇的魔幻的 prompt 叫 think step by step

多想几步就你按不想不是直接想完是你先一步一步想就像人类思考人类思考可能也是一步一步想他只要加上这几步效果突然贼好这就是相当于中间又抽象了几步这很有意思大家也都知道你看他嫌他太胡说八道的时候给他这么一个提示语他就能靠谱很多是是是

那这个我们再反过头来说说对于学术圈这些科学家来说其实他们本来是用这种巧妙的方法让 AI 更牛逼那是毕生的追求啊那你就像明斯基一样一直在搞新想法什么框架理论啊心智社会啊等等但是 GPT 完全没有这些用的都是老方法就是大理出奇迹用非常暴力的方法搞了个巨大的神经网络嗯

就这么说吧就是你是语文老师你还是全国特级教师结果有一天隔壁学校说我们的学校成绩很好你过去走访了一下说他怎么做的把老师都开除了把学生塞到图书馆里多学了两个月学的还不够再多学两个月学的还不够再多学两个月

这学的成绩好了对哪有学校会这么搞我之前听说过有些地方试点不是教师轮岗制教师轮岗制就看这些名师去那些普通的学校能不能教出来教不出来后来发现学生的成绩会跟学生的素质声援关系更大好

他会有这方面关联的这很有意思当然这个不是针对所有老师没有他只是一个局部的案例 AI 领域就一直有一个梗图当时 GPT-4 发布的时候他拿出来把这个梗图当成一个笑话图问了 GPT-4GPT-4 很好的解释了就是这个梗图我跟肖磊解释一下肖磊先看一下想必大家可能不少人不是那个图对

上面这个人在说我们这个学习模型过度泛化因为我们这个训练维度太高了我们应该降低结构性风险重塑一下损失函数搞一个新的内核使用非偏见的软性边界结果效果就是一路下滑就是叠加了各种更像符号派的叠加了各种方法方法对下面这个效果贼好但是这个人就一句话加几层没办法

没事加几层加的是什么就是神经网络的层数效果就得好就是这些科学家搞了半天搞了半天研究规则最后发现我就加几层这就是怎么说呢自以为是的人类给他定各种各样的规则不如让大自然来解决以他的神奇妙手这是小蕾说的杨立坤的骂街电话马上就打过来了

对这确实是一个非常其实它是一个大家现在也很无奈的一个状况就是你投入了这么多人的智慧最后发现不如让算力提高一点然后这个方法就 tricky 的方法加一点打点补丁最后总的效果就好就很感感怎么说呢大力真的就能覆盖更多的面你放 AOE 真的就比找个神枪手管用那你怎么说呢

所以你看人工智能就是一个循环当年皮茨罗森布拉特为代表的神经网络就是被明斯基批评说你这个太黑核或者怎么样那现在星盾作为火种带队把明斯基为代表的符号派也击垮了但是星盾他们这批科学家做的也还是不如现在黑现在就无气骂黑这就是接下来要说的其实

AI 一定就要走 GPT 这种模式吗也不一定因为它现在暴露出来两个还是比较严重的很难解决的问题第一个就是黑盒问题

就像三体理第二部里边经常说的黑暗森林真他妈黑啊这乌七妈黑你会带来问题什么问题呢第一可解释性这个好理解就是你根本不知道不知道他是怎么的不知道就像刚才我们说的为什么在这个体量下就之前语言模型一直是可以做出来的做出来效果不好包括 GBT3 做出来效果都不好对

就是大家不知道为什么他就到了那个基点就突然解释不了包括刚才说的为什么他从这个统计上呈现出了推理就统计和推理感觉是两码事统计是统计推理是统计多了他就能做推理了这个也是个未解之谜这些全是黑盒包括 OpenAI 团队也不知道背后的原因这会造成什么问题呢就比如我们现在再去问他每一个同样问题的回答都不一样嗯

那你没法调你作为工程团队你也没法调你也没法直接说让他应该这么打而是你只能用语料调试做微调调来调去就像学生在图书馆里在那学坑直坑直学这个人工智能的小孩你只能给他换本书你多读读这本我给你换个舒服的座椅你舒服一点

你只能做这种倒点水喝有些书我不让你看也顶多说你不能直接告诉他说你必须怎么怎么样你不能施加规则这是我觉得也是对于人类的嘲笑但是他会存在他会存在各种各样的问题因为他本身也是从人类的成果里学的那他学的这些人里面比如说这几本书学的多一点他就会产生偏见这就是我们要说的第二个问题偏见嗯

比如说学西方国家的学的多一点他就会带有西方的偏见 2015 年的时候美国一个人发现他的黑人朋友的照片被 Google 的相册 AI 自动划分到了大猩猩的文件夹里他立马发了个推特说我的朋友不是大猩猩这引起了巨大的社会舆论之后很多年

谷歌照片里大猩猩这就是个禁用词你都不能用这个词都到这程度世界影响确实非常大这就是神经网络的问题它吸收的是信息和数据它没有任何判断力它没有任何共情能力更不用说政治正确了它会带来很严重的歧视和偏见比如说你用知乎的语料训练和用微博的语料训练和用小红书的语料训练结果肯定不一样说话小心点我就说不一样不一样不一样

这就是你没法去加规则调整比如说之前如果试用过 MateJourney 这种 AI 绘图软件就知道早期的版本里对亚洲人非常不友好你画出来都是蜜蜂眼这就是他们用的数据库里亚洲人的脸庞都是带有这种歧视性的或者说西方审美的所以他们也应该像 OpenAI 一样 3.25 出来之前多 fronting 一下才有一个相对政治更正确的不会出大问题的这么一个版本是

所以包括现在我们看到这些公司在调试的时候怎么调呢你没法在底层加规则你只能在表层加规则加黑名单违禁词比如说画图的时候 sexy 不能画胸部不能画就让你不能画色图更笨的一个办法更笨的办法包括 Chad GPD 包括最近的文心一眼里面他有些问题你能明显感知到他是故意回避肯定是加了一些特殊的表层训练的

那这两个问题只要还是目前的这种黑盒的方式就是没法解决的所以它也意味着未来会有更多的可能性和不可控性吧是当然了也正因为有这个不可控性存在所以呢这个故事到这儿完全没有画上句号接下来人工智能到底还有没有其他的更多的路线上的可能性依然还是存在的是那人工智能的故事差不多到这儿了嗯

我们从符号派的逻辑推理启发式搜索等等连接派的神经网络深度学习等等行为派里面的强化学习遗传算法等等这些都讲到现在三个学派已经不分彼此了而且到现在大家是以更开放更宽容的心态接受各种方法包括现在学界企业界也都在积极的拥抱 GBT 这种模式了是

就反过来说这些前辈们从图灵到香农啊从明斯基麦卡锡到皮茨罗森布拉特从杰弗辛顿杨立坤到温达路奇从大特茅斯到谷歌微软他们过去的努力都没有白费嗯

他们也不是说最后谁输了谁赢了大家在听这个故事不是他们的成果今天都构成了人类社会大厦的砖头你哪怕说 chatjbt 他也不是说单纯是哪个学派的胜利那这里面用了神经网络也用了好多机器学习的算法也用了强化学习的方法它是在各种营养成分之中诞生的一个奇迹啊

另外很多人提人工智能总觉得是那些遥不可及的机器人或者科幻片里那种所谓有意识的 AI 流浪地球里的 MOS 那种的

但人工智能其实不是单指强人工智能就是那种有意识的人工智能的很多技术都非常有价值早期人工智能推动了计算机的发展后来的发展力也推动了很多技术迭代包括我们今天生活里的人工智能无处不在我们用的人脸识别人工智能指纹识别人工智能用的电商平台内容平台的推荐算法是

很多电话客服和线上客服这种 AI 客服都是高德地图里面的算法是滴滴打车的派单系统是新能源车的自动驾驶是谷歌翻译百度翻译有道翻译都是包括在工业上在企业里面这种应用就更多了我们现在的生活变得这么便利除了要感谢那些做创新的企业也要感谢在这些产品背后一直在做出突出贡献的这些科学家学者们

所以我们是用这四期节目跟他们致敬刚刚提到的每一个虽然不是过去四期当中说到的所有但每一个不管是名字也好还是时刻也好我相信可能声音对面很多人跟我一样听到都会脑海当中浮现出过去这几期讲到的跟他们有关的事然后是特别有感情的那种感觉

这是真的又是一个非常重要的大作并且跟任天堂还不一样任天堂可能是你觉得这个事你有兴趣你会多听几遍人工智能就你觉得我还没弄明白我必须回去再捋一下前两期看我们的有听有留言也说已经在想办法做脑图了我们也特别期待看脑图出来之后可以帮大家更好的去把整体的脉络理得更加清楚一些

是包括我自己写稿子任天堂可能过一遍就行了这个得过七八遍是这搞明白中间也说到了这么多复杂的人纵横交错的关系我不知道这四期听完去吹牛逼能不能用得上是不是比较相对比较难但是我觉得对每一个人都会是一个好的启发是

意义上的事我们也不用再讲太多了说到这我突然有一个感受之前我没太想过什么人工智能将来跟人类的关系之类之类的但顺着这个脉络捋下来我自己突然的感受就是不管是最终哪派赢了说人工智能是服务人类的还是说人工智能会毁灭人类的

哪怕它会毁灭我们也不可能停止这个脚步如果将来的结果总归是那个点的话我们是没法回头的哪怕是一步一去中间有磕绊的也要朝着那个点走过去直到走到了那个点我们才会知道最终的结果是什么大的趋势就是那样了不管你信与不信是

如果我们做的这个节目能引起大家的兴趣了解一下我觉得这就是我们达到我们的目的好嘞说到这个我觉得最后还是稍微推荐一下因为我在整理资料的过程中其实借鉴了很多前辈也好很多很厉害的内容生产者

对内容的创作者他们提供的资源也好我觉得有一些可以推荐给大家想要更深入了解 AI 的朋友更加系统的第一本书就是深度学习革命是凯德梅茨写的这本书他整体讲了整个深度学习从杰弗辛顿出生一直到最后他能够落地到商业界的一些内容第二本是

国内出版的一本书周志明的智慧的疆界从图灵机到人工智能它也是人工智能历史的一本书这两本书是我看过我当然翻了七八本人工智能的历史的书了这两本书我认为非常精彩的另外也推荐大家如果你现在还没有用 ChatGPT 或者 MateJourney 这种 AI 的工具的话可以试用一下

也可以看一看别人使用的视频了解一下是怎么回事这个还是值得如果我现在不了解的话你从我看别人的事情能够引起你的兴趣哪怕说你嫌没真理你需要掏钱那你去 JPT 可以免费用 3.5 用就是了还有一个呢就是刚才提到的稍微再 cue 一下就是 Coursera 上吴恩达老师亲自授课的机器学习课程嗯

依然还是有的大家感兴趣可以去了解一下前面推荐的书包括这个课程还是关于围绕之前 AI 的一些发展的如果想了解最新的 AI 现代的进展有一位是我觉得在中文世界里可能做分享做的最准确也最有深度思考最多的一位创作者或者一位分享者他

主要在微博上分享叫木窑木头的木遥远的窑啊木窑他在呃

观察现在 AI 的进展过程当中提供的这些信息我觉得是非常值得去看的那也便于我们能够实时的跟上最新的这个真的是层出不穷的信息就在我们 2023 年 3 月底了录播客的这个时候新消息出来百度的媒体闭门会发的文心一言到文心千番了这个叫应该是 2B 的整体的服务基本上也是跟着微软的步伐在走

你们有的我们都得有虽然说做到什么程度不一定那接下来国内其实也还是继续有看头的是好那我们这个四期的系列就到此为止了

最后片尾曲我问了一下 ChatGPD 我说你来推荐一首体现漫长的历史当中科学家们不断奋斗创造奇迹的精神同时歌曲又充满着感慨和忧伤最好还有一点关于 AI 的象征意义的歌他推荐了 Codeplay 酷儿乐队的 The Scientist 也能跟我们前面说 Zara 那期还硬喝上那期我们的片尾曲也是 Codeplay 酷儿乐队的

分享的话就不用多说了都到这了大家想分享的肯定就不要抑制了对我之前还看有朋友说他看了 30 多期才确信我们是个好节目就分享出去了大家不确信的话多听几期也行这位朋友这么审慎吗但是非常感谢这又是用另一种方式来帮我们盖出对如果喜欢班达铁的话欢迎在各个平台小宇宙苹果 podcast 网易云音乐喜马拉雅 spotify 的平台订阅和收听我们班达铁 44 期傻气我们下期再见

I had to find youTell you I need youTell you I set you apart

Tell me your secretsAnd ask me your questionsNow let's go back to the start

人们在转圈里,在说话中,头发在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,人们在门口,

I was just guessing

中文字幕提供

i'm going back to the start

Zither Harp

Zither Harp