Deep Dive
Shownotes Transcript
大家好欢迎来到保持偏见我是江峰我是韩雅今天我们想和大家聊一个刚刚获得诺贝尔奖的人工智能大佬杰弗瑞辛顿他是不是也叫 AI 之父 AI 教父哦 AI 教父对不起老规矩啊先来个段子说到辛顿有记者采访他嗯
获奖后采访吗对因为他出生在一个非常显赫的家庭就问他你出生在这个家庭会有什么感觉是不是特别的自豪心里说唯一的感觉是当我七岁明白一些事的时候我就发现我必须先弄一个博士的头衔才能混下去
他们家全员是博士普通人的没有这样的压力没有这样的家族压力幼儿园毕业可能老父亲就说你需要弄个博士课程他们家族有这么牛吗就是我也是很吃惊对他们家族非常显赫而且你不觉得咱们在介绍比方国内媒体一些什么在介绍这一次诺奖
获得者的时候其实并没有太多的信息资料就大家就说他是 AI 很厉害什么什么他的弟子很厉害就也没人提到他家族啊然后也没提到他特别多过往的那种人生经历啊什么科研经历啊对因为他一直在做冷板凳嘛所以之前采访他的人或者是给他写传记的人特别少嘛有人会给他写传记吗尽头写篇文章吧对可能还是碰他的嗯
说到他的这个家族就真的是非常显赫有个人写了这么一本书叫《波尔家族与辛顿家族塑造现代世界的两大王朝》嗯哼
这是早先写的书吗对早先写的书跟这个星顿没关系是吧他只是这个家族里面的很后面出来的一个人而已对讲讲吧这个家族首先说星顿这一只就是星顿的曾祖父就是他爷爷的父亲嘛叫霍华德星顿他是一个数学家他主要是研究高维几何的有一个图片不知道
你有没有见过有没有印象就是叫超立方体开头就有点难啊你知道他定义了一种几何的结构叫星盾结构简单的讲就是你如何在三维空间当中去看到四维空间当中的立方体这个是不是得到大学数学专业会学到我们高中没学到这个吧高中肯定没学到这个就平面几何立体几何好像都比较简单我就印象中对所以很多人就说霍华德星盾是第一个看到四维空间的人哦
它的这种结构能帮助学数学的人更好地去理解高位空间的一个形态因为我们正常人你是无法去想象对因为没有在这个世界没有这样的一个空间对你无法想象思维是什么样是对所以就很牛它还不是最牛的它的岳父曾祖父的岳父对曾祖父的岳父啊
是更牛的一个数学家就是布尔家族吗对他的名字叫乔治布尔布尔很多人应该就听说过了就布尔代数主要是用来做集合运算和逻辑运算的其实就是与或非我有印象就有符号可以简洁代表的就那种对那个小三角那种对对对
这个曾祖父那一只曾祖父的岳父对那得一百来年前了这就对一百来年前了对而且有意思一点是他曾祖父的岳母这一只有一个叔叔他的名字叫乔治朱姆朗玛是咱那个朱姆朗玛吗对就咱们那个朱姆朗玛封那个朱姆朗玛 OK 为什么呢就是这个人在印度当过东印度公司的测量局的这个局长 1856 年的时候咸丰六年咸丰
突然时空错乱了他带领两个人去测量印度周边的这个地形嘛发现了有个很高的一个山峰这个山峰最后就命名为珠穆朗玛峰那今天我们聊的这个杰弗瑞辛顿他还有一个中间名他其实叫杰弗瑞珠穆朗玛辛顿觉得有点荒诞真的吗对 是的所以辛顿也说这个中间名让他压力山大哦
我忽然有点 get 到了就是他曾祖父他们那一代就把这中间名保留下来是种纪念吧对对就因为各方面联姻啊这个家族里面有厉害的人厉害的人挺多的布尔这个人他的大女儿就嫁给了这个西新顿他们这只嘛他一共有五个女儿其中有个女儿还写了一个著名的小说牛蒙我读牛蒙我读错了是吗我查了一下牛蒙我也觉得你读的很对的感觉
我以为他们家族就搞科学的感觉就是这家族都是个聪明的基因是的说回到他的曾祖父他是一个医生因为他是倡导这个医夫多妻制的这么一个人英国这么传统的地方还有这样的然后他就肯定被赶走了不适合在英国待着跑到日本去待了一段时间后来就到了美国所以他曾祖父到了美国之后他的祖父也是在美国那边生活一段前了差不多对 20 世纪初 20 世纪初了
那个时候他的祖父是在墨西哥那边的一个银矿工作 20 世纪初的时候墨西哥那边有个总统叫迪亚斯他是提出发展经济然后引进美国那边的这个蒸汽机啊还有先进的技术然后让外国人来投资修了很多铁路什么的嗯
这时候美国人就发现墨西哥那里边有银矿然后交通还比较发达所以就投资了很多银矿然后招墨西哥人在银矿干活他的祖父就过去相当于一个技术人员那个是管理银矿这样的当然那些墨西哥工人就是在银矿干活就非常惨早期发展都这样对所以就是有一句墨西哥那边还挺有名的话就是墨西哥是如此倒霉离美国如此近离上帝如此的远
发现我们每期都得聊历史要不大家听不懂对聊个祖父也得聊历史所以辛顿的父亲的小时候是在墨西哥长大的他们家好多元啊全球跑的感觉冒险哪有机遇我就去哪走所以人家这个珠穆朗玛的中间名也不是白写的对吧就是一个很冒险的家族有种探险的感觉对探索的家族
他的父亲也叫霍华德就是他父亲这个人是一个非常刚勇的人就是这个非常很 man 的是吗很 man 的人他星盾照片看起来比较瘦弱一点对对对
他父亲是一个很刚勇的人就是据说在 12 岁的时候就威胁要把他的拳击教练给毙掉把他父亲自己的教练对因为说这个拳击教练呢太严厉了还练拳击可以对导致这个教练被吓跑了不敢去正上婚了就别再正上去了 12 岁小学六年级的水平对厉害之后呢墨西哥爆发革命了所以不再欢迎这个所谓的资本主义的人美国人在那里继续去捞钱了在那里干相当于是无利可图了嗯
所以他们就回到英国但是辛顿的父亲是一个马克思主义者他的父亲小时候相当于辛顿的祖父的原因在墨西哥成长对可能是看到墨西哥被资本主义资本家剥削是吧对而且那种革命的思潮是有个世界性的思潮他是一个马克思主义者确切地说是斯大林主义者对
更进一步的那种是更进一步非常激进的那种甚至于在 1968 年苏联人去入侵捷克到布拉格的时候他的
他的父亲还非常开心说哇是时候了这个共产主义是时候了所以他是个彻头彻尾的斯大林主义者因为当年他的爷爷是在墨西哥那边所以他家族很多人都是马克思主义者就是他的叔叔和他的姑姑什么的都是马克思主义者我觉得有点难以置信可是结合历史背景还是能理解了对就那个时候可能你
我们信仰这个就是一种先进啊对吧是一种反抗一种先进的那种代表啊就这种不是我们现在去理解就很复杂了我们现在去看因为又经过几十年的历史啊各种变化呀政治格局啊什么那时候一定是先进的不随大六的啊对足勇气的对但他爸还行是吧他爸
没跑去干什么运动吧但是他爸很固执他叔和他姑都信马克思主义不是亲姑姑和亲叔叔是堂姑姑和堂叔叔一个叫威廉辛顿一个叫穷辛顿他叔是威廉嘛他来过中国 40 年代的时候还随着那个美国的情报办公室的人员来参加重庆谈判就是国共的重庆谈判做那个书记员什么的
后来他留在了中国很长时间直到那个朝鲜战争结束后才回到美国他还写了很多那个关于中国这边的书就和那个斯诺对对红星照中国对他们是一种思想的人然后在美国也是一种这个观念一种观点明白对社会主义国家非常同情的一些人
然后呢他还有一个姑姑嘛穷星盾咱们那个海南岛的那个穷嘛穷之欲夜的那个穷对对对他是一个核科学家他参加过那个曼哈顿计划啊这么厉害对就算女科学家吗女科学家他的老师很厉害他老师费米提出费米猜想那个嘛就是说为什么白先生还没有来他 40 年代参加曼哈顿计划对当那个广岛原子弹爆炸之后他和奥曼海默的思想是很相似的就觉得这个很恐怖的一个武器所以他就放弃了核物理的研究嗯
当时美国有很多很同性社会主义的人在 48 年来到了中国 48 年主动来中国对好神奇他一直在中国待着在北京郊区的一个奶牛厂工作听到这就觉得有点传奇了穷在中国还起了一个中国名字叫韩春韩字辈的韩字辈的他是第一个获得永久居留权的非中国公民中国发的第一张绿卡就给他了给老外的绿卡对对
哎呦真是没想到还有这么多姻缘啊那他从美国跑来中国那美国人怎么想美国人把他拉黑了毕竟你是参加过曼哈顿计划的呀奥本海默都被审查成那样了那你这人跑到中国来我怎么知道你来这边干嘛呀美国政府当时应该是对他非常的严厉的他不肯再回去了他到中国后来就也不是做科学研究不是做那方面科学研究了对他没有再做那个研究了哦
她的丈夫是一个培养奶牛的专家所以她跟她丈夫一起去做那个养殖场去了听到这里我就很好奇那辛顿呢他的那种思想信仰上面感觉他们家族很复杂辛顿也受到他父亲的一些影响他大学刚开始学的是哲学虽然当时他已经对这个大脑的神经科学非常感兴趣了嗯
当然他的父亲并不希望他去学这种生物和生理这方面的科学,虽然他的父亲本身是一个昆虫学家。好出人意料,他祖父是搞什么的呀?管理个银矿,他祖父是干什么本职的呀?他祖父是一个植物学家。祖父是植物学家,然后去墨西哥去做一些跟银矿相关的工作。对,然后在墨西哥还收集了很多植物标本,很多也带回英国去。
OK 然后新顿的爸爸是昆虫学家对而且人还很固执感觉很强壮很坚定的那种感觉就说新顿区他父亲的办公室很多标本每个标本都要写着这个是什么样的昆虫是什么科什么鼠的对对对拉丁文那种如果一个柜子或者箱子里不是昆虫的话他的父亲会写着这里边没有昆虫哈哈
分种为主的世界对好神奇为什么父亲就反对他去学生物是因为他的父亲认为生物学当中的基因决定论是违背了马克思思想里面的人性可以被塑造的这个信仰他的意思是他不建议儿子去学大脑科学神经科学那个时候还没有到大脑科学神经科学只不过是说不建议去学这种进化论这种东西
因为一个生物它最终的形态甚至于它的思想可能和它的基因是非常有关系的这和马克思想当中的人是可塑的人是可以被改造的可以变成新人类的这种可能有冲突在附近就不希望他去学这个东西管真多为什么强加自己的信仰人家是一门学科对所以星顿当时就说我讨厌各种信仰星顿回忆的时候这么说的
所以辛顿他一直和他的父亲是有冲突的,所以说辛顿他是 1947 年出生的,他们家有四个孩子,辛顿排名第三嘛,是老三,他的兄弟姐妹都是有学问的人,反正他们家族我觉得这一阵就一直就围着这个英国皇家科学院领工资就行了。OKOK,不烦的家族。关于辛顿小时候的一些故事就非常少了,
一些记录比较少提到比较多的是他对神经科学脑科学的这个感兴趣的想法是在他高中时候他的高中是一个非常有名的一个英国的私立的高中就感觉到大家族他们有这种传统叫克里夫顿学院
就这个学院你看看那个照片就和那个哈利波特林那个学院的感觉对就和那个霍格沃茨那个风格非常像是吧我发现他们剑桥啊什么都是那种风格很多尖顶的那个建筑还有很大的一个操场这个学校是 186 几年修建也是咸丰年间吧不是已经变了刀工年间咸丰很早就挂了嘛维多利亚时期这个学校加上新顿一共出了四位诺贝尔奖的获得者你很厉害的中学啊
人比很多大学出的诺贝尔洋或者这都多是在这个学校里他认识了一个朋友叫英万哈维这个人后来是一个数学家那个朋友在高中的时候就和他说大脑看东西和记忆一些东西的时候可能像一种全息图的一种工作方式如果你把一张全息图对半切开它不是我们想象那种把一个照片给切掉一半然后另一半就消失了信息就不全了
而是你的记忆模糊了相当于是每一个像素或者每一个细节都被抽离掉了一半
记忆是这种感觉的就大脑里的记忆的那种原理是吧工作原理对就是一件事情你说我只记得一半并不是说你只记得开头没有结尾了而是整体都变得模糊起来是这种全系的这种可能说起来有点抽象但是想想还真是你对于童年一件事情的细节会随着年龄的增长如果你不记录下来你不去反复个人去说对你闷在心里过三五十年之后他那个记忆就非常的模糊细节全部丢失
你可能还留一个感觉一个印象一些场景一些话语的一些碎片是这样的对对对有时候你还会记错你可能会把别的事情给加接过来对会他们中学高中生思考讨论这些问题了一点英式教育好像都是这样的是啊这种开放式的思考探索对他们在高中时候就要求你这个学生写论文写论文做研究写论文要有一个方向就高中时候他主要是要培养你这个学生你将来要做什么的一个培养是很重要的嗯
嗯嗯嗯你小学可能就培养你的自己的一个学习能力生活能力基础的这种嗯可能你的社交能力你对社会的感知能力认知能力可以在你的初中就完成了嗯啊你的学习能力啊你的研究能力你的目标啊在高中时候就完成了培养你要成为十万人的一个能力嗯
那像中国不一样中国可能到了大学的时候才会要求你去说我要成为什么样的人我要做哪方面研究我是要考研还是干什么那有点慌可能到时候一下子就又全都呼的一下全来了就各种要求各种需要你做的事情私立学校就一个毛病就是贵我们学校很贵不是我们的问题那是你的问题是是是贵有贵的道理后来他去了剑桥他去了剑桥国王学院去读书
刚才我们说了一开始他读的哲学嘛但读了两天就不读了心怼啊对 读了两天就不读了跑了就转到生理学去了想象一下他老爹有多么暴怒让你别整这些对 他转到心理学呢他是想去了解大脑是如何工作的其实有点偏这种是这种神经科学那种实验性的他不是像那个什么弗洛伊德那种啊他不同的派啊感觉是不同的那种研究的那个
对对其实星盾他自始至终他都是有一个很明确的目标他就是想搞清楚大脑是如何工作的包括他后面做人工智能的神经网络他其实也是为了去模拟大脑最终去搞清楚大脑如何工作的嗯嗯嗯
所以当时他就选择了生理学在他选择生理学的那个年代就是 1960 几年正好是有一个突破应该是 63 年的诺贝尔生理学和医学讲师发给了关于神经的研究的三个科学家他们是用大王乌贼去做实验大王乌贼他那个神经的轴是很粗的所以他们放个电极来去研究神经的信息如何传导就是去解释如果我的手放在一个很烫的地方为什么会感觉到很烫对吧信息是如何传到你大脑里面去
他研究那个东西辛顿上了一段时间生理学课他发现的不是他想要的他觉得这帮人并不想弄明白大脑是如何工作的他只是想弄明白神经的信息如何传导我明白就是研究物质也可以研究猫狗也可以但辛顿想做就是直接去看大脑本身是怎么工作的是怎么思考怎么记忆怎么存储怎么输出所以辛顿学了一段时间的生理学他就去转
学心理学去了心理学里面有一个分支也是研究脑科学但是当时还是比较落后的当时
剑桥的人主要是在研究行为心理学就行为主义非常火的就是巴普洛夫那个狗那个实验一摇铃流口水我去对我现在觉得我们现在追溯不同的时代的那个学术潮流点真的差距好大呀就 60 年代六七十年代潮流在那对那个时候很先进呢是是是对吧因为发现了啊有这个条件反色这个东西很好对吧
可以利用起来或者可以避免掉对吧甚至于当时是想解释所有人类的这个行为都是和条件反射是非常相关的嗯
马蹄团的动物你去训练它对吧然后怎么样的那么我们人的习惯是怎么形成的那是也可能会提高我们人的生产力啊或者改变一些很多社会问题啊有用人的思维是不是都是因为外部刺激而造成的固有观念这个固有观念变成了我们的思维的方式等等就是这样的当时是这么想的嘛对吧又不是星盾要做的方向对因为这个东西解释不了人的复杂性
同样的一套规律同样的一套刺激你对不同的人他是不一样的那可能这个人涉及到他的一些基因的问题社会文化的问题比如说那个穷人觉得有钱就很开心嘛但是富人他依然不开心对对对我理解你的意思就是研究那套巴普诺夫的狗的那一套就是他可能会容易陷入好像这个事情可以简单分析出来好像可以套用啊简单就可以就是比较简单的分析完然后
我发现新顿很牛的地方就是他很快就能发现这不是他想研究的那一块事这样是换成我们有大佬带着我就先干着呗是吧我也是这样想的就是先干着无所谓反正这就是当时的学术潮流啊学术前沿啊发论文你晚了呗论文很好发教授终身教师咔嚓拿到手了可能过两年就拿到对你见条婚的是吧一干一辈子很好挺好的受人尊敬的老教授对不过他还是在 1970 年获得了这个实验心理学的学士学位嗯
他获得这个心理学学位之后自然就是和他父亲想的不一样父亲觉得我本来让你去读哲学好好地为这个社会科学出力就跑到自然科学去了然后他父亲和他说你可要好好努力了也许当你的年龄是我现在年龄的两倍的时候你的成绩只有我的一半那时候他父亲也就四五十岁吧对你九十岁的时候还不如我一半呢好傲慢啊这老爹我发现这就是典型的
典型的强势的老父亲的一种形象跃然直上好容易打压这个儿子的对 说星顿后面他就当了一段时间的木匠等一下 怎么回事他不是本科毕业了吗本科毕业了也不是他想要的然后他父亲对他也有看法很不爽
相当于要离开学术圈说我的成就还没有你的一半吗那我不需要成就我不混学术圈了不行对我不搞科研了植物昆虫什么的什么心理生理的我都不玩了对论文什么的我不会发但是做木匠这也跳得太快了吧对就说他是到了伦敦郊区农庄里面去学习木匠手艺而且新顿还是说我当时想的不是做一些花哨的木匠活儿
我真的是想以木工为生这一辈子我也当木匠你就我就坐桌子坐椅子坐柜子对做一份活挣一份钱对我觉得新顿他们家族的人就和他的叔叔啊姑姑那种也很像是是是就内心还是挺刚的理想主义啊是真要是换成我们这个时代出来这么一个不孝的逆子啊
就是辛顿对他父亲很有意见那我觉得是他父亲对他肯定就根啊根上来说老父亲对这个儿子肯定是有点严厉的就是 1977 年他父亲去世的时候辛顿还说呢这个老家伙在我取得成功之前就死了那时候辛顿就 30 岁嘛对
不仅如此呢他还得了一种具有高度遗传的癌症死的他做的最后的一件事就是增加了我的死亡概率没有干啥让我顺心的当木匠期间呢看了一本加拿大心理学家唐纳德赫布的书叫行为组织这个赫布呢他就是在之前的那个神经元信号的传输的这个基础之上他又做了一些研究就是他去研究什么呢研究这个人的记忆是怎么形成的这个问题
然后他提出一个理论叫赫布定律这个定律就讲到就是说人的认知和记忆是因为神经元发射的微小电流这个电流会引起大脑的一些物理变化会让这些神经元用新的方式重新连接在一起所以人就有了记忆和感知这个理论就激发了星盾的兴趣他决定还是不要当木匠了回到学术圈去不过后面有人去采访星盾的时候说为什么你不当木匠了
秦顿他的回答挺幽默他说因为我当了点木匠发现别人做得特别好我跟你不是干木匠这块料木匠塞刀很难出头对本来觉得我可以当木匠养活自己看来很难我只能当教授养活自己了
那挺厉害说返回就返回了对人家这个水平高啊就在那里当时星顿返回这个学术圈他去的是爱丁堡大学在 70 年代嘛举办就相对于人工智能的第一次的黄金期的时候就计算机已经发展起来了然后大家觉得这一块有潜力啊有个叫克里斯托夫西京斯的一个教授他原来是建朝大学的化学教授
然后他对大脑的工作原理很感兴趣,所以他到了爱丁堡和其他的两个教授成立了智能研究和认知这个系。这个好像是星顿以前想是这个方向的感觉,一听就是那个感觉。对,所以星顿发现有这么一个机会,他就去申请成为西心斯的学生。
然后西晋斯就给招过来了哎卡的挺好的感觉以前找不到想要做的想要读的搞研究读学位的是因为没找到合适的地儿啊但是呢他和这个西晋斯签约之后博士生嘛对吧签约签约签合同嘛对吧然后这个签约之后发现这个西晋斯的想法就变化了他原来是想搞这个神经模型的嗯
就是模拟人的大脑的但是他转向了通过这个逻辑的方式然后去做人工智能这不就咱们之前有说过那不就是老套路吗经典人工智能经典人工智能对传统人工智能对对对在心动的那个口里叫经典人工智能 OK 经典这还挺尊重人家的对甚至于心动有时候说我不想那个把我的神经网络也称之为人工智能因为一提到人工智能就在这个老一辈的人观念里面
对应的是原案的一套对应的就是经典人工智能 OK 你说他读这个导师的还签了协议的导师就转向了对就转向了那辛顿火不火呀就是咋办呀据说他是他的博士生的时候他们俩经常吵架每星期都干仗跟他老夫君还是很像呢对但是辛顿后面采访的时候说这个西运斯还挺好的就是没有把他赶走就是每次和他吵架之后他还是在那做研究也行吧是是是对
还是有包容的了我稍微想再问一句那他导师都转向了他还想做自己的那一个研究方向导师怎么指导他呀就感觉是自己一个人拼的干科研的感觉都出来了你想也就是个二十多岁的一个年轻人呀就二十多岁嘛不到三十嘛无师自通啊好吧
当时是这样的就是神经科学也不光是他自己也是有人家研究的只不过他导师真的是转向了在最早的人工智能被提出的时候那个时候就有两派就一个是以符号为主的就符号主义刚才我们讲他们导师转向的那一派就经典人工智能
嗯还有一派就是神经网络这一派咱们在李飞飞那期也讲过就是 1956 年达特茅斯会议的时候对那是个重要会议对麦卡锡他去主持的这个会议嘛当时有香农啊明斯基啊这帮人嗯他们在那个达特茅斯去开会嘛那个时候请来的科学家就是这么两派就已经打起来了打起来了麦卡锡当时就说嘛在这个会上呢本来是想研讨就是人工智能未来的一个发展嗯
结果呢就是来的人都固执的去坚持自己的想法而且据我所知没有任何真正的思想交流让我非常失望就各自干仗就觉得对方都比较傻想法都很不可理喻嗯
所以他导师当时转向就是另外一派其实也很自然嘛很自然因为当时没有没有能明确的看出来我哪一派一定是更有优势的更合理的也许也是个失措呀达特茅斯会议你看所有的人工智能书都会提到这个会议会议刚开始是吧就是第一章会讲这个
因为那个会议上就提出了人工智能这几个字嘛这个概念之前不叫人工智能像香农他们也去做过研究叫认知科学等等麦卡锡这哥们很会营销然后你会发现科学家也需要营销那是政治家需要营销科学家更需要营销对没有营销就拿不到经费没有经费就发展不起来他在那个会议上就想到了人工智能这几个字就声名大噪很多人哇这果然朗朗上口对而且感觉不明全力哦 AI
高等智慧啊可以弄一弄的感觉还有一个很重大的一个收获吧参会的人里边这个会议之后在美国建起了三个人工智能的研究院嗯
就现在的美国的人工智能研究的三巨头就是麻省理工斯坦福大学和卡内基米隆大学就相当于也有一些实际的一些成果了据点研究基地很重要啊要不经费很难申请人才很难聚拢对相当于是建了三个博士站的感觉很重要很重要
这就是孵化基地吧相当于卡丁金梅隆大学这个站点后面和新顿会有关系因为新顿在卡丁金梅隆是待过一段时间李飞飞呢李飞飞是普雷斯顿后面李飞飞去的是斯坦福尔老师是 70 年的转向吗现在转向是因为神经网络的研究被打击了被边缘化了
论文评审什么的他们也在做选择他们都在转向为什么转向我不懂神经网络线路停滞是因为一个叫明斯基的一个家伙他对神经网络的很著名的一个可见成果感知机的抨击明斯基的人有人还问他你是魔鬼吗他还回答了别人就说哎呀这感知机是有什么问题的呢
然后那个人又问他你是魔鬼吗然后他就说我是的我是魔鬼其实明斯基最早他也是一个神经网络支持者只不过是他后来在他的视野当中看到了感知机的一些问题他认为此路不通因为他是很有分量的一个人有那话语权学术话语权对就是达特茅斯会议的主持者里面就有他是是对所以他就是写了一个感知机这本书嘛嗯
他这本书是对感知机做了详细的描述就是比这个感知机发明者他写的论文倒要详细就是说的意思就是那种感觉就是我对感知机是非常非常了解的其实上这件事情我是完全懂的然后我判断他不行对是这样好可怕呀这不是毁灭性打击吗对所以他那本书的名字叫感知机然后他的结论是不能做这一套不能做这一套对最早发明感知机这个人罗森布拉德嘛他 29 岁的时候就是康奈尔大学的教授
他那个时候是为美国海军工作人工智能最开始全是由军方讨的钱没错美国海军要做个什么事呢就是他们的潜艇在水下移动的时候想去判断你接近潜艇的这些东西到底是什么是大型鱼雷还是鱼雷比如这样的东西对吧所以当时罗森布拉德他接到这个任务之后他就去做一些研究在 1958 年的时候他给海军去做的演示里边他就演示了感知机的学习能力
他用了 50 张卡片每个卡片上都画有一个方块标记然后让机器去学习然后让机器识别出卡片上标记的位置如果机器识别错了他肯定会纠正这个机器当这个机器学习了一段时间之后这个机器就可以去判断这个卡片上标记的位置了
最早的机器学习的一个 demo 应该这样的是 现在咱们都说的很流行因为罗森布拉德认为这个机器是模仿人的教学系统的因为人嘛你小时候教他然后他就会了所以他把这套机器称为感知机这个感知机出来之后罗森布拉德他认为随着科学的进步这个机器就会学会单词会学会口述命令甚至于去识别人脸甚至于去翻译语言作用是非常强大的
当时的媒体也非常的兴奋有些媒体还写了一些骇人听闻的这种标题就是海军设计了会思考的科学怪物好会宣传好会煽动啊像纽约时报说海军展示了一台电子计算机的原型未来它可以走可以说可以看可以自我复制他们创造了一个没有生命的人
感觉拿来描绘我们现在的 AI 挺精准的对当时就很火自动驾驶什么的能想象吗对当时人来说冲击是很大是很大的对那既然这么火呢倒有很多经费了什么的就会往这个投过来了投过来投过来的话就会把这个钱投到康奈尔大学其实上美国的大学之间是有竞争的也是掏钱只有一个人金主爸爸可能就是美国国防部对啊然后你这些人有些人把钱拿走了有些人就没钱了
所以我一定要拆你的台就说你这个不行你这个研究没有前途你浪费钱浪费钱把钱偷给我让我浪费对
不能给他浪费是这样的争夺这个话语权让那个金主爸爸相信所以敏斯基就写了本书嘛就赶自己去抨击他有一本科幻小说可能有些人会听过他拍的电影叫《2001 太空漫游》特有名对 刘慈欣她说自己非常推崇的这个科幻小说之一这小说不需要她推崇就很有名了咱不要这么激动拍电影的时候那个顾问就是敏斯基科学家还能当电影顾问
对当电影顾问有篇文章写他的名字他出现在了电影里边给了他一个角色然后我搜了半天这个角色没收到后来我找他一行字当时那个飞船不是飞到太空了吗嗯
那个哈尔已经发疯了他是要把人类干掉嘛那个睡眠舱里面有几个人没有醒来其中有一个人的名字叫明斯基睡眠舱上面贴个名是吧这个明斯基呢他和罗森布拉德前身是高中同学像一老同学捅了他一刀爱我朋友更爱真理
对是的对老同学把这个感知机给做出来之后然后他还去做了一些实验为什么他对感知机这么了解因为他觉得挺有意思的他要去试做了实验之后他觉得这个没有什么前途他认为人类不能把一个大脑带来到世界上而是应该用计算机独有的方式去模拟人的思维就像我们不能创造一个跑步跑得很快的机器但是我们可以创造一个汽车有道理
不要去复制一个大脑这没有前途的对吧听起来有道理所以他就提出反对意见而且这个明斯基在多个场合很不给这个罗森伯拉德或者他的这个支持者面子
据说有一次就是一个年轻的一个斯坦福的科学家在演示了自己的手写识别的时候那个时候估计识别的也比较差然后米斯基就站起来说像你这样聪明的年轻人为什么把时间浪费在这种事情上选错道了对跟着我们混吧当然他的抨击是有道理的感知机不能解决一个疑惑的问题所谓的疑惑问题就是比如说一张纸上有一个方块嗯
它可以告诉你这张纸上有方块也可以告诉你这张纸上没有方块但是这张纸上如果有两个方块的话它不能告诉你它有两个不同的方块它只能简单的回答有没有它只能解决是和非的问题当然是有道理的你在一个这一派这么初步发展的阶段那肯定有很多不足肯定是比较拉垮的感知机的书的封面就用了两个非常相似的图片两条互相缠绕的红色的螺旋线条
就像文箱一样上面一盘文箱下面一盘文箱但是你人眼看的时候你会发现这两盘文箱是一模一样的但是实际上不是的你要用铅笔去跟踪的话你会发现这两幅旋转的图片它是不一样的不一样的他用这个图放在那本书的封面意思是我用计算机把它算出来是最严谨的对是这种象征是吧对如果你计算机的话一秒钟就会知道完全是不一样的函数对不对但是你
用图像识别的方式或者用感知的方式你是很难发现的完全否定了这个感知基础说你这个完全不严谨嘛对吧然后你这个东西猜的嘛容易猜错嘛对吧如果我们把审讯网络认为是猜这个图片是什么样的猜派是吧另外一派呢另外一派我们就觉得就像计算机算嘛算派的符号派计算派的感觉就很严谨很有这种
很有明确的规则的感觉对比如说亚里士多德他的三段论人都会死小明是人所以你就会推理出小明也会死在当时计算机算力非常低的那个情况下算盘是很在优势了嗯嗯
而且当年的学术那种氛围上一旦容易猜错证明的东西是正确率太低不科学的不严谨的对吧不能完全附用的也不能很快应用的对所以之后在 69 年这个感知机这本书出来之后整个的对实行网络支持的资金就切断了就没有了大家都好理性啊一看没希望不投钱不投人了政府就火速的抽离掉了这些资金
其他国家也一样像英国这样的当时肯定各方面科研什么也就跟着走回到我们主线就是新墩那会读博结果刚和老师签约可能老师就看了这本书恍然大悟是吧可能差点走错路差点我这三五年的科研经费就度饱了对
立刻转向立刻转向那怎么办这下面有一个愣头青的这个新博士生就非得要做原案那一派他老实说还苦口婆心的和新任说你要转向到另一派甚至这么说你再去研究那个该死的神经网络会毁了你的学术生涯的在当时那个学术环境里他倒是说的话也对完全对就没有前途没有前途而且那论文能发吗很怀疑那加拿大如果写论文写书能发吗能出版吗曾经有段时间他们论文特别难发哈哈
我觉得它导致是实时物质我赶紧换当这个神经网络这一派受到打击毁灭性打击的时候嗯
符号派这一派符号派就咱之前说算派算派对它反而是有进展一个叫特里维诺格拉德的人这个人就是谷歌的创始人之一拉里佩奇的老师他做了一个什么东西呢做了一个电脑程序它运行在一个叫方块世界里边 BlockX World 里边所谓的方块世界是一个虚拟的世界就是在电脑屏幕上显示的有些线条组成的长方体立方体就和麦克复特一样他做了一个很类似 Siri 或者现在我们查查 DBT 这样的一个
程序 70 年代对 70 年代当然那时候没有语音识别你需要打字需要输入交流对你输入准定就比如说找到一个比你现在抓着的长方体还要大的诺
挪到一个正方体上方哦 我明白了就是下这个指令他所以要求这个机器必须得听懂对 必须听懂而且要判断出来哪块大哪块小什么的他这个论文当时是引起了很大的反响而且这个论文呢新顿的老师还拿给新顿去看然后说你看人家做的多好这个方面发展大有前途大有可为他这个论文体现了这个当时主流的观点就是认为人工智能就是基于逻辑的通过去制定很多很多的这种规则
就是让他学会什么叫大什么叫小说白了就是你想让一个人工智能把一个货物从 A 点搬到 B 点首先要让人工智能这个机器知道自己是一辆汽车你想让这个人工智能的机器知道自己是一辆汽车必须告诉他汽车的工作原理是什么从这个机器人的创造的思路去出发的一步一步的去搭建嗯
按照当时人的想法是人工智能它就像机器一样被组装起来的和人工智能相关的各个领域给研究透了研究明白了就能得到一个像人一样思考的机器了当时所有人会觉得这个方块世界演示的非常的成功了说服了很多很多人从现在的角度来看这个方块世界反而是一个很差的一个例子但是当时人他没有太多的感觉就是因为方块世界它是很
理想的一个世界当然很多人忽略的一点就是首先这个世界是封闭的这个世界里面只有这个机器人自己举个简单封闭世界的例子就是如果一个房间只有你一个人生活你回家之后把钥匙放在桌面上对吧第二天起来你去拿钥匙的时候你根本不用去看这个桌面上有没有钥匙因为你之前放到桌面上过了就这个地方只有我这个人安全封闭的空间里对你的所有的行为最后都会归结到逻辑上面记住上一个状态就行了
都是清清楚楚可控的那种感觉对但是实际的环境不是这样你可能生活在很多人出出进进的一个房间里面当你把钥匙放在桌面上之后再想去找钥匙的时候必须去看看桌面上还有没有钥匙它可能被挂到墙上去了对不对可能被人顺走了呢有人拿了之后你还要去问谁拿了怎么样等等对对对
你一碰到现实世界可能就抓瞎了并不能应对我们人类面对的那种复杂的多变的不可控的世界对吧所以佛号主义它造的这种机器它只能去面对这种非常简单的环境工厂里面封闭里面就操作一个什么我觉得那种类似那种感觉我觉得好像还行你的前一个状态可以完美地触发你下一个状态甚至你可以通过现在的状态去反推前面那个状态嗯嗯嗯
对吧这种状态都是可控的这种环境里面基于逻辑的符号主义是如鱼得水的是非常容易去控制的而且要是用规则来去定义的话就会很复杂即便是简单的在计算机里模拟这个积木的拿光块拿光块都写了很多代码据说维纳格拉德博士毕业之后再也没有人维护他了当年不是一个创举吗太复杂了
就是动一下块也很累是吧写代码也很累对比如说把那个世界再升级成一个更复杂的更多指令的它可能就很累很累了很难去操控了对还有点算盘符号是很难去解决的这是关于生活当中的矛盾的问题比如说下棋的时候是吧关棋不与真君子然后又有人说见死不救尸小人
你很难去判断做这些事情到底是有用还是没用的对啊这就是人类经常遇到的困难对那你说我要保护人类开汽车的时候如果遇到紧急情况你普通人来讲交通事故可能会撞到人如果人的话就没人会问你当时是怎么想的对吧
当时因为很慌嘛对吧当时你不小心没办法嘛对当时没看清楚是吧晕了脑子一片浆糊等等就没有人会问当时是怎么想的为什么踩刹车踩得慢了一点没有人会这么问嘛对吧但是如果激情人的话逻辑上就会有人问嘛为什么撞了这个戴头盔的人啊
因为我们要减少损失旁边那个人没有戴头盔对吧撞戴头盔的人只能把腿撞折了对吧不至于撞死所以我选择了撞一个戴头盔的人他脑袋是好的触到地面没问题对再去采访戴头盔的人戴头盔的人说我为什么要戴头盔呢我就怕被撞呀结果你们就逮着我撞是吗你们是人吗就让机器做判断真的很难全部把这个逻辑给到机器人有很多东西做不了而且你不能穷尽所有的场景所有的可能性是的是的
当然我们讲的比较远不管如何不管我们怎么去吐槽符号主义对吧当时人家符号主义的就是主流主流先进而且人家主流多少年了就主流几十年一直是主流一直拿着钱对星盾他们一直就非主流人工智能黄金时代就是 1956 年到 1974 年这一段时间当然也就和神经网络关系不是特别大这个年代政府花了很多很多钱在人工智能上面我们想那个时候是什么年代那个时候是冷战时期
是一个美苏科技争霸的一个很胶着的一个年代谁在这个科技上面有这个优势就证明你在军事上面有优势嘛对所以美国政府当时是非常非常看好人工智能的潜力的美国政府呢当时特别看好一件什么事呢特别看好这个机器翻译的事他们搞了很多线路去偷听苏联人在说什么最好有个机器人帮我们处理一下对俄语听不懂还有俄国人也发一些论文那我们要看看那论文写的是什么来判断他们的科技发展到哪一步了嘛嗯
对吧这就很重要这是一个听起来很重要的事是吧而且实际就是有这个巨大的需求就要干这个事所以那个时候就是 IBM 主要是给政府推销他的电脑推销他这个 IBM701 这款计算机就特贵的吧他们做了个什么做了 250 个俄语单词的一个词汇集
250 个俄语的词对你就给我一段俄语的句子但是句子里边那个单词呢不能超过这 250 个这小学生对话咱们就搞定了 Demo 嘛对吧这 250 个怎么够用啊这小学一年级水平啊哈了瘦是吧 Demo 用的挺好 Demo 用的挺好相当相当不错就是效果非常好
那个时候给美国政府展示的时候还有一个美女大字员当时就是美女大字员然后输入一串俄文然后停一两秒一个打印机就把俄英文双语对照打出来了然后参与这个项目的人 IBM 请了老教授请了谁呢还请了艾森豪威尔的翻译他的俄语翻译老教授应该和军方关系非常好
然后呢一起来搞这个项目嗯
当这个演示完了之后 IBM 那帮人就和记者充满信心的说五年后也许是三年电子计算机就可以翻译各种语言了就没有问题了这个事件发生在上个世纪 50 年代也就是说他们认为 60 年代就一定搞定语言这事就可以搞定了就不要紧我发现科学就是很能忽悠人发现了吗巨大的前景对 俄语只是我们第一个功课的目标剩下的就是各种法语什么西班牙语那都是 Chinese 都一起语
可以搞定的对然后美国军方也非常感兴趣觉得哇应该大力投资啊对不对这样的话第一时间我们知道俄国人在说什么于是美国的三个部门国防部国家科学基金会和中央情报局联合投资非常看好他们主持了一个叫自动语言处理小组
这么一个组织就研发这个俄语的翻译问题他还把 50 个词的那一个 demo 这就已经说服了所有人了就是这个 demo 在美国就掀起了一场人工智能的热潮可以说是狂潮很多学校都去申请科研经费深深自己各种各样的能力你能翻译然后我能进行都深深自己是人工智能方面的
有显著的突破的人懂 懂没项目我也硬撑出个项目来这个大潮我必须得赶上对 那有很多钱风口呢 风口没想到五六十年代除了那个学界什么的研究什么的 IBM 这些计算机这些公司包括高校全都在大风口上就和现在的人工智能是一样的所有的人都去那里去对
对要去做这件事情对对对而他那个时候真的有几个人有个叫 Seeking 的项目是斯坦福的一帮人搞的那个人的功能就是他可以去躲避障碍他可以从一个房间到另一个房间还能很慢慢给推开你那个手把手没有手他可以撞开没有手对那个这人像一个汉堡一样他的脑袋是一个摄像机也特别大健康的摄像机那么大的脑袋是那样的然后还有其他的一些传感器但是都很大所以就像一个冰箱一样那个机器人
挖起来下面是轮子到时候会把这个图放在修诺就是那个简介里面大家也可以去看一下对那这个项目还从美国政府搞了 100 万美金相当于现在 800 万美金了哎呦我去真的是换成咱也赶紧要参与一下它本身是没有运算能力的它不可能把这个大脑放在机器人上面的
它只是传感器因为当时的电脑是非常的大的也是一两吨你要是再整上电脑那岂不是一个集装箱在那里动对它是通过无线电的方式和机房里的大脑去联系的那还挺先进对即便如此这个机器人把它打开之后它的摄像机
需要 10 秒钟之后才能产生画面然后呢你给他下一个指令比如说从 A 房间去 B 房间他需要思考 15 分钟为什么很慢要各就各位然后才能开始动对很滑稽没有我们只是站在现在去想有点不可思议但对于当时来说好先进是吧就是大突破已经还算不错的端就还算有东西了不错的东西了甚至有很多人就直接就是没啥东西
也能申请到钱也能申请到钱据说麻省理工从那个军方搞了一大笔钱搞了个什么东西呢打乒乓球的机器人那时候是不是乒乓球热就那个什么阿甘阿甘嘛对阿甘正在里面打乒乓球那个时候可能正在和咱们做乒乓外接当然你要机械臂能打乒乓球改成一个枪肯定有用嘛对吧也是对对对反正是军方愿意投钱
然后这帮人做了一个打乒乓球的这个机械币之后发现一个新的问题写项目规划的时候忘了写这个机器视觉的项目了就是我这个机器可以打球但是我不知道球在哪儿
但是也能申请到钱能申请到钱重点在这呢是不是很好交差我怀疑这个故事是写在和星顿一起研发布尔兹曼基的另外一个科学家特里谢诺夫斯基他写那本深度学习的书里面当时谢诺夫斯基看了这个项目的时候觉得很荒谬听说这个项目因为没有申请到视觉经费所以研究的课题组就把这一块交给了马神尼宫的一个研究生反正我也没钱请专家什么学者来攻克了对
他去求证这个马文明斯基说当时是不是有这么回事那个明斯基说是有这么回事不过你说错了我们给了个门客是就是
研究生都请不起那能做出来吗视觉模块视觉模块不是最重点吗所以你会发现当时就是美国国防部很慷慨科学家们又很飘所以飘着飘着就飘到了第一个人工智能的寒冬国防部发现自己是大头就那种全拉垮了吗对 基本全拉垮了相当于是砸出了很多江湖骗子那种感觉生气本来我们是要找那个让皇上长生不老的灵丹妙药
来了很多江湖术士拿着重金属都来了回到翻译机国防部当时砸了 1000 万美金相当于现在 2 亿美金真不是小钱什么也翻译不出来不是说已经 250 个单词了吗那 25000 个单词然后咔咔翻译我怎么觉得按照算盘来说也不是不行其实世界没那么简单对就是没那么简单翻译不出来所以政府要找原因因为这钱花了之后你肯定有一个结果对不对所以政府就当时找了
一帮科学家就去分析这个项目为什么还没有搞出来你们去看一下督促一下还得雇人花钱雇科学家去研究另外一帮人为什么没做出来为什么没做出来刚开始的想法肯定是一起搞一下研究要帮一下你看我们的钱白花了对不对不能白花总之有浪花于是就产生了大名鼎鼎的自动化语言处理咨询委员会报告这是一份 124 页的报告直接开启了人工智能的寒冬
口诛笔伐是吗报告是这么写的就是白板源的翻译项目首先翻译的基本都是错的其次即便不是错的翻译的也太难懂了而且很多时候翻译的速度都非常非常的慢最重要的是我们认为这个项目的顶峰就是在 250 个单词的时候
超过 250 个单词就非常糟了出道即巅峰而且那是限定的 250 个单词就是单词越多越不行这个就是符号主义的问题就是你的单词越多你的语法越复杂你的规则就会越多最后就没法控制了嗯
最后你的项目就会很糟除了这个报告之外呢甚至于有人写了另外一篇题目非常有意思的报告叫炼金术与人工智能这个报告是美国的一个哲学家德利福斯写的当时写这个报告是在美国的兰德公司工作的就是兰德公司应该很有名的相当于是美国的智库就是为军方做很多调研和分析嘛比如说太空竞赛啊越南战争啊他在评估嘛评估嘛嗯
然后呢这个蓝的公司就把这个任务交给了这个德雷福斯他写了份报告叫炼金术与 AI 好狠啊这个评从当时的视角看还真的是就那种符号主义算盘真的是炼金术啥也没算出来他给了一个很扎心的比喻我觉得这句比喻直接就可以判死行了给当时的 AI 判死对说那些爬上树的人声称这是飞往月球的第一步真的
有点王尔德的感觉是怎么回事不过我觉得有道理就像那个 IBM 说这 250 个单词是我们翻译的第一步对吧也是最巅峰的一步但是其实下一步就是跌到地上还得花钱来认真他们真的跌到了地上对
就是这是美国嘛其实英国也一样的问题也在 72 年的时候遇到了这个瓶颈其实英国是不是冷战时期就其实是跟着美国对抗嘛对抗苏联嘛对就是人工智能的两个中心嘛就一个是美国一个是英国对
英国那个时候也在做评估在做评估的起因呢和美国还不太一样是埃迪堡大学就是星顿他们大学就出现了内讧两帮人就是这个符号派的和这个神经网络派的人打起来了打起来了都试图证明对方没有前途可以滚蛋了就不要在这里干了背后也是涉及资金什么的吧
资金和教职还有论文发表之类的对但是双方吵得不可开交的时候那你总得有个人评评理嘛所以我们请第三方的人来评理所以又引入了科学研究委员会的人来评理英国的科学研究委员会当时请的是谁呢当时请了一个大名鼎鼎的数学家莱特希尔他是什么他是英国剑教大学的卢卡斯教授卢卡斯教授一个教职的类别对荣誉称号就是英国剑教大学
只有一个卢卡斯教授顶级 top 的这一位受人尊敬极其尊敬的极其尊敬的太陡的相当于一个王冠卢卡斯教授当年牛顿还当了三十多年了这个教授挺有意思一年还能多拿一百英镑呢
是因为这个卢卡斯设立的这个当年设立的是吧设立的都给 100 英镑他留了很多遗产相当于一个基金当年 100 英镑挺多挺多对然后他说我死了之后呢这个卢卡斯教授的工资由我这个基金来发一年给 100 英镑现在光拿来给 100 英镑是活不了的这哥们儿继承者是霍金嘛很厉害的一个人物了
公认的那种力量对然后请他来去评评理反正也是个数学家他得了个结论什么结论就是说不管你们是符号主义还是神经网络都不行不要搞很糟你们那个东西一桌子全掀掉我不是针对谁在座的各位都不行都是垃圾他发现一个问题就是叫组合爆炸的问题嘛所谓组合爆炸就是说就像下围棋嘛对吧下围棋围棋上面有 361 个交叉点你可以有 361 个位置放你的棋子嘛嗯
但是如果你推理两步的话就变成了 361 的二次方了就很难就变成了 13000 个地方可以放其字了这样的话继续往下推理组合就非常多了是无穷的感觉有一种天文数字所以就遇到组合爆炸的问题所以当时他认为你不管是用规则也好还是用其他的方式也好你总会遇到链接非常多你要改变的参数非常多你要思考的地方非常多你解决不了的这个问题
所以英国政府当即立断认为人工智能领域江湖骗子太多而专家太少我们不要投入太多的钱有道理可是你细想这个老教授的这个判断其实他我觉得他直接否定的就是那个符号主义
对就是你简单的问题可以解决吗复杂问题或者是我们遇到的大部分问题它都不是简单问题你的 demo 可能是个简单问题因为可以预见比方你是符号派你虽然现在你的能力是五级但是你就是到五千五万级你也解决不了那个亿万个那种可能组合爆炸
那另外一派这种神经网络派虽然你现在很弱但可能还是有点可能吧这样的也许你发展的更好真的能模拟人的那种思维学习呢但是我觉得老幼稚圈觉得两派都不行反正都不行都很垮看起来都很垮都很垮骗的太多了
新顿那时候在读博士博士还能毕业吗毕业了老师给他弄毕业了肯定是他就在寒冬之中毕业 1978 年的时候寒冬之中就毕业了他首先去了苏塞克斯大学担任助理教授但是因为寒冬的到来英国政府提供的研究经费就变得特别少了一直
以至于这个辛顿他研究的这个神经网络这个领域更偏门了就是完全没有经费以至于他在这个苏塞克斯大学干不下去就关闭他这个实验室这么严重对然后他在英国找不着工作就是英国别的大学就没有面试机会你这个经历一出来你这个博士论文一出来你就是被老教授们都判过死刑的你属于江湖骗子之一对
所以他没办法他就去了美国嘛去了这个加州大学圣迭葛分校他也不是说人家聘他去的他是一个访问学者的方式去的间接看看情况嘛能走就走了是吧但美国不是也是就是当时减少那种经济支持吗比英国好点就是比英国好点就是美国那边虽然减少了但是比英国要强很多美国有钱
稍微支持点我手指缝里面露一点沙给你们先研究着吧那个辛顿去深淀阁蜂校呢还是应该和一个很有名的一个人有关系啊就是在剑桥有一个著名的生物学家这个人叫朗西斯克里克他是因为发现了 DNA 的双螺旋结构而得了诺贝尔奖他得了诺贝尔奖之后他把他的兴趣转向了神经科学去研究神经心理学因为和神经挂上了钩儿
建桥会不会下去啊
神经这个词就这么人人喊打吗就是一个诺贝尔莎莎莎跑到美国去了圣迭哥分校里对然后他们有一个组织叫 PDP 组织就是心理学系的这帮人因为他们并不是那个人工智能计算机科学家他其实是一帮心理学家因为有这么一帮人的存在就吸引了星遁去这个圣迭哥先观察观察有点希望呢对反正彼岸的希望吧反正英国那边太大混了是太大混
氛围非常糟糕啊反正去那边抱团取暖了嗯在这个森尼尔格分校里边他认识了一个人嘛就叫戴维·鲁梅尔哈特他是这个 PDP 小组里边非常重要的一个人物嗯这个鲁梅尔哈特他是
一个人工智能的专家他要做的什么事情他要打造一个多层的神经网络就是在这个感知机的基础之上打造一个多层的神经网络他是要坚持在感知机感知机基础上去做是吧他的判断判断出来的对他是个链接主义者他是要去做神经网络的开发的然后他通过多层的神经网络就可以解决这个异化的问题嗯
所以星盾就和他就关系就很好是同套合了当时他们想象当中就是每一层森林网络解决一个问题最终去达到最后的目的我有个三层森林网络的一个模型你给我一张小狗的照片吗那第一层森林网络我就解决这个照片上的每一个像素它到底是黑的还是白的黄的还是红的第二层我就去解决我能不能在这些图像当中找到一些小的直线小的曲线等等等我去做一些组合第三层我
那我去解决这些找到的直线和曲线什么的拼在一起我能不能找到眼睛和耳朵嗯最终我得一个判断这是一个小狗还是一个小猫嗯
就辛顿就对这个多层神经网络很感兴趣然后卢美尔华特邀请辛顿和他一起来研究对提供一个机会不是只是来访问短期访问一下对对对但是这个多层神经网络就有一个问题就很重大的问题就是你很难确定每一个神经元对整体计算的相对的一个价值是什么因为你设计了 10 个神经元每个神经元的价值是什么很难评判很难评判嗯
虽然能设计出一个模型而来但是很难去调整你的模型设计完了你发现它不能把这个狗识别出来然后你怎么去调整每一个神经元和神经元之间的这个联系的权重是怎么调整的
有一次采访新顿的时候新顿说当时你想到的只能是试你随便的每个链接上面复制一个权重你试一下能不能行不能行你再改一下这就有一个组合爆炸的问题是是是如果第一层有一万个森林园第二层也有一万个森林园然后你就有一亿个可能性
很难必须去设计一种反馈机制自动地去修正神经元之间的权重这就像人的学习一样就是你这么做了不对你肯定会自动去修正我怎么样做才会对嘛嗯
就像人去切菜对吧你这样切的不好你肯定会去修正自己切菜的方式在修正的时候其实上有很多种可能性对吧比如说劈去砍去胡切会切到手这种但是你大脑不去选择那么蠢的方式是他已经学习过了一定是之前做的好的地方要保留嘛只修改那些还没有做到位的地方嘛所以用很快的时间就可以学会怎么去切嗯所以罗美尔哈特就说我们可以用一种反向传播的方式设计一种反馈的方式啊
叫反向传播对其实就是反馈的意思对反馈的意思来修正这个神语言之间的一个权重而不是所有东西都去试一试希顿那个时候并没有想去加入这个反向传播的阵营他也没有想加入多层这个神经网络的阵营嗯嗯
他当时认为罗美尔哈特这个想法不能成功的因为他说之前罗森布拉特已经证明了感知机不能成功最后不管怎么去试你永远不能证明一个神经元比另一个神经元更重要所以他觉得罗美尔哈特这个想法很难进一步地去推动人工智能的前进所以心动一开始并没有在反向传播上面下太多功夫所以
反向传播是后来真正还是要走这条路对但是星盾开始是没有那星盾来到圣迭厄格分校还是真的走进去真的进入研究的大道了对星盾他拿诺贝尔奖是因为布尔兹曼基但是星盾在人工智能上面奠定了他这个地位或者现代我们的人工智能那么强大就是因为反向传播在反向传播这一块里面他做出了他的贡献虽然这个方向一开始的 idea 可能不是他提的不是他提的
反向传播很神奇是被两个人发明过就重复发明过的对在之前还有一个人发明了之后那个人写了一个论文之后没有太多的人去关注相当于废了相当于废了然后这个鲁美尔哈特他去想反向传播的时候他并没有注意到之前那个人还写过这个论文因为当时没有什么查词同文什么的可能就是在主流的刊物上查一下
他其实是文献中述做不到位不好做就很有名的人工智能专家文达他的老师叫迈克尔乔丹不是那打球那个就是科学家一听就是迈克尔乔丹对
就科学家迈克尔挑战他的老师是罗美尔哈特这他的那个什么师徒师孙麦相当于对对对怎么介绍到这儿感觉到这个什么新顿的这个曙光要出现了当然了刚开始没有去那个一开始他质疑的他质疑的他去干别的去了他去找到另外一条路嘛时间就到了这个八十年代苦苦撑到了八十年代这不就十年吗对十年是吧就过去了对八十年代是人工智能的第二次热潮对
对就是第一次热炒被这帮美国的科学家和英国的科学家碰的都不行了就是不要搞了没有活路对所以英国和美国都不搞了只剩下一小撮人还在秘密的搞坚持对坚持但是如果一直这么发展下去可能人工智能会发展的很慢嗯
但是为什么说 80 年代又有热潮了呢这个热潮它的起点不是在英美它是在日本日本怎么冒出来了日本人在 70 年代在通商省的前头下面搞了计算机技术促进和发展计划咱老熟了没错就是联合起来日本的各个厂家在半寮体上面干的风生水起没错咱们前面几期都有提到对就把美国人打得落花流水然后这个
内存什么的生产的非常非常的好野心勃勃在 70 年代通商省的一个计划在日本叫第四代计算机系统项目当时的学术界或者科技界把计算机分成了四代日本还是美英的全球共识第一代就是 40 年代到 50 年代开始就是很笨重的开端爱尼亚科什么那种电子管的那种第二代就是把电子管换成了晶体管这一代
就张忠谋去德州一气啊去造论还真串起来的都然后第三代呢第三代就是 60 年代到 70 年代的集成电路那一代就是 IBM 出了很多商用机就是前两代主要是军方第四代就是 70 年代到 80 年代中期出现了大规模集成电路就包括我们很熟悉的比如说苹果二 IBM PC 嗯
这种等等到了第四代相当于是计算机就普及到家庭了日本就是在 70 年代 80 年代大规模集成电路这一块集中力量办大事法律它应该相当于是冲进赛道来超车对正超车了直接冲进来对所以日本政府当时就非常的有自信认为他们这个做法第一推动了日本半导体的信心第二让日本的汽车日本的家用电器消费力产品都进入了欧美市场
所以日本人就飘了日本人说前四代的计算机是由美国人定义的但是英国和美国他们已经得了英国病和美国病工人也不是很给力研究也不是很投入这味也很熟悉就是把人家否定一下然后提出自己是牛的了那肯定我第五代他们已经无力承担引领世界科技发展的责任了这个责任留给了我们日本人我们必须挺身而出提出了第五代计算机嗯
项目领先全球领先欧美那肯定人类灯塔压住人工智能他们这个经济发展很昂扬的这种什么高歌猛进的那个感觉我必须得拿下所以日本当时设计了第五代计算机就是知识信息处理系统相当于是我们可能普通人都没什么印象对因为做的不行每次没印象都是做的不行对相当不行相当于是
口号是喊出来了吗口号喊出来了钱也砸了吧应该那砸很多呀砸了好几亿美金了他们说欧美做的一些人工智能希望于做出来像人一样的这种智能机器嘛这是完全不对的我们应该做人类的助手嘛做这种类似于什么 Siri 小秘书这样的就是帮助人类去做决策的机器人叫增强人类嘛
他这是哪一派了都无法判断让我他这算哪一派新一派了理论上讲他们还属于算派但是我觉得他们可能叫爆肝主义肝派我觉得可以这是我们自己取的名大家不要不要被误导日本人就是爆肝爆肝民族我看东南亚民族都喜欢这个其实他这个东西叫专家系统这是第二次人工智能的大潮主要是以专家系统为代表的一个方向嗯
嗯就所谓的专家系统比如说诊断系统也当时比如说美国就有这样的加利福尼亚大学就有一个叫嗯有个叫 Matchin 的系统汉语翻译过来叫梅素啊青梅素啊红梅素啊梅素啊那两个那个单词那两个字嗯对相对于是一个医疗服务系统啊
它里边录入了好几百条的这个规则然后怎么用呢就是你这个医生你可以往这个机器里输入各种各样的这个信息比如说这个人多高多胖他有什么样的症状他什么时候发烧了现在怎么样他有没有出汗等等等等就有点像有点数据库那种收集我的这个数据然后他能帮我做判断对然后这个机器会不断的你去问他还有没有呕吐他还有没有什么最后得一个结论他可能是什么什么问题明白了
这是美国已经做过的日本人是什么意思做得更好更高端专家系统是一套软件日本人他是计算机系统就是说现在的这些专家系统不够强大用处很小原因是因为计算机非常的弱小
所以我们日本人要做一种非常强大的逻辑推理计算机或者是说我们要把逻辑推理计算机推向一个新高度符号那一派的人加强泛符号主义这帮人还在这干泛符号主义这是咱的词还是人家定义的词咱的词啊
是专门干当时用的计算机它也不是咱们想象那种用 PC 什么的他们有专门的计算机叫推理计算机叫 LiPS 计算机系统它是用逻辑推理的速度去来评价你系统的优劣相当于是
每一秒钟做多少次逻辑推理运算你比如说一个专家系统刚才我们说的那个看病那个对吧然后你要完成 1000 次的逻辑推理运算才能出结果那么一个每秒钟执行 100 次逻辑推理运算的这个电脑它用 10 秒钟就出结果为什么需要这个逻辑推理运算呢和当时那个结构是有关系的当时
一套专家系统分三个部分一个部分叫知识库比如说看病有各种各样的病素材库吧病证都一条条的都写上对吧然后还有一个叫工作的信息存储系统当前这个病人有啥症状你得存下来吧还有一个地方叫推理机把你这个病人现在的症状和我库里面这么多条的这个逻辑对上对上那个推理一一匹配看是不是对我需要推理
当时美国有两家公司一个叫 Symbolicase 一个叫 Lasp Machine 这两个公司生产这种机器美国人已经在干了日本人来插一脚是干嘛呢因为美国人每秒钟只能做十万次逻辑推理日本的通产省说这是个好方向
我们要花 8.5 亿美金建造一个介于一亿和一千亿次推理的原型机而且还有了详细的计划三年用于初始研发四年用于结构和子系统开发最后三年完成工作原型机在 1982 年领先全球是吧对项目结束后考虑开启第六代计算机都第六代了第六代计算机项目这不是整第五代吗计划得远点就相当于我们
占领第五代然后什么高歌猛进第六代对我们现在吃的碗里的锅里的我们也要研究上对所以日本人当时就进入了这个人工智能感应操美的阶段就大练推理电脑大练人工智能而且日本人不但自己脑子里想着要怎么干而且还把这个想法大张旗鼓的宣扬出来
相当于上全世界宣布我们要这么干了人工智能的大旗我来扛通产省安排一下出动一下这是啊这很积极啊这事除了美国人和英国人特别没面子我们是主事业啊对不对我们冒出了一帮人就说他们要搞了你研发你就研发吧你怎么把第五第六大都是你算你在那去了对而且还说我们得了什么病
太侮辱人了日本发的这宣传通稿这得省一下呀所以美英立即采取行动要在人工智能领域捍卫自己的地位原来人工智能这事忘了之后就想起来了然后美国人设立了战略计算机计划和微电子与计算机技术公司嗯
专门用来投资人工智能的就是国家要送发钱是吧又要发钱了发钱支持支持一下英国搞了一个二维计划这两大巨头表示要争夺人工智能高地对新高地还有这一出我真是没想到所以要感谢日本人要感谢要感谢本来言东了然后发现怎么回事所以美洲又开始投钱了
没这个事的话那还有新顿什么事呢对所以呢就世界各地就冒出来很多爆肝产业因为都模拟日本人那一套嘛因为觉得日本人那一套确实还有点道理对吧你说欧美也开始爆肝了对就是我们不奢望造出一个和人一样的智能机器但也能用就行啊对因为已经证明无法造出来的对吧我们论证过了对吧嗯
所以我们这次我们不造一个和人一样的机器我们造一个帮助人的专家机器直接能干活的就行能干活的对吧能帮我看病的就行了那省点医生不好吗最著名的报告系统是美国人搞的是一个叫 CYC 的项目就是拿到了美国微电子与计算机技术公司的投资就是美国政府成立的这家公司这家公司专门就是替政府花钱的公司
然后呢要做个什么呢要用专家系统做一个机器人做一个智能人他的思路是什么呢就是我有一个孩子我每天教他一点最后就把他教成了一个博士就相当于有一大罗书今天背唐诗三百首明天诵词五百个当说的知识都到他脑子里之后他不就是一个行行精通的一个人才了吗从零开始训练吧对相当于这个填鸭式教育就是这个孩子你不用知道为什么
你知道是什么就行了然后每天拿出语文书数学书就开始背定理马上都背会课本人都搞懂本来想说太违背人道主义违背机器道了这填压能好好填吗那个人正正主的那帮人开始填但是他填好像填的不太快据说当时觉得需要 300 年左右能填完
我刚就想说他得填多少年人的话至少对吧还是有这个神经网络有这个学习功能你这个喂机器你就不好喂啊如果他自己不能学你光靠喂他死背没有用啊但人家很固执你比如说人家喂的是这种人家说日本人都能爆肝我们继续肝了
就是在地球上一个悬浮在空中的物体会落到地上这就是一套规则了落到地上之后它会停下来而在太空当中悬浮中的物体是不会落到地上的燃料耗尽的飞机会坠落有道理坠落之后里边有人就会摔死食用你不认识的蘑菇就会很危险每棵树都是植物植物最终会死亡等等这也有道理人家古代指数家不就是这种推理吗是吧逻辑推理对他们弄了很多最后发现这个系统是一个噩梦我怎么
我怎么听着好像还是可以的这个天呀他这个系统搞完了之后问他那些人那些问题很地狱比如说有两个人他们可以彼此都比对方高吗汽车能往后开吗飞机呢人没空气能活吗这种问题导致这个 CYC 卡住了我觉得这个人也得卡住啊
就是他完全没有逻辑的能力他没有推理的能力但他有很多被灌输进去的一些简单的知识条理是有的但是一个小孩子也知道一个人从 10 米高的这个建筑物上跳下来会摔伤会摔死甚至对吧但是他不需要真的看到背上背一个降落伞包你加各种条件他也能继续推理但是专家系统就不知道没这条规则的话他就不 work 了他只能一一对应吧只能一一对应对所以美国这边没干出来是吧
没干出来又遇到了江湖片子你可以说所以 CVF 这个辅助人后面还被人编入了计算机科学史的民间笑话里边这个梦叫莱纳特然后一帮人还搞了一个叫微莱纳特的科学计量单位用来衡量一套人工智能系统有多蠢这么乌
对说为什么我们要有一个叫 V 雷纳特呢因为整雷纳特是极致找不到比 CVC 更蠢的了科学家的侮辱不是简单吧你个笨蛋所以不出所料的第二次人工智能的黄金时期也在 1987 年结束了那这也挣扎了好几年了结束的原因是不光是英美政府发现又不靠谱了除了很多像雷纳特这样的人对吧
日本的第五代集团机项目也凉了我就想说他 72 年干到 82 年他干出啥了因为日本人又犯了一次像太平洋战争上面海军的思维的错误当美国人在发展航母的时候他们还在发展战略舰还在大炮巨舰年代当中不能自拔好
还得搞大和号呢 80 年代到 90 年代的时候其实已经是一个网络化出具雏形的年代了虽然互联网还是早期很早期但是把个人电脑和小型公众站用网络的方式连接起来通讯分布式的这种服务器已经是主流了
而且当时的 CPU 的性能也完全可以执行科学计算的任务因为当时那些算法很多算法不像现在我们的人工智能当时的符号主义也不需要那么多那么多的并发计算以至于日本人又走错了路因为日本人就想专门干出这么一个
软硬件结合的这么一个系统吗一个电脑吗推理机还叫推理机还有个名呢我差点忘了所以说专家系统的没落英美政府的不支持就刚才我们提到那个美国的两家公司破灭这叫对那个 Symbolisk 和那个 Lisp Machine 两家公司都破产了是吧对然后日本人发现美国干的两家都破产了吗我们还有必要搞吗
你可以你的头皮继续砸钱就像二战一样美国的战略界都退役了咱这船厂里边干了一半了咋办呢不干可能是最好的职责了所以以日本人开场的第二次人工智能热潮就又冷却下来了这就是 80 年代到 90 年代之间的主流的一个人工智能一个状况那这个时候新顿得干啥呢新顿当然还得搞他那个神经网络嘛
我看他在折服吧对这个角落里默默的搞那时候都不知道他是谁这有出头之日吗这当时他一想着对当时搞神经网络的人都被人称之为叫地下神经网络可能拿经费都是以别的名义搞点经费这词能出现吗对申请经费神经网络 8888 一个叉叉对
某方向的什么时候研究可能还行蹭一下还行吧反正明儿你不能大拉拉的亮出来吧对 圣铁哥封校的时候辛顿在一次会议上认识了特里·谢诺夫斯基咱们前面提过吗也提过他俩一起做的那个布尔兹曼基这哥们现在看到头衔特别多咱介绍这些大佬们哪个身后一堆头衔呢各国的什么院士啥好像这哥们现在五院院士就是名片写不下很长啊
多一个少一个也无所谓的吧他们两个就开始去研究波尔兹曼基之前我们会说感知机啊等等到了这个波尔兹曼基感觉像人工智能这个领域里面真的就是各种武功每种武功就像你是气上拳他是罗汉拳想练气上拳先练罗汉拳不是的你可以你可以岔开个练个的对到时候你这个比功夫呗比功夫对好好好
有可能这个九级的这个七双拳也打不过这个鸽汉拳但是人家到了十级之后就哇惊为天人是是是突破啊你不能在人家低级别的时候看不起人家是吧
对突然就打通了任督二外就呼呼呼的就特能打对上线会特别高上线到了多高你不知道刚开始说的人都没练到十级都练了五级然后这个时候五级的兄弟出来练一练比一比五级他不如我三级呢你不要练了当然人家坚持练练到十级之后竟为天人出其不意的大方一彩了是吧所以正是因为波尔赠曼基行动获得了诺贝尔奖其他当然也有也很重要很重要
就是曾经有一个对高等数学就不了解的人可能是个记者什么的对吧让辛顿解释一下布尔资曼基辛顿拒绝了当时辛顿就说这就像费曼解释他为何得了诺贝尔奖一样如果我再向普通人解释清楚那他就不值得得诺贝尔奖了这是他什么时候接受的采访
就是在之前嘛肯定没有得诺贝尔奖的时候对啊我去真的好有意思不想别回到自己身上的可爱的高傲啊对所以果然心动表示你看我这解释不了的证明我这有资格拿诺贝尔奖还真是对我们以什么以简化的方式对简化的方式解释一下大家了解一下这个概念对波尔茨曼基所谓的波尔茨曼是一个人这哥们叫波尔茨曼以他命名以他命名呢他是
19 世纪的一个物理学家这个人在当年提出了商这个理论的商增商减那个商增商减来形容一个系统的混乱程度嘛在微观层面的分子的无序排列嘛就是越无序商越高嘛比如说冰它的商就很低融化成水之后它的商就高了嘛嗯
所以就说一个系统总是倾向于商变大布尔兹曼他的贡献对我们比较好理解的就是对热力学第二定律的一个解释就是热能的传导就两块不一样温度的物体在一起的时候它最后会有温度的平衡那为什么会温度的平衡就是因为分子的运动趋于一致但是布尔兹曼他还有一个很重要的一个哲学层面的一个理论
他提出了一种对自然界的看法的一种统计学的观念因为当年的时候大部分科学家都是机械论的支持者比如说咱们初中物理或者高中物理一个小球被另一个小球撞击会发生力的传导就是一种理想环境里面发生的吗你可以用当前的状态去反推过去的状态也可以用当前的状态去预测未来的状态这是基于你的一套规则计算出来的对我
我从现象当中我去看到本质然后我本质抽象成一个模型然后这个模型指导我以后的行为这就叫我得到了科学规律是就总结各种简单的经验然后我能去指导能去预测后面也一定的也能出现对就是你说的可以重现的东西我们就可以规律不就可以来用了吗你不就很多成功学的书也是这样的吗达到 123 你就能成功对
但是博尔兹曼认为所谓的规律都是我们经验总结的它不一定是绝对的真理实际上是你感知的一个统计的结果他的思想很像休默就是休默他是英国大思想家他提出的就是没有什么英国律世界上没有什么绝对的英国
他其实反对的还有一个刺行家叫斯宾诺萨斯宾诺萨这哥们你说的是万事万物都是与因果关系的这件事的发生是因为前件事前件事情发生是因为因为另一件事就特确定特确定的就是从宇宙大爆炸的时候所有的原子的行动都被确定了今天我发生那件事是因为之前各种各样的原因我差点以为说因为宇宙大爆炸推
推到最前面的就宇宙大魔杖还真是对所以这也涉及到一个人的主观意志的问题就是你有没有意志我做这些事情是我自己选择的还是说已经被写好的被决定了因为有前因才有我现在的后果对吧修莫就不认可修莫说没有什么因果没有什么原因和不原因的东西你所看到的那些原因那些东西它都只不过是你的一个感官的一些总结相当于是个统计数据那不是一个计算出来的数据统计数据来个例子吧
对你比如说有个小鸟扔个石头过去对吧小鸟就被吓跑了飞了吗应该吧小鸟飞走是因为石头惊吓了嘛但是有个因果关系嘛但是有时候不一定嘛对吧万一它其实那一刻它本来就想飞走呢其实在它鸟的世界里面各种树叶掉下来石头丢过来各种原因我只是自己想飞走小鸟被石头惊吓飞走只是你人总结的一个因果
它不是一个真正的绝对的因果所以休莫有一句名言说的因果并不是必然的真而是忽然的真必然的真是百分之百正确而忽然的真不是这样的
因果为什么会产生使人的思维习惯造成的他就承认人的那种思维判断所谓真理的局限性就是还是很难说很微妙所以说机械主义它的理论可以知道你的行动它是有很多前提的很多模型是理想模型但是有时候你会发现这个世界你忽略掉的那些东西恰恰是非常重要的东西就像安斯坦曾经说过如果我们要搞研究那我们需要把这个世界简化
但是世界不能过度简化就感觉你过度简化你什么时候掉到阴沟里你也不知道很重要的是你简化掉了对对总之那个辛顿跟着他的那个那个同伙同伙的出来辛顿和他那兄弟们的哥们嗯
一起搞了这个布尔兹曼基嘛他就用这个命名了命名了对自尽吧自尽的对所以说布尔兹曼基它的主要的功能也就是说一个找平衡的机器就像往一个桶里倒热水一样就是最终水的温度会达到一个平衡它是一个无监督学习的一个方式就像一群人打算去吃晚餐嘛嗯
有的是要吃烤串有的是火锅有的是炒菜每个人都有不同的偏好和意见那么这些人还能彼此影响因为 A 和 B 的关系好 B 和 C 的关系好因为关系不一样即便我是喜欢吃烤串的他那个人要求吃这个炒菜那我也火邪了问题不大所以一开始大家可能都提出不同的意见最后可能会商量出一个解决方案这个商量的过程就是布尔兹曼基训练的过程这个解决方案就相当于是每一个人最后根据当天这个情况调整自己的诉求要达到一个平衡的结果
因为每个人的吃饭的诉求都不一样嘛对不对但是最后呢我们一定要去找一个餐厅嘛我就需要一轮一轮的去问这些人第一轮每个诉求都不一样嘛但是第一轮每个人都把自己的诉求来彰显出来了嘛旁边那个人会听到哦我和他关系不错他喜欢吃这个火锅对吧我和另一个人关系不好他想去吃炒菜我也想去吃炒菜那可能我要改变一下自己了哦就是有些不同的考虑因素就开始冒出来了对不相当于是把所有的条件都考虑到找到一个平衡的一个状态嗯
在这个波尔兹曼基上面又衍生出来一个叫有线波尔兹曼基这个用的就比较多了它是在波尔兹曼基这个基础上一个简化的一个模型它就能解决很多实际的问题所谓的有线波尔兹曼基呢就相当于是它只有两个层的这个神经元组成一个层叫可见层一个层叫隐藏层那怎么解释可见层呢可见层就是说能明确地知道的一些状态我采集到了信息嗯
比如说我还是要搞个活动有很多人对吧有人喜欢看电影有人喜欢徒步有人喝咖啡有人去唱歌有人就是我在宅在家里什么不想动每个人都有这样的诉求然后我就会问这些人你们到底要干啥他们肯定会给我一些回答他们给我的回答我都记录起来然后我会发现这里边的人可能有两种不同的倾向有的人就喜欢喝咖啡和宅在家里
有的人他就喜欢那些徒步或者是打球这一类的,所以我就可能会想这些人可能有两种心理状态,一种叫 I 人,一种叫 E 人。不是以表面的你这个选择信息为判断的东西,我其实我还分析一个内在的有一些别的逻辑的东西,我去想一想有没有可能。隐藏的信息,这个隐藏信息是我猜的,猜这里边有 I 人和 E 人,
或者是说这一拨人他是喜欢猫的那一拨人呢他是喜欢狗的牵着狗出去溜达的感觉是吧对虽然我没有看到狗也没有看到猫但是我通过他们的行为猜他们可能是因为屋子里有猫而院子里有狗他们选择了自己不同的活动所以这个猫和狗或者是 Iron 和 Iron 就是隐藏层它是隐藏在信息之后的一个东西
后来感觉有点不明觉历啊那我怎么完成得到这个有限波尔兹曼基因就是因为我不断地去看这些人的行为比如说他的样本量很大量本量很大因为每次活动呢很有可能不是所有人都参加对吧我会把每次活动谁参加到底参加了什么活动都记录下来学习一下然后呢就得了一个很大的表嘛嗯
然后我把这些表用有限波二次慢机的模型去训练出来最后我就会得到一个结论我甚至可以得到这些人之间可能有一些谁喜欢谁谁讨厌谁的关系造成他们是否会同时出现这俩人出现之后那俩人就不出现了
我会得到当中的这个信息嘛这就叫隐藏层嘛所以我是一种无监督的学习通过当前的数据样本透射出背后隐藏的一些东西人其实也经常干这个事啊就是关系挺好的同事嘛但其实你发现其实他们好像有些行为会让你琢磨出来感觉他们俩其实
不是一类人不是一伙人对对对有可能你具体的事情是猜的错的比如说你以为他们两个老是腻在一起嘛就喜欢打游戏但是他们两个人可能是一个钓鱼爱好者他们两个聊的是这个钓鱼的事但是这并不影响你把这两个人是好朋友这件事情给推理出来有道理比如说你可以猜测就是嗯
这两三个人都是宅男爱玩游戏大概的猜出来他们身上不会有刺青健身房特别猛的然后经常去酒吧的对对对我能猜出来他很有可能有刺青身上有刺青是的所以现在整个智能里面用的就特别多比如说简单例子就是上网的商品推荐嗯
你也在买他也在买然后我会把你所有买东西的人都做一个归类我会把你所有的人都有一个隐藏层打上这标签对吧然后我就会激活那个隐藏层我发现啊原来你是个钓鱼佬然后呢我给你推点预据嘛就这样的一推就准对啊就很准的甚至是不是我潜意识里都没想到我其实就想钓鱼
推荐出来了对有可能我十年前掉过一次后来没机会掉对吧差点都忘了我这个人生爱好但是还有很多比如说老照片的修复有点损毁了对吧然后我会把那些信息给你补回来那个地方本来应该有什么我一天回来就完了
相对使星遁在这个神经网络上面的一个很大的一个成就这里边还有意思一个事就是星遁在一次研讨会上去讲自己的一个东西嘛讲那个布尔兹曼基他把那些论文都打印好了然后来的那些科学家都每人给一份嘛 80 年代啊 80 年代初期啊明斯基也去了然后明斯基拿到了之后就把那个论文不是装订好的吗他就拆开一片一片一片的就摊在那个桌面上他嗯
一页一页地这样看星盾在上面讲他在下面就看看完了之后他也没有收起来他就走了他也没说话星盾把他留下来的一些论文又收集起来邮寄给了他那个兴奋章还写着是你可能不小心把这些东西落下了星盾后面评价就说明斯基像一个失落的神经网络追随者他开始是认同人工智能它一定是和大脑的神经元网络非常相似的
但是后来发生的事让他的幻想破灭了所以他就变成了一个反面人物但是他仍然抱着一次希望就像《星球大战》里边达斯维达那个角色安娜金天行者他也是因为希望的破灭最后才走向了反面
所以也是愿意看一看嘛对所以在他走了之后行动人就把那些资料邮寄给他了所以我觉得当时是明思金应该是他比较难受的感觉就是哎呀如果我要是这么严重也就估计坚持下来也有些成就对吧我估计
当然这个有限布尔兹曼基是在布尔兹曼基之后才研发出来的所以当时清顿发了这个布尔兹曼基的论文之后它也并没有变成主流还是徘徊在这个非主流后边呢去了卡内基密隆大学呢他也是在一次这个大会上面他在讲他自己的布尔兹曼基的时候嗯
认识了一个卡尼基米隆的人一个叫科特法尔曼卡的人这个人广为人知的是他第一个发了表情包的人最早一个冒号然后一个括号那个笑脸是他他第一个发的因为他在那个卡尼基米隆的 BBS 上面去发帖论坛发帖写了个帖子之后呢他发现有歧义怕别人把这个话听反了他就打了一个笑脸表示一下自己的内心的友善是吧对
所以就火了没办法文字没有表情啊当时他听了星盾的演讲之后呢他当时这么想他觉得卡内基米隆呢大家都在符号主义上面狂奔就是没有人在研究神经网络他觉得符号主义可能并不是最好的人工智能解决方案如果把星盾招募过来呢卡内基米隆大学可以两边压住
也是个战略上是吧两头都不吃亏有对冲风险对哪一头赢了咱都没问题于是在他的推荐下辛顿去卡内基美隆大学去面试那他还是很有分量教授应该是挺有名的面试有两场一个是心理学系的一个是计算机学系你说辛顿到底算哪个系呢计算机系你想象一下是吧据说他当时演讲信息密度极大然后有些人跟不上听不懂
听不懂就对了进来对来咱这你都听懂了我就不需要你了对这个让我想到维特根斯坦重返剑桥大学那个博士论文的那个答辩他有段时间到乡下去了嘛后来他又想重返学术圈但是需要一个博士头衔他就联系罗素给他做一个博士的这个面试我把论文端出来给你们你们审核一下呗是这意思吗对就相当于给我一头衔得了对然后呢罗素请了几个兄弟然后在那里评审一下听他做答辩嗯
然后维特根森坦讲特别快讲完了之后那帮人都是蒙的都不知道在说啥没问题听蒙了就对了给他然后这里边罗素也没听太明白还跑过去想再问一下刚才那个问题到底怎么回事然后维特根森坦竟然拍了拍罗素的肩膀说没关系的听不懂没关系的
兄弟你这很大的侮辱啊你这也是我只是来取一个博士学位好吗我早就高于你们了对总之呢卡内基美隆大学的计算机系主任埃伦尼威尔就决定招募星盾了嘛 56 年的时候达特茅斯会议之后就是这个埃伦尼威尔和他的老师赫伯特西蒙他俩回去建的这个实验室啊
他老师可能已经退了他在主持这个实验室所以他把这个星盾给招过来有眼光其实当时面试的星盾并没有特别强调数学和计算机因为星盾这一块并不是特别有兴趣所以告诉星盾你可以来卡内基梅隆之后星盾还去和这个牛爱尔说了一些事星盾说有些事我应该告诉你
纽威尔就问啥事吗辛顿说实际上呢我对计算机科学一无所知真的这么说对这个计算机科学系的主任我汗的是那会儿你决定要聘用他了是吗对纽威尔是这么回答的说没事我们这儿有人懂这个我们家有的是扛包的除了你之外我们都懂没关系你放心吧然后辛顿说既然那儿的话我就接受这份工作我觉得
我觉得他是来找康大包的我有很多 idea 就是需要人实现一下对新顿之前做研究他就新顿的之前做研究就很少写代码数学计算都来得及你看他的之前的那个学习路径什么的不是那纯理工科的感觉包括神经网络当中你要广泛的用这个线性代数
比如说你要矩阵变换你要涮那个项链什么的对吧他都自己想一个创意然后默认这是可以的他自己给自己都隐藏成了他就说就对的就不用算就跟那之前的大佬说我就相信原子就存在对结论就有但如果需要验证的话他就找一个别人去帮他把这些辛苦的计算做完验证一下结论还是对的对除非实在找不着人了自己才勉为其难解一下方程可以可以
到卡丁金美龙找点扛大包的人挺好应该有咱不缺人然后问他你要多少工资他说给点就行我来的主要不是为了挣钱果然人家就给了他 2.5 万美金多还少啊别的同事都 3 万 5 万呢那他是要来干啥呀他给点就行野心何在卡丁金美龙大学有美国当时最好的和最快的计算机
他到了卡丁基梅隆继续研究他那个波尔兹曼基但是研究的过程当中他觉得应该有一个什么模型和他现在的模型做比较自己说我自己的模型好那不行对不对大家都说好才行那有一个什么样的模型和我现在的研究的这个东西能对比呢他就想到了刚到圣地亚哥分校的时候遇到的那个卢梅尔哈特嘛他在研究反向传播然后他们两个很有些合作的病情他很了解嗯
所以他就又把这个反向传播的技术拿到了他的研究当中来他要和他的布尔兹曼基做对比啊我怎么理解他俩其实本质上是一个方向的呀都是神经网络只是模型不一样哦模型不一样在这个对比的过程当中呢辛顿的工作就有了突破性的发现他发现反向传播比布尔兹曼基更有效于是他又反过头来和那个卢曼尔哈特取得了联系嗯
而且那年他还结婚了不是第一次结婚吗我看不年轻了叶昕顿说不是第一次结婚他说第一次婚姻是一个和平分手了这次第二次婚姻了他和一个英国学者结婚了当然他这个妻子在 94 年的时候就去世了十几年吧结婚他们俩没有孩子从南美领养了两个孩子当时他妻子去世的时候他那儿子才五岁女儿三岁嘛结婚那一天他还抽了半个小时去了一趟邮局往外游了一
就是那篇非常非常著名的通过反向传播误差来学习这篇论文这篇论文相当于奠定它的一个什么学术地位吗基本上是学术地位后边那个非常火的深度学习都是依赖于反向传播技术因为没有反向传播技术就没有深度学习没有很多层神经网络的训练的方法
猜这种防止类训练别说是十层二十层了对吧大模型然后你一层可能训练不过来已经组合爆炸了当然这篇论文是三个作者第一个作者就是那个路美尔哈特嘛所以有些人问那个星盾是不是你发明的反向传播啊
他回答不是的挺坦率只不过是他推广的因为鲁曼尔哈特后面生病了他得了退心性的精神的疾病比较早去死了反正现在就享受不到现在辉煌的什么科研成果不然人家这个人可能是教父也不一定有可能
说到反向传播我们现在再介绍一下它是一种高效的去调整这个权重的一种方法如果不用反向传播的方式甚至于你都不知道自己的模型到底是优的还是差的这里边有一个例子如果有一个推销员他要去一个城市里面去推销他的一个产品这个城市里边有很多很多的商店被秘如猪网一样的路给连着他要选择一条路线去推销那我问你他选择什么样的路线推销是最优的
这个时候其实是很复杂的一个问题是很复杂它是可以被比较的随机我选择一条路线它可能走了 10 公里嘛那第二次我又是换了一种走法它可能走了 9 公里当然我会知道第二次比第一次更优嘛但是第二次就是最优的吗是不是还有一种情况它只需要走 8 公里呢不知道这就是人工智能神经网络它条有所面临的一个问题就很难就是太多可能了就是你可以比较这次下次和下一次之间哪一个更优嗯
但是你并不知道最优那个是在哪里就陷入了一种无数可能的那种无能为力的一种虚无感对就像狗熊掰棒子一样你到底是这个棒子掰了之后下一步还有没有棒子其实你不知道不知道我该扔还是该接着捏我捏着这个棒子我抱着它我不知道对你不知道可能在万事当中找到了一个非常优的解你觉得这样是好的
但是你的可能性有 10 亿次样本实在太小了尝试的连 1%都不到你不可能说我这 1 万次当中那最优的就是最好的但是你要把 10 亿次都尝试完吗那不可能啊所以就要找到一种方式就是反向传播的方式找到那个最优的解新顿说反向传播的价值和你的模型的复杂度成正比越复杂越有效对如果你有 10 亿个权重的网络那么反向传播的训练速度就是要比你愚蠢的那种计算方法要快 10 亿呗
反应传播其实就是将结果信息再返回的发送给网络让网络利用这些信息调整这个网络当中的认知说白了就是改善神经元之间的链接的权重让它合理化嘛
但是如何改善呢我们就需要一个正确的一个叫损失函数的东西损失函数用来做什么呢就是来衡量我这个模型与真实值之间的差距我想象当中它应该能识别出猫但是你每次识别不出来那么我们就要衡量这个模型和我想象当中的那个每次都能识别出猫的模型之间有多大的差距
就算出差距然后变成缩短差距对所以我需要一个损失函数来衡量你的模型和理想模型之间有差多远然后我缩小它明白一旦缩小到足够小它就能识别了就能识别了
你这么说还真是就跟小朋友他一开始没见过猫他第一次第二次第三次可能总是识别错一修正他后面可能就没问题了所以说让损失函数输出的值越来越小就是我的目标那我用的方法是一个叫梯度下降的
什么是梯度下降梯度就是一个向量表示一个函数在某一个点变化最快的方向和变化率我们计算出损失函数相对于每个参数的偏导值也就是计算在函数曲线上某一个点切线的斜率这个东西就叫梯度代表了函数在当前位置的最速下降方向然后我们沿着这个方向进一步的寻找下一个梯度就叫梯度下降换个能听懂的方法说一下
换一种说法就是有一个山谷你的目标就是找到这个山谷的谷底或者你在一片丘陵地带你不知道高高低低起起伏伏的对我需要让你找到最低那个位置那怎么办呢你就扔一个铁球那个铁球会顺着山坡往下滚嘛
滚到这个铁球不再移动的地方就是这个山的谷底了这个球为什么会往下滚因为这个球受到重力的作用它才会往下滚梯度下降这个算法本身就代替了重力去拽着这个损失函数接近正式值
就像铁球一样被重力不断地拽着往下滑而损失函数就相当于什么呢相当于重力势能你的山谷当中总有一个点是你小球的重力势能最小的点啊你的重力势能最小的点零了嘛那一定是最低的那个点嘛嗯
所以就是一个铁球的很高的地方被这个重力牵引着它不断地把自己的重力势能变小变小变小最后小到一定的程度最小的地方也就是说你的损失函数就最接近真实值的地方所谓的梯度的方向就是山坡的方向梯度的大小就代表了你山坡的陡峭程度
梯度越大证明山坡越陡滑落的速度就越快同等时间内移动的距离就越长当梯度越小的时候证明山坡越缓你的小球移动的就越慢怎么样判断你到谷底了呢它动的最慢的时候我们就认为它到了谷底了
模型其实上你是可以无限训练下去的损失函数它的变化速度变得非常非常慢的时候你可能之前训练一天它变化了很多现在训练一天它变化一点你没必要再训练了我们讲的就是反向传播的一个原理如何不用随机的那种傻方法而是用一种科学的方法尽快地把你的模型给调出来所以你会发现反向传播是什么反向传播就是学习能力模型是有学习能力的有自我学习能力的
就我走第一条路的时候我就学习到了一些然后我就再走第二条路再走第三条路之前所做的那些事情它不是白费的之前所做的那些事情其实上是会变成一种记忆一样的东西会影响到你这个网络后面的形成的
所以这是继续学习的一种方式可能有点难这个理念的感觉好像能感觉到一些了这个怎么虚啊它就是可以自我学习的所以说我想为什么诺贝尔物理学奖发给了星遁属于这个
滚铁球它也是物理现象对吧这是计算机系统里面的物理学对反向传播第一次应用其实是在 80 年代 80 年代末期那个时候星盾不是在那个卡内基梅隆吗在美国结了婚吗是吧对他们在卡内基梅隆做了个什么事呢做了一个自动驾驶这么早对当然卡川你看那个照片就知道谁叫汉马放了一个很大的一个摄像头汉马还是那个迷彩的一看就知道是谁掏的钱
这个又是国防部的人套的钱谢谢那个项目是陆军想做一个能在地面上行驶的自动驾驶的载具但是不需要有人是吧不需要有人别有用心没想到星盾参与做这个最早的时候不是星盾他们参与的坎丁金比隆的传统老教授经典人工智能的兄弟们在干的
对就那活儿那好处那个重点项目可能先落在他们头上伯鸿布重点项目有油水的那种边缘派肯定还搂不着这帮人给车上放上摄像机放上激光测距仪然后呢收集了那个信息之后比如说有了石头该怎么办对吧你要躲避嗯
然后遇到什么大树你该怎么办就像咱们去驾校一样就写了很多这样的规则教规写车里边了这个车能不能走呢能走这个车每小时可以以一公里的速度走他一直在算前面这东西是啥是吧
这算一算反应反应再输出一下再决策一下这是很累对比人走了还要慢我看就像是上驾校第一天背了一通教规哆哆嗦嗦不知道怎么开的感觉研究了很久就没有什么进展最后就搞不定了吗你找到了新的谁来找的老教授来找的还是学校来找的还是军方来找的我估计那个时候要教材
学校内部得想想这事怎么弄军方说有个好消息和坏消息你愿意听哪个好消息是有成果了可以走坏消息是走特别慢没走差不多好消息是我们还有人我们再可以找我们系其他人一块坏消息还是再等一阵吧没这么快
当时具体用星盾的反向传播的技术来操作的人他是一个博士生是个读一年级博士的一个叫迪安波默洛的人他用神经网络的方式重新写了代码就把原来代码全丢了原来那些人写的那一大堆乱七八糟一堆规则嘛全丢了然后起了个名字叫 LLVINN 就是神经网络的意思 Neural Network 嗯
对那现在我们有很多嘛 CNN RNN 这种算法 NN 嘛反正都是都是那个 NN 啊都是那个 N 对然后很快这辆车就可以独自在公园行驶了开始的时候每小时 15 公里的速度研究了两个月之后呢这个速度就达到了 90 公里每小时的速度在公路上可以开你说 80 年代对我们真的小看了我们以为自动驾驶是这 10 年 20 年的事呢
因为自动驾驶的普及它还有一个成本问题有可能用不起比如说一个雷达就要 10 万美金对吧然后一个摄像头就要 5 万美金处理那个计算器什么的又得多少钱对然后你这个车装起来可能比劳斯莱斯还要贵那和没有是一样的那可能就是军方用的坦克上面可以用于重点打击什么地区是吧对或者是在那个比如说被污染的环境里面对吧
对对对 火箭泄漏啊那什么的我都可以过去工作嘛对 当时就说这个车上还贴了一个牌子
就是美国的那些人也喜欢往车上贴那一盘比如说 baby in car 妈妈 in car 对别转我对然后他们写了一个 no bodyno body in car 没有人这是搞笑的吗真的贴的这是警告是吗这个项目是在 86 年左右开始但是对外公布已经是 89 年了中间只是秘密研发的但是在 87 年的时候星顿就离开了卡内基米隆搬到加拿大去了他对外的解释是因为里根政府的原因就是人工智能的钱大部分来自这个国防部高级扭局嘛
然后呢那里根政府呢又支持伊朗打击尼加拉瓜的社会主义政权跟他有什么关系他认为就是不合理的他怎么跟他老爹一样了哟所以辛顿就对于这个资金依赖于美国国防部不满我对金主爸爸是谁很在意对我很讨厌金主爸爸我不要你的钱然后他的妻子当时也希望他搬到加拿大去他媳妇说自己不想继续在美国生活于是他们就离开美国了这是辛顿对外的一个官方说法嘛
不过你从时间上看新顿离开美国的时间正好是日本第五代计算机项目失败的时间实际上是人工智能第二次寒冬到来的那个时间点也就是说当时肯定是遇到了很多研究上的困难比如说我想到了就是说国防部原来各种撒钱嘛
那这个时候有可能可能要成果钱就不拿得那么容易了不能说随心所欲地花我的钱比如说自动驾驶的这个项目它其实就是一个自动武器的研究嘛还真是而且这个可能杀伤力很大呀新动现在它还是反对自动武器的因为它把自动武器看成和麦哈顿计划是一样的之前我们是在那个核子战争的阴霾之下嘛
现在你会发现自动武器它也是非常可怕的一种是很可怕而且自动武器它更冷血有一个报告就是那些操控无人机的战斗人员他不是飞行员他们是坐在办公室里面你牵你直话也没事在发射导弹或者投射炸弹的过程当中下达攻击命令的那个人没有心理负担并没有觉得是让自己的士兵去杀人我就说就那个
那种成本感道德谴责感什么都很少那种感觉有种超乎我个人感受的那种恐怖感怎么回事好恐怖所以星顿就不和美国那个国家安全合作了然后他就他有一点他们家族的这个有点这个感觉他跟他姑啊什么的对吧他爸他们他去多伦多了加拿大没有美国那么有钱找不到这个科研经费他一度还非常沮丧 80 年代末他甚至和他的妻子说
当时我去伯克利就好了他气得说我愿意去伯克利啊他说不对啊你不是不想住在美国了吗他气得说伯克利又不在美国在加州加州有多不好像这次那个大选加州那个投给民主党那个票嘛那个寄票都不用寄票默认把加州就算到哈里斯头上了是而且辛顿在他 40 岁生日的时候
他说今天是我 40 岁生日我的职业生涯也到头了什么也做不成了再等等再过 30 年您就有图灵奖了再过 30 多年您就有诺奖了对当时杨立坤在场杨立坤说杨立坤也在加拿大呢在加拿大被他捞过去的嘛
他怎么了安慰一下是吧安慰一下星盾没有他就是听了听星盾觉得自己老了大脑没有那么灵活可能就不会再有新的发现了 40 岁学术生涯要拜拜了事实证明 40 岁以后才是起飞的时候 60 岁以后飞得更高你这别是给我们糊弄我们的成功学吧你这又是
这个是吧有志不在年高是吧像小丸子说的是吧只要活得久总有好事发生的你怎么跳到小丸子去了我们总是在介绍的过程中得出些奇奇怪怪的结论对就说到这个杨玉坤他怎么就跑到加拿大去了杨玉坤他是个法国人他的名真的是让我们老觉得像中国人是吧是坤格听起来像黑社会感觉
感觉就是马斯克星吧杨丽坤姓杨对 18 年的时候她和星顿还有那个约束亚本吉奥他们三个一起获得那个图灵奖对杨丽坤这个人还挺励志的她不是名校毕业的有时候她还会说我的存在就是证明普通大学也能出有水平的科学奖我就怕这种这种不容易辨别的这种成功学鸡汤你这又要迷惑我们呢
大部分都也不行好吗我们都在这沉沦着呢在法国特别有意思法国特别卷法国的大学分两种一种叫普通大学一种叫大学争点大学那种大学什么叫争点大学我没听懂普通大学叫 college 人家那个叫 great college 上这种大大学
你高中毕业上不了你得先有两年的预科你先得练练练完了之后再报考不叫不要报考吗你再申请就够格了才够资格
杨立坤这人呢就不想去念那个预格所以他就选择了一个比较普通的法国大学他一个我们的二本的感觉怎么回事反正那大大学可能就是像那 985 一样的是是是高端双一流是吧对厉害的也好找工作的对就在法国你想成为这个精英你就得去大大学嗯就萨特他们读的那些呗是吧对
有头有脸有名号的什么高等什么的法国什么巴黎高等什么学校什么的就那些吗对对对高等大学呢
那个杨林坤他拿到这个普通大学的学位了然后他就在那个巴黎继续学计算机读博士他在巴黎第六大学我第一次听说有这个大学我第一对可能第一大学是大大学第六大学就是属于小大学我不知道不算了解有了解的听友可以留言去跟我们介绍介绍对他这个第六大学他就对反向传播很感兴趣因为他看到一些论文那是八十年代了吧八十年代 83 年
然后当然法国那边能指导他的人也很少他就靠自学成才那主要看的论文还是很多还是日本人写的反正是欧美人写的不是特别多反正当时法国懂人工智能的人就特别少就是杨立坤当时有个朋友他是人工智能专家是一个女性朋友叫苏利叶福德尔曼他是在法国地府大学这个人后来还来过中国在天津大学还待过一段时间
这个女学者对然后杨玲昆就很看好她然后希望她来做杨玲昆的博士导师但是她没有资格因为她不是国家博士法国的博士也分成博士和大博士你说那个女学者她也没有指导资格对你是普通博士在法国称为第三阶段博士学位不是真正的博士真正的博士需要在国际学者对你认可也就是毕业那个博士就属于小博
还挺严谨的不好糊弄啊这个学位所以杨林坤只能是求助于当时实验室唯一一个有这个国家博士学位的一个老教授莫里斯米尔格朗这哥们他不是搞人工智能的但他能够有这个名义有这个资格能收博士生能收对挂名但是他研究又得去请教别的这些学者们交流啊什么对对对
这个人和杨立坤说我对神经网络一不所知没事您到时候给我学位证上盖个章就行对我一站你一站混的行了怎么这么尴尬借宝地一混感觉杨立坤是野生博士励志啊突然那个地方冒出来的一个什么武侠奇才那种感觉
85 年时候那时候他的博士生还没有毕业呢他才 25 岁很年轻对他就参加了一个法国人组织的研讨会在这个研讨会当中他有一个小的分享引起了谁的注意呢引起了和辛顿一起去研究布尔兹曼基的那哥们儿谢诺夫斯基的注意牵线的人在这呢谢诺夫斯基这个人就对他很感兴趣
发现在遥远的巴黎竟然还有个小伙子研究这个远远的星星啊对 搞这个实境网络真是没想到他觉得很新鲜他回国之后呢就把这个事和辛顿说了我上次参加野草会在法国看到一个孩子在研究这个反向传播这年的六月份的时候就法国举行了很大的一个人工智能的一个会嘛这个时候就请了辛顿去
作为嘉宾介绍布尔兹曼基演讲结束后呢因为星盾那个时候已经小有名气嘛很多人围着星盾据说有五十来个人围着杨立坤他也参加了他想和星盾说话他解不进去在外面在杨立坤眼中星盾算是大佬了学界大佬对学界大佬他这个领域没多少人吧我估计当时对
但是当时辛顿在那个与会者的那个名单里面就是谁谁谁做一些报告的那个名单里面看到了杨立坤的名字哦他也知道这人肯定也在啊也在他就问边上的人你认识一个叫杨立坤的吗杨立坤就喊我在这呢我就是杨立坤我在最外面挤不进来呢我太胖了好吧然后辛顿就邀请他去参加在卡内基米隆大学举办的关于那个连接主义模型的暑假培训班哦
这不就学术交流起来了吗从那个时候杨林坤就属于上道了领上了道有人了找到了组织在法国很孤单对
然后杨仁坤就带着这个法国红酒什么的就去了是吗真的是杨仁坤的书里写的他写的是在那个晚宴的时候他还拿出了从法国带来的这个红酒和大家一起分享家乡的美味对老家没别的就这些美国人也没啥好东西对然后辛顿和他说他马上就要离开卡内基密隆了要去多伦多你是否愿意做一年的这个客座研究员也去加拿大也去加拿大嗯
杨林坤那好事就答应了决定要去但是在此之前呢杨林坤先完成他那个博士论文然后他就请星顿做他的评审职业他博到还是那个不是他本行的那个法国那个博士评定也很有意思你可以请外国专家的哦
只要是学界公认的人是是是你请来就行也不用是法国这几个哥们法国肯定有人啊但是外面再请两位所以新顿算是也是指导的吗评审指导吗评审指导嘛所以我当时有想嘛这就和那个咱们那个科举一样对吧你要考举人当时那个主口官给你那个月卷判分的那个主口官将来就是你的老师了嘛你是他的萌生嘛嗯
所以从这个角度来看一个新顿也是杨丽坤的老师算后来这个杨丽坤就去加拿大了然后在加拿大还遇到了那个约束亚本基奥然后他推荐本基奥去贝尔实验室他们三个就凑在一起了组团了就组团了说到这个很有意思就是他参加大会的时候贝尔实验室的负责人也在参加大会也注意到杨丽坤了所以要去挖他到贝尔实验室来工作
给他的条件是你不用在多伦多大学和别人共享计算机了我给你一台独享的性能非常强大的计算机老杨就背叛了行动跑了也不能叫背叛吧我力谋高就然后杨立坤在贝尔实验室就开发出来他的最著名的 Learnet 卷积神经网络模型可以识别手写的阿拉伯数字
哦所以你跟我分享那一段他那个演示他怎么样能够电脑能识别那个数字嘛就那是成果成果之一对他是贝尔实验室那是可以放链接放到最后大家可以看一看很开心很自豪的展示他那个很高级的他那个就是解决了两个问题呢就是很多人会想到他就解决了这个手写识别的问题因为贝尔实验室也从美国邮政机构嘛他收集了大概一万张那个手写的数字那个图像嘛用来训练他那个卷积时间网络的模型嘛嗯
很多人只觉得梁明坤解决了手写字体的事变其实上梁明坤还解决了很重要的问题就是目标检测所谓的目标检测就是当时并不是把只含有这个字的这一小块图片给到计算机了现实世界当中这些字是写在明信片上面哦
写在信封上面的对吧首先你不知道它写在哪计算机第一件事要知道字在哪首先要目标检测你不可能定死就是就到左上角找吧人家写在右下角了你知道在哪吗或者有的人他屎话都写在格格外面呢不一定在格里面对所以识别之前首先要知道在哪所以杨林昆那个时候在贝尔实验室还做了一个功能就是人脸识别也是杨林昆最早做的弹幕哇
有摄像头拍过来然后几个人的脑袋就像现在咱们相机那个它现在对焦人了吗对叫目标检测盯着你的脑袋它对贝尔实验室做出的一个成果肯定就被用到了商业上面首先就是美国的邮政局在用做这个检测节省人力美国电话电报公司的人不可能就是光赚邮政局的钱接下来就搞了赌这个支票上金额的钱真是给银行干
多好呀对一级大买卖就整个 20 世纪 90 年代它这套系统大概读取了美国所发行的支票的 20%它这个东西叫选期神经网络它有好几次迭代就是用到这个支票上的这个迭代已经是 LeNet5 了 LeNet5 第五代对它第一代是识别手写的那个时候已经很准了那个时候的错误率只有 1.7%了
然后这个卷积神经网络我们可以简单说一下杨立坤一开始的这个 LearnNet1 是一个非常典型的深度学习的一个模型但是它的层面非常少所以就比较好理解它一共有六个层就是刚才我们讲的有线不二自卖机是两个层第一个是输入层然后是一个卷积层一个池化层一个卷积层一个池化层一个输出层
然后当然输入层就是把图片弄进来嘛输出层就是我告诉你上面写的是几嘛最重要的是中间那四个层嘛卷积层和池化层嘛什么叫卷积池化层可以讲一下吗对 卷积就是如果我想识别一个图片上面是什么我得看它对吧怎么看卷积的做法就是相当于有一个放大镜以很细致的方式去扫描这个整个图片一小块一小块一小块的看我每看一块我就把它画下来我再看第二块我再画一点
我再看第三块我再画一点当我把整个图片都看完的时候我就得到了另外一幅我自己画的图片我理解的图片这就叫卷积有了新图片之后就是持画所谓的持画就是压缩图片我把我自己画好的图片给它缩小掉抛弃掉不要的细节我把它简化掉这样的话能减少我的计算量说到杨立坤的模型来讲就做了两次卷积了两次持画了两次最后就能分辨出来到底写了一个什么样的字
其实就相当于是让计算机来找特征对计算机来讲如何才能分辨出这个图片是几实际上和人类是很相似的比如说一个 9 或者一个 6 你可能写得很潦草你也知道它是 9 也知道它是 6 它一定是有一些隐秘的特征在里面的通过我的卷积层和磁化层之间的神经链接调整不同的权重最后把这个找特征的能力固化到了我的模型里面
你再有新的图片进来之后我就能很准确的输出这个图片是什么听起来好像还是跟我们人差不多啊不同形状都没关系嘛最后我反正都知道这个样大概也就是肯定是这个数字但是就是你这个步骤里面让计算机学会不容易啊
就像眼睛看到了可能在视网膜这些神经上面成像是吧成像已经处理了可能变成一些电信号或者一些信号到了你大脑皮层的一个区域这些信息可能又到了另外一个区域最终你理解了我看到是一个抽象的阿拉伯数字概念 6 而不是一个图像 6 就像一个孩子一样如果你不告诉他阿拉伯数字你不告诉他这个数学抽象概念他其实看到 6 或者 7 它只是一个形状只是个形状像一个图片一样对
线团团那种感觉对所以你要解决的问题是抽象概念和你实际的图像之间如何去思考如果是按照以前就早先那种符号派的话它相当于是死记的那种感觉我可能都不知道 6 是什么意思我只知道这个 6 对应了那个里面那个 6 把它两个对上而已可能我本身也不一定懂那个 6 的意义或者是长这样的是 6 歪了一点我就觉得不对头歪了就可能就不是 6 了不是我的问题是你写的太歪的问题好吧这叫什么六层是吧对它是一个六层的一个森林网络
现在我们的大模型肯定比这个多几十层都有我们这个图都贴起来大家也可以去看一下对那个时候虽然杨立坤他们这些东西也商用了但是还是处于那个寒冬也就是说还是八十年代所以他在美国电话电报公司干了一段时间也没干了后面干不下去投了纽约大学去了很多人还是不太习惯于他们这套玩法的其实我觉得当时的瓶颈就是出现在算力和数据上面嘛
80 年代末尤其是杨立坤他的 demo 已经很好地展示了深度学习的前景了但是那个时候没有算力那时候计算机的运算的效率还很低
电脑也跑不了那么多那个时候的数据也很少杨立坤这个模型他只是识别数字有几万个图片就可以了但是你在识别别的你几万个显然是不够的没错你每个类别咱李飞飞那期也聊过那是大量的训练的素材为什么符号主义在那么长时间内统治了人工智能的研究吗
其实也是因为环境的限制嘛对吧就是计算机只能去做那些逻辑的运算再多的运算高强度的运算你做不了做不了而且那个数据集也没有那时候网络互联网什么的都没有还没那么发达呀对大家的数据都没有传上去啊对所以这些东西你都没有你只能去选择逻辑的这种方式去做研究嘛实际上是一种妥协是妥协嗯
但不能把妥协当真理当唯一妥协妥协了就变成唯一了就只能这么干就永远都得如此可能第一个妥协的人知道咋回事了他的徒子徒孙可能就觉得这老师傅去干的老祖宗的道路必须坚持走下去对谁反对我就向他打我的脸我第一个跳出来所以那个时候因为这个数据和算力限制的原因人工智能并没有一个爆发
在 98 年的时候星顿离开了多伦多他去了英国怎么又跑英国去了 94 年的时候他第二任妻子过世了然后他遇到了他的第三任妻子其实不叫遇到了叫重逢了星顿在博士毕业之后和他第三任妻子有约会过一年在当年就没走在一起了
喊动了之后行动也没有工作只能到美国谋生了就分开了这个时候他们又取得联系了因为他所以呢他和这个第三任妻子结婚之后他就回到了英国生活还挺丰富的就是这个人生经历好多波折呀有他的戏剧性去了伦敦大学他在伦敦大学建立了一个叫盖茨比计算神经科学中心的一个研究院
还是有点江湖地位了对对对和那个了不起的盖茨比没啥关系这个盖茨比计算神经科学中心出了很多牛人厉害的科学家像孵化器一样星顿待了三年 01 年的时候又回到多伦多了这里边出了一个非常有名的一个人戴米斯·哈萨比斯就是 DeepMind 的创始人就是 2014 年开发 AlphaGo 的那个团队哦
就在这几个大本营里面呗感觉好像天下武功出少林不是出这个少林就是出那个传差不多吧对对对就是 AlphaGo 它在 2016 年的时候 4 比 1 击败了韩国的顶级职业选手李士实嘛嗯
你确实哭了这几个围棋的男棋手都是哭对因为当时很多人认为就是计算机是很难突破围棋的因为大家所有的思想还停留在深蓝的那个时代但是你不记得我们最早上学的时候深蓝很牛你记得吗对科本里都有吗然后阿尔法狗都是很后来
我们成年以后才出现对但是深蓝和阿若狗完全不一样的东西不是一套不是一套逻辑就是深蓝的问题就是一台机器因为用深蓝的那个技术是没法下围棋的因为它会遇到组合爆炸的这个问题是不能穷尽不能穷尽因为国际象棋上面深蓝是可以拿冠军的是因为国际象棋的变化并没有那么多它的棋子这个棋盖棋盘就少对
就是国际象棋和围棋它的复杂度差多少呢差 10 的 100 多次方倍一后边有 100 多个零这么多倍所以说如果你想用
用深蓝的方式去打败围棋选手你需要那么多台深蓝机器复杂度太高了深蓝它是属于蛮力下棋的电脑写这个程序的人是个台湾人叫许峰雄很像台湾人的名对 台湾人他做了一个项目叫 Chap Test
它实际上是一个硬件的东西就相当于是一个外挂并不是说是一套象棋软件它实际上是一个硬件它可以挂载在那个丧服器上每秒钟可以搜索 5 万步你说它专门有这么一个硬件可以挂在电脑里面专门像象棋的这个就专门陪着你下棋对帮你下棋和你下棋它就相当于最早最早最早的 AI 下棋手一种感觉因为卖象棋软件是可以赚钱的
第一款销量达到 5 万份的计算机软件就是一款国际相机软件当时都没有咱们想象中的电脑的屏幕什么都没有就是一块板子就和咱们现在的树莓派什么那块电路板在那个板子上面那个板子上面有一个很小的一个数字显示的一个显示屏通过这些数字的代码来
来告诉你怎么下我知道它可以的就是国际象棋是它有横线和竖线方位位置可以英文数字可以代表你这一路第几格它只能显示这个位置就跟坐标轴一样它没有棋盘你自己背你不是加了有棋吗我懂了就是我跟这个人下棋这个人只有一个小显示屏他说他这个下在第二航线的第三个格然后我就想想我就替他下好了我想想我怎么跟他对是吧对是这样的对
好神奇啊那也挺火的但是后面还有升级版就是一个很大的一个盒子上面有孔这个时候你那个象棋它是可以插到那个孔里面去的那每个孔有个传感器你电脑就知道你瞎哪了
咱们小霸王表演的那个机器上不是有老头下象棋那老头有有有那老头可慢了那老头是包括现在你去一些什么下围棋的网站上面他也有 AI 给你下棋的这种功能吗对对对挺多人喜欢那么下的最早的他就搞了这个 chap test 在北美的国际象棋赛当中就展露头角下得很不错所以就得到了一些资助那个时候不叫深蓝叫深思叫深思叫 deep thought 花了一万美金请当时世界排名第一的卡斯帕罗夫和他下嘛
当然吓不过人类失败了 2 比 0 输了不过 IBM 就看好好你这个很有潜力风口啊对对赶快招募过来招募过来拖掉点钱去是名字也不叫生丝了吗因为 IBM 不是蓝色巨人吗所以改名叫深蓝嗯
把这个音量又升级了一些在 1997 年时候就两胜三平一负的成绩就战胜了卡斯帕洛夫机器人第一次在国际相机当中战胜了最好的棋手当时深蓝每秒钟可以计算两亿步那这个是什么概念就是 1990 年的时候一台普通电脑每秒钟只能算一万步它就相当于两万台普通电脑它好厉害啊
他专职就干这个专门下去别的不会后来这个许雄峰还加入了微软亚洲研究院在北京工作过当时他对这个蛮力计算非常有信心他说通过蛮力计算已经在国际象棋上证明这个领域会让人类黯然失色他预计 2007 年的时候计算机下围棋就可以战胜人类很乐观显然没有他
那条方向那个思路永远都不能显然他又爬到了树枝上打穿上月球了这得到给人一些信心但是深蓝和但是深蓝和阿尔法高和不一样它只是一台下棋的机器首先它只会下向棋它下一万次棋它也是重新开一局
就是和你下一万次棋和下一次棋是一样的这水平是一样的结果可能是差不多的都是重开一局对结果都是差不多都是重开一局他是不可能把之前下的棋局记下来的除非那个成员拍下来又给他重新写成局如果按人来说这就是最蠢的那种人就最蠢的聪明人就是他每次好像都能很厉害但是没有一次是长记性的就我们俗话说这人不长记性就他每次都吃同样的亏下一次走到那里还跌到那个坑里你就觉得这个人怎么那么
他就不能学习一下吗吸取一下经验教训吗对啊容易卡 bug 很容易卡而且卡的还一模一样对啊我在小时候在那个 FC 上红白机上去玩那个象棋我就有时候找到一个套路你那么走每次都能赢啊我去他就不懂但是你 alpha go 就不一样了你赢了之后下次你这么走就不行是他早就把这个漏洞给捡到他把你堵住而且很可怕的是他可能把你那些招全学坏了对所以 alpha zero 嘛
就是用 28 天的时间训练出来的嘛就是相当于是我就写了个程序他不会下围棋我就把围棋的规则告诉了阿尔法购嗯然后我生成了无数的实力让他自我对弈就是阿尔法购和阿尔法购下嗯
训练了 28 天说白了现在我组织了 1 万个人每个人都教会他下围棋的基本规律让他们几个人下下完之后谁赢了谁输了总结无数次的总结对其实也就总结 28 天但是在那个世界里面总结了无数次我感觉就是前面下了三五天的时候已经是很高段位了总结出来
对然后高段位再更高段位的自己就在那下所以到了 28 天之后迭代到无法想象的可怕的那种能力对αzero 到那个时候吓所有的下棋的人轻松表沙 2017 年 5 月 23 号到 27 号的时候在乌镇有一个围棋会那个时候是αgo 他以 3 比 0 击败了科杰科杰就哭了对名场面中国围棋院还授予αgo 九段谢谢您授予嘿
后边还和五人同时下当时是鼓励联校十月这样的九段就五个九段你们商量我一个人和你们五人下你说五个人作为一个战队一样呢作为派一个人挪子就行但他们五个人的智力合在一起来对付阿发好
当然他们失败了肯定失败呀这不是你你五百五万个人也没用了呀对对对 AlphaGo 它的计算推理能力其实上是很弱的它只能推理多少步呢它只能推理八万步你要是觉得八万步已经很多了对吧但是你会想围棋棋盘有多大作为比较来讲嘛深蓝的推理能力嗯
有两亿部 8 万跟两亿从这个维度来看很厉害深蓝更像一个计算力非常强大的机器人一个 alpha zero 或者 alpha go 更像一个学生像人一样就是真的学会了围棋并且跟着感觉走我知道往哪儿向不像深蓝深蓝它内置了几十万个棋谱比如说开局它是不需要计算的我就走棋谱就行了
然后残局的时候你剩几个字了一组七谱也可以了如果对应上的话然后呢中局的时候我的算力达到有两亿步了然后我可以通过硬算的方式穷举的方式我把所有的可能性都穷举完了的方式然后来去计算到底走哪一步更合理而且最最最重要的是深蓝只会下起其实 AlphaGo 不是的 AlphaGo 是一个通用模型它不只会下起
他可以干别的他可以做医疗诊断他可以做自动驾驶他可以做很多事情他是一个学习系统他不是一个围棋系统他聪明得很这脑袋干啥都可以只不过是我先让这个兄弟下个围棋试试嘛围棋这大家能立刻 get 到吗你这什么水平对吧现在很多象棋手不是很烦吗
就是两个人对弈不管你是个电脑下还是两个骑手下直播的时候什么的总有一个人工智能的软件来评判双方胜率对啊现在就是这样的你现在去任何一个免费的下围棋的软件网站里面就是这样的很可怕然后那个人也很烦那个人他说这个胜率可能还有 80%人家下错了一手一下掉到 20%了瞬间就不想再继续下了好像被判了一个命运
而且就不知道为啥我生思熟虑了五分钟人家早算了多少万步了感觉上很挫败
说了下棋之后我们再说回到新顿时间回到 2000 年左右那个时候依然新顿他们还在冷板凳上待着 2000 年的时候神经网络这帮人发个论文都很困难我觉得新顿这冷板凳多少年了 20 30 年了就连新顿这样的人因为当时已经很有名了没错他毕竟发了那些论文对他的论文都会被毙掉还算有江湖地位吗我很怀疑
就是微弱的一点江湖地位他曾经把一篇论文提交给很有名的一个会议他就后面在那个会议上面把自己的公司出售掉的就是很有名的会议神经信息处理系统会议提
提交了一篇论文其实这个会议的初衷就是研究生物神经网络和人工神经网络听起来应该是和星顿他们非常切合没错呀是一回事啊对但是当时的主持者已经转向成其他的机器学习方式就是星顿提交的神经网络的论文竟然被毙掉了他们不看好对然后人家告诉的理由是说我们已经接收了一篇关于神经网络的论文了两篇太多了就是开会的时候有一个人讲就行了就是
这派没啥新意啊没啥没啥希望对不要占用太多时间另外那些主流的新冒出来的可能三五篇的就咔咔讲没事重复讲也没事重复讲没事所以那个时候只要论文里面带神经两个字的就不行就很不被看好以至于杨立坤这小子为了发论文他把自己的卷积神经网络都改成卷积网络了神经两个字有毒啊山啊嗯
我要是星顿老师的话我就是吧我把这名全改了一定要给自己留条活路对啊真的改了后面星顿发明了一个词深度学习在 2007 年 60 岁生日的时候他提出来的这个词这么新啊这个名是他取的对
其实是一回事但感觉更高端了就跟当年发明了那个 AI 的感觉是吧人工智能忽然就高端了所以这个科学界也需要人应习好相当于是给这个神经网络换了一个品牌神经网络这尘不行了不新鲜了让我想到了那个春节联欢晚会上马记那个相声我们生产的宇宙盘香烟嗯
特别不好抽这牌子已经不行了没事我换了一个牌子美女牌我也是觉得深度学习你就觉得是吧这就另外一个赛道了感觉你原来都不行太浅对心动还吐槽别人说你们都是浅度学习好好好
吐槽的对蹲在寒窑里面蹲了三十年了我必须要出头了对他真的是把这个名字改成深度学习之后 deep learning 之后这个机会就多起来了风水变了风水就变了改了风水时来运转感觉那么的荒诞呢在 08 年的时候咱们要进入爽文阶段了对
08 年的时候呢就是微软有一个叫邓丽的人后面成为了微软首席人工智能科学家他当时在微软待了很长时间了微软要做个什么事呢要做一个语音识别的事要做语音记录就像现在你对着这个手机说话的时候会打出字来是微软是做 office 的做这些的都对这个会议记录很感兴趣他想去做这个事有的市场
有的是钱赚但是干了十年毫无进展啊你说 08 年那话已经干了十年了对就九年才开始干了是然后这个邓丽那个人在有一次会议上她就和星盾去聊关于人工智能的事嘛然后呢星盾告诉她用深度学习的方法搞定你的语音识别是更好的你原来那些东西就没啥用就骗了得了嗯
嗯他就不相信他们这么多人几百人都没有搞定了我毕竟拿人拿钱砸了呀要退休的老头和我说你们白干你们于是他就说那你既然你说可以嘛对不对那你要证明自己可以嘛相当于是如果你做得好的话我们可以合作这样的嗯嗯
然后星盾其实是非常想去推广他的那个深度学习的所以他觉得微软的这个项目是一个机会嘛是你这要是干出来这不是就能够彻底打开吗对星盾就拿了三个小时的口语词汇的
相当于我们一期播客的时间是用深度学习做了训练得到的结果的准确率和邓丽她们干了十年的差不多我只用三个小时的素材去训练她自己那模型对训练完了得到的这个结果和邓丽她们干了好几年的这个结果她准确率差不多以前星盾她们没有拿数据来训练语音识别有这个需求就训练她这是很聪明的模型马上就能学出来然后这帮人惊呆了然后他觉得星盾她们在作弊
要求查看他们的测试的这个原始数据最后不得不相信了然后这个邓丽就邀请星盾来美国来西雅图和他一起来研究这个育婴试验简直是神迹啊不小心遇到了大腿老神仙全世界无法想象的科技先进啊但是去西雅图很麻烦的星盾
60 多岁的辛顿怎么就不能弯腰了他 20 岁就不能弯了他 20 岁的时候帮他妈搬东西辛顿你帮我搬一下那些箱子什么的
巴黎山扭了腰了扭了之后就有个老伤就是他不能坐着坐着的话就会造成这个腰椎脱位就剧痛的就是可能一两个月好不了所以他就不敢坐着坐着就很危险所以新顿说我每天除了上厕所不得不坐一下之外我一般是不会坐的那他怎么弄站着他在多伦多给学生上课的时候他躺着真的
真的吗真的我怎么想象不出来那他站因为站着很累啊站着也很累对但是参加活动了什么他是站着的拍照片什么咱得站着吧你看他参加领奖或者是那个一些访谈节目有一次和李飞飞的那个访谈节目的时候你会发现别人都坐着他就站着他基本上是在站着的
总不能躺着吧其实他更愿意选择躺着他去哪都是走路去的因为他没法坐着他就没法去坐出租车还真是出租车也不好躺啊他也坐不了飞机买个最贵的那个舱位也没那么躺得那么平不费你坐阿联酋航空那个豪华的那个可能几万米金那个彻底躺下
对里边可能有套房飞机所以呢去西雅图是很麻烦的他在多伦多去西雅图西雅图是美国的东边然后再横穿美国到西雅图他要是在温哥华就好办了温哥华的话那就直接就靠一个方向吗挨着呢但是他在多伦多离西雅图是很远的所以他决定坐火车去因为火车是可以卧铺
坐火车的话也要先去火车站选择坐公交去火车站因为公交那个后边有一排嘛他早早的去公交车站他可以躺在后边假装睡着了你老爷子躺在那公交车最后一排花白的头发对然后他说在加拿大这招非常好使但是到了美国就不行了在美国当我躺在后座假装睡着的时候竟然有个家伙过来踢我不是他怎么
他怎么到美国也坐公交车很郁闷主持方就不能派一个特别的车吗让他躺着去反正到了微软之后还遇到一些麻烦微软那边挺有意思的就是你要一起工作你要登录这个微软的员工的内网你要访问微软的信息你需要是用他的那个员工的内部网络内部网络对吧哎
但是你想登录这个员工内部网络呢就需要密码但是你想得到这个密码的话呢需要给微软内部的一个电话打电话但是你想打通电话的时候你需要密码啊这么环环相扣都是个死循环呢这是对然后登例只能就带着星盾到前台去找一个临时密码哎这是我们的来宾对不对然后前台的人就问星盾你是要待一天吗星盾说我要待好几天嗯
他说待好几天不能给你啊你这是老爷子容易吗这腰椎都那样了这遇到这种很怪要是很生气是新顿自己吐槽的吗后来对很生气当然肯定是搞定了嘛本来请来的大哥这么搞定尊贵的什么科学家还有个令新顿很生气的是新顿写代码写的可慢了因为他并不擅长写代码
人家好歹真的 60 多岁了辛顿甚至于输那个电脑信息的时候是用两根手指头的经典打字法对输得很慢但是据说他的代码写得很优雅的慢慢的写很好看以至于这个邓丽受不了了受不了给辛顿的电脑上接了个键盘辛顿打的时候他也在打比如说你想打一个单词你实在打得太慢他帮你打出来你说一台电脑连两个键盘对
然后辛顿很生气辛顿说就是我们讨论问题的时候你可以随时打断我但是我携带码的时候你就不要打了我这俩指头挺认真挺专心的打的当时辛顿就是力劝邓丽说你应该用 GPU 来训练你的模型突然冒出来了 GPU 一交对 GPU 不太了解的可以听我们的黄仁勋的节目
是那两期讲得挺明白的对对对然后告诉邓丽说你不要到楼下商店去买那种廉价货训练模型一次可能需要几天那些东西很容易烧毁的是你等不起对吧时间太费时间了然后邓丽和她的上司去申请显卡当时为了人认为显卡是用来打游戏的这又没啥用吧怎么这么
这么官僚啊非不信任人家科学家的判断星顿说我们都是买了几块的我们买了三块的一块一万美金黄润勋研发出来的这不便宜啊其实星顿之前和黄润勋还企图免费要过显卡还给英伟达发过邮件就是咱们应该在黄润勋那期也提过也提到过这个趣闻吧真事啊是真事我是多伦多大学的杰弗瑞·星顿博士嗯
我很看好你那么几匹油我用它来做人工智能的计算能不能免费给我一块然后他得到了一个回复 No 星盾是谁不认识未来的诺贝尔奖获得者这时光也不能穿越回去要我说英伟达的股票全靠星盾教授的抬举把你那个 H100 什么的给我拿几块所以当时微软也比较早 09 年是吧 09 年比较早微软也意识不到
对后来辛顿就回到加拿大去了因为他不可能很长时间在西雅图然后他派了一个学生继续帮助邓丽几个月之后微软的语音识别就超过了过去若干年的研发然后以至于邓丽说辛顿是个天才是超乎想象的这种对
是不是也就说明之前花钱雇的那些人钱都白花了不是你们自己选择雇的吗你早选择白发工资没有那十来年的痛苦怎么能想到逼不得已去请教一位加拿大的老爷子呢随着微软这个项目的成功就出名了所以谷歌和 IBM 都主动联系邢顿都盯上他了对派学生去自己公司里去
挺有意思的就是新东海派了一个叫贾特利的学生去谷歌这个贾特利就要求谷歌给他准备一台有 GPU 的电脑因为那时候谷歌都用远程的方式去使用计算资源所以这个人办公在加拿大的门特利尔然后这台电脑放在谷歌的总部在加州本来这个人是不用去美国的但是还是去了一趟为啥呢是去加州把这台 GPU 开机
为什么需要本人因为那些机器在角落里放着没人管然后谷歌的人还问我们在谷歌的数据中心上有成千上万的电脑不过每个人都在数据中心运行自己的软件你为什么要专门用这么一台电脑呢
然后他说因为那些电脑上都没有 GPU 你们不是都看不上吗那我们不装那能玩游戏的东西啊然后这个贾森利在谷歌做一件事情就是去识别 YouTube 上面那些语音然后把它识别成文字嘛然后之前谷歌的错误率是 23%然后用他的方法两周之后就把错误率降到了 18%然后谷歌又发现我之前又白养了一批人高达进步了吧谷歌的人从来没有想过一个实习生做的东西性能会超越谷歌的人做的东西
谷歌人很自负的当年是不过谷歌马上就要迎来他们的最老实习生了在 2011 年的时候就是谷歌就成立了一个叫谷歌大脑的一个项目是由谷歌的技术专家杰弗迪恩和斯坦福大学的教授温达一起做的对咱们刚才也提到了温达嘛他是鲁美尔哈特土地的土地嘛图孙
图森对就是一起搞了这么一个项目文达是神经网络的科学专家他和谷歌合作是因为谷歌有很多的计算资源他在谷歌上做了一个通过分析 YouTube 的视频来让程序学会如何识别只猫的一个项目真的识别猫对真的识别猫他用了 16000 多块 CPU 当时他们还没想到用 GPU 当这个项目成功了之后文达就跑了他就离开了谷歌跑去创业了
他开了一个网站嘛做了一个项目叫 Cassero 其中是一个目课的就是那些专家在上面讲课嘛目课咱们中国会一段时间嘛最著名的那个课程就是文达那个课程嘛文达讲机器学习那个课程他讲的还挺细致挺有意思的
那走的时候呢文达就推荐接班人谁来接替他作为这个人工智能科学家嘛文达就推荐了星盾拜拜我跑了我去赚钱去了这老头给你们顶一下了于是谷歌在 2012 年春天的时候就找星盾然后希望星盾加入谷歌
但是辛顿当时对离开大学并不感兴趣他觉得像帮助微软一样去谷歌干一个暑假就可以了放假之后不讲课我在谷歌帮你们看看吧但是谷歌的招聘规则非常的特殊如果你暑假来的话呢又不是入职你只能以这个实习生的名义来可不是吗大二大三的是吧读研究生的我过来实习一下两个月走人所以辛顿变成了谷歌最老的实习生哈哈
应该是级别最高的实习生吧 64 岁的实习生将来会获诺贝尔奖的实习生然后新顿到了谷歌之后呢人家还有一个迎新的 party 统一迎新是吧统一迎新这个年度的暑假实习生都来了啊对然后来了几十个大学生真的是陆续大学生对然后新顿当时这么说的说我看起来就像一个怪人对
然后那帮人说你是干啥的很生气但是他发现旁边还有一些西装革履的人也一起来入职了这些人看起来不像实习生他问问那些人你们是干啥的然后那些人说我们是自己开了公司刚刚被谷歌收购的我们来谷歌当高管来了然后心动想还是做一个公司被谷歌收购比较好比当时医生强多了
所以他后面真的做了一个公司怎么这么好笑我觉得他可能原来野心也不大就是给你们咨询咨询就算了给点咨询费是吧专家费真的是要钱的因为是那个那肯定得要啊有账目的是我感觉个人去也不好算账啊是吧对那当时那年夏天新东的谷歌没有取得什么成绩因为谷歌的人拒绝购买 GPU 真的假的对一两年我觉得不是已经快那个那个李飞飞组织的网络大赛那一个对
因为谷歌运算中心的人认为如果买了 GPU 会增加他们的工作量机房的人我管这么多 CPU 的机器已经很忙了然后我管 GPU 的机器它可能和我原来的工作体系又不一样然后我还要加人是吗我还要加能去协调 GPU 算力的专家吗等等等就 CPU 就干不了嘛对吧
按照原来的思维无法理解但是机房人不管我是管机房人的我是机房人我是运算中心的老大我觉得没有太大必要你没有什么特别能说服我的我这个部门就拒绝支持你这是大公司兵所以你没有得到支持你刚才说没什么成果的时候我想说那不可能吧新顿老爷子算法杠杠的而且新顿希望他们去做一些图片的标记素材啊素材的标记他们也不想做
因为他们觉得没必要好累对这是没啥用就是你用这个非监督的方式弄就完了嗯但是新东西认为很多时候你用人标记数据的准确率会大大提高的嗯
总之时间又短嘛所以当时在谷歌其实那年没有特别多的收获吧缺这缺那的那怎么干活但是 2012 年这一年秋季的时候就有一件大事嘛哎大事大事对就是 Alex Knight 的发布有一名惊人忽然神经网络和这个深度学习就名声大噪我感觉是炸翻了这个对
就研究界昭为田舍郎目登天子堂真的是这样的能走 20 年就好了可惜我垂垂老也还不能做幸好我有培养年轻人对 真是年轻人对 就是
Alex Knight 这个项目它是基于李飞飞的项目咱们在李飞飞那期也讲过了也讲过但可能没有特别展开对所以我们就用一两句话先介绍一下李飞飞这个项目李飞飞他也很有名他出生在北京后面 80 年代移居到美国 1971 年出生的吧 76 年 1976 年出生对然后
他加入斯坦福大学之后他看到了人工智能的发展他当时就敏锐地感觉到人工智能就需要很好的算法和大量的训练过的样本还有很好的算力所以他就把注意力集中在了这个样本上面所以他发起了一个叫 Image Night 的项目然后标注了大约有 1500 万张图片和 22000 个类别
做了一个很大的数据模型是他为了推广这个数据模型他举行了一个比赛就 Invisnight 的比赛就是图像识别的比赛为了方便所以他用了这个样本的十分之一一千个类别的大约 120 万张图片给到这个比赛者你们可以用来训练自己的模型然后最后来提交一个结果一千五百多万张图片是一个什么概念呢就是星盾当年他们在加拿大也做了一个数据集必须得有要不怎么训练自己的模型对
叫 C 发杠石有十个分类六万张图片是不是也是拼老命拼出来的对已经很累了因为我们在李飞飞那一期讲过就是那个数据集特别的不好弄你每张都得打标签巨大的人力才能投入这个比赛从 2010 年开始已经办了两届了前两届的冠军的错误率啊
就分别是 28.2 和 25.7 进步不大进步不大嘛基本上就四分之一是分辨错误的嘛有一些业内也没有什么风浪辛顿和他的两个学生参加的是第三届的这个 IMIT 比赛一下就把准确率提高了 10%他们的错误率只有 15%所以那个时候就一下就名声大噪因为其他的那些算法没有什么优化空间然后我们才发现深度学习的这个
是一个非常好的一个方向是这个项目是星顿带着两个学生做的这两个学生呢一个叫萨斯科维尔一个叫克里泽夫斯基这个名有没有熟悉感吧斯基什么托拉斯基的对这两个人都出生在苏联当年的苏联那个时候已经不是苏联了就要移民了嘛对他们很小就离开苏联了嗯
这个网络的名字叫 Alex 他其实上是用那个克里泽夫斯基的名字来命名的就拿其中一个男学生的名字吗对这两个都男学生吗对男学生但是呢这个主意是另外一个学生提出来的就是萨斯科威尔这一兄弟提出来的他最有名的是 OpenAI 的联合创始人没错对咱后来能看到他经常出现啊其实后来就对嗯
OpenAI 的首席科学家是不过在去年 OpenAI 内斗的时候他解雇了那个萨姆·阿尔特曼后来在微软支持下那个萨姆·阿尔特曼又重返 OpenAI 他就辞去那个董事会的职务了他被挤出去了对萨斯科威尔成为新敦的学生还挺有意思的那个时候他在多伦多大学读本科了他直接就跑去找新敦了他说我想加入你的实验室新敦说我们一个本科生来找我吗就说行我们约个时间聊一聊吧还挺客气我说你不够
然后萨斯科威尔说那要不就现在吧然后辛顿就给了他一篇反向传播的论文的复印件给他说你把这个先读一读读明白了找我来聊一聊几天之后这人就回来了找辛顿说我有点不明白辛顿看了有点失望这是最基本的微积分你没看懂你这个本格读得不行那都不是我微积分不会
我是在想啊你为啥不用求导书的方式优化一个模型呢发现了一些可改进空间啊对 星顿当时就想用导书的方式优化模型是我花了五年时间才想到的而这个小子回去读了几天就想到了确定吗他不是读了华尔德论文啊我一模论一下总之在采访星顿的时候他说萨斯科威尔是他教过的唯一一个比自己有更多好想法的学生哦
还挺愿意夸这些年轻人的杨立坤很生气杨立坤也不算正式门徒吧算吗应该是不太算对不算有点师徒的情义对所以辛诺尼欧又给了他一篇论文让他再去看一看几天后萨斯科威尔又回来了说我有点不明白又不明白了你又明白啥了萨斯科威尔说我不明白用一种模型就可以解决所有的问题你为什么要用这么多种模型其实像现在的大模型
就是只有一个模型一个模型就这个模型可以去训练再去生成新的模型去就干那些事不同的事用一种模型就行了比如说咱们说的刚才说的下棋的那个 deep man 他不但可以下棋还可以干别的可以自动驾驶可以图像识别都可以啊就像人那个大脑一样对吧今天你让我学棋明天让我下棋后天让我唱歌对对对我不用换出十个脑袋吗对所以辛顿认为他是非常非常聪明的一个学生嗯
然后呢就是另外一个学生克里泽夫斯基嘛就那个 Alex 对 Alex 一开始辛顿和萨斯科威尔找到他因为萨斯科威尔发现李飞飞有这一个比赛嗯他就想去参加他和辛顿说哎咱们那个模型就咱们研究那个东西参加他这个比赛那是手到擒来一定能够出成果啊对这没问题咱们就弄这个嗯
伊顿说好挺好咱们去拿冠军去但是呢这俩人一个拍脑袋一个想主意但是缺干活的缺扛包的对我们公司就差一个程序员了就找这个程序员那个艾力克斯是个程序员一样的角色专干什么技术活对在当时被称为黑客的那种人他也是个本科生对写代码写得非常好那种人
这个人是当时的一个最佳人选因为这个人对英伟达的 Coda 很熟的这又回到咱英伟达那两期里面提到但 2012 年那个系统好像没有那么好吧对还没有那么成熟用的人还比较少这个人知道怎么去调这个 GPU 所以星盾和萨特克尔就琢磨拉他入伙
干这项目我懂了相当于这边已经想好这个算法怎么样去适应去用再找一个小年轻人过来把这个算力完美的用到手对用到极致对弄几块鸡皮对相当于一个要学一个工程生一般是
开始这小子还不想加入呢就觉得很忙因为他当时还在写一个论文需要提交给这个辛顿的论文对 提交给辛顿的论文然后呢辛顿告诉他每当神经网络的性能提高 1%他就可以额外的多出一周来写他的论文
你就可以晚交一周的作业你说回到大学的环境你你你能理解吧咱也不知道这老师非得找我干那个什么课外活动校外什么拓展的有啥意义是吧对别耽误我交论文一听嗯可以延迟那咱咱咱就干吧别卡我就行小之以情动之以力幼之以力神之以法好可怕你这个总结总之把这小子强行绑上车入伙真没想到还有这个故事所以这个三个人就主气堆来了嗯
简直可以拍电影的情节有没有就不是有好多电影都是讲这种科学家的故事的吗什么什么嗯
就是当时训练的时候他们用了两张那个英伟达的显卡嘛 GTX580 显卡当时一张显卡是 600 美金即便是这两张 600 美金的显卡按照当时最好的高端的 CPU12 年的时候嘛按照当时的高端 CPU 来看就是 12 年的时候一个高端 CPU 大概有 10 到 20 个核心嘛那个时候咱们普通老百姓才 4 核 4 核很好用对那也相当于 100 台 20 个核心的电脑你说那个 GPU 啊对
相当于 200 台电脑对相当于 200 台 CPU 的电脑对服务器而且它是非常好的服务器因为那个 Alex 它要连夜编程就是成型儿嘛就是晚上也编程所以这机器就不能放在学校他把机器抱在家了学校关灯关门对放在他卧室里调试所以呢星顿常常说这挺好多伦多大学甚至不用支付电费由这个 Alex 的父母支付
我发现这是英式幽默的一种就是这种说不清是嘲讽还是什么这台机器每训练一次模型需要一周的时间难怪嘛就他不说那个如果提高性能就能延期吗说每周行动都会主持学生讨论精彩嗯
然后呢就再重新调整一下参数很快这个 Alex 他的神经网络的精度就超过了当时世界上最好的其他的那种模型所以星盾决定把他们这个模型提交给利菲比他们相当于那个数据集那个拿来参赛数据集已经开放给大家了吗对然后你在你在全球各地你哪训练都行
你的模型训练好了你有这个底气然后人家用那个测试机再去检查你那个模型是是是就随机拿一些图片来看你到底能不能测出来能不能对那些图片是你从来没见过的是那个时候只有星盾他们采用这种深度学习的方式那个时候主要的咱们在李飞飞那期讲我主要的还是在用一种叫支持向量机的方式来分类嘛
知识向量机其实是一种分类的机器所以我们现在有在简单提一下知识向量机它和星盾的深度学习的区别其实知识向量机的流行也是被环境所限的一个妥协的结果知识向量机是非常适合在小数据级上面和小算力上面去做训练的就是你拿到的样本如果很少用知识向量机是很方便的学得很快用得很好
但是反过来讲知识向量机擅长处理小数据就意味着它不擅长处理大数据又爆炸了可能对一旦数据太大的时候它就做不了就太复杂对你说的对就是爆炸所以当李飞飞把这个图像的数量机提升了之后即便是 120 万张图片其实对知识向量机来讲也很多你用不了那么多
你可能 20 万张和 120 万张区别就不大说起来这个智力相关机也是一个苏联人做的这个人他是在 1990 年的时候到了美国了他 54 岁的时候移民美国用你说就在解体前夜对 OK 很有判断力对然后加入了贝尔实验室这个人 06 年的时候还入选了美国工程院院士他原来在莫斯科控制科学研究所当所长这么重要的人物说走就走了跑了留不住人呢
这是相连基因说白了就是在感知机的基础上演化而来的组织也都是感知机对就是感知机的问题是在于不能处理异获的这个情况而且还有一个情况是虽然能够分类但是不能完美分类比如说有两个人我要在这两个人当中画一条线把两个人隔开那最好的线是什么样的线呢我会在这两个人中间的一个点画一条线嘛
然后这条线离两个人之间的距离都是一样的远的不好的线是贴着一个人的身体画了一条线虽然也不能把这两个人分开但是其中一个人只要稍微动一下位置你这条线可能就不好使了所以支持相量机它就会找到同时离两个人最远的那个点在那个点上画线也就是中间那个点然后你有很多很多人然后我去画一条线的时候能把两边的人都完美分割出来的这条线它是唯一的一条线
但是还能解决感知机另外一个问题是感知机不能解决很杂乱的混杂在一起的这种数据如果我有两把豆子是红豆和绿豆撒在桌面上你会发现桌面上散落着这两种豆子吗你没法用一条线把这两种豆子分开了
除非你是左边有一批右边有一批但是现在它是混在一起的但是支持向量机是可以的它可以把两维的数据升维比如说红豆和绿豆我再加一个维度加个颜色的维度这个时候我就可以通过颜色的维度把它直接分开了当然这是举个简单例子
不过一些公式我可以把数据来升为所以我就可以去分割那些看起来不能分割的所以那个时候很多人会用知识向量机去做人工智能的项目我觉得新政说对他也在学习就是不是深度学习人家也在增加维度啊
知识相连机的好处是刚才我们讲了不依赖大数据但是还有个好处是它可以被理解的他们自己知道自己在干什么知识相连机对一个数据的处理有清晰的数学解释和几何直观性你可以看到那些数据被深围了两围分到三围了我在三围里边画了一个曲面
这个曲面把两组数据给分开了那这个曲面我是可以通过函数的方式把它显示出来的而且我可以直观的去调整它这是知识象征机但是神经网络不一样神经网络是黑箱子里面那些权重是怎么变化的它这个权重到底代表了什么有什么意义你完全不知道你只知道通过你的训练这东西好使所以当时科学界还是没有特别接受神经网络的这个思想总是要问为什么原理是什么
但是深度学习是很难解释这个事情就选就选在这个地方就妙就妙在这里对你让他学习让他能干很多事情但同时也意味着就是有那部分黑匣子部分你不清楚的部分那你非要追求很透明公开要去搞实现不了对就连心动就说了人都无法理解自己没错有时候你不觉得你身边认识的家长朋友伴侣几十年了你也不一定了解他
你自己为什么会冒出这样的想法对我自己可能也不了解我自己你自己为什么要这么做我看我这个脑袋才是最大的黑匣子对你自己都是黑匣子对吧是啊我一冲动我就干了个什么蠢事很有可能是十年前你看了个什么电视看了本书
他改变了你的思维他印在了你的脑海里边对吧我根本就不知道不知道十年以后有一个和那个故事完全不相干的东西但是那个神经就触动了你然后你就选择了你做了那个选择真的这就跟我们看一些罪案故事什么去面馆里吃面然后被老板稍微侮辱了一句他觉得是侮辱其实肯定也不是什么大问题他突然就抱我跳入屋里然后拿把刀要去干事了对那你说这脑子是不是个黑匣子我就觉得他就是个黑匣子比方换成
我永远都不觉得那句话值得我感到侮辱去动刀子啊所以就是一个人想做一件事情他的选择是他过去多年的认知造成的嗯
而做选择的时候给出的这个原因只是一个理由只是解释表面的解释其实和这个人工智能非常非常像真的好像怎么说到这儿让我觉得有点后背发凉的感觉所以辛顿他整个的这个职业生涯他真的是有点逐渐的就理解了大脑的运作模式你理解大脑运作模式的时候可能真的首先你要去接受这个体系就是个黑匣子
换说回来的 2012 年他们赢得了这个大赛赢得大赛之后呢当年的全球视觉大会是在意大利的佛罗伦萨举行了就是李飞飞他们要去嘛看了一个采访就是李飞飞说当年他还没想着去因为他那个时候刚生小孩还在哺乳期对
不想出远差了但是星盾他们那个成绩震惊了这个业界对他必须要去但是那天星盾没有去因为星盾确实是没法去才腰的问题对就是让他那个学生那个 Alex 去了然后那个 Alex 呢他
在那个会议室上有个小的会议室然后里面挤了一百多个人大家就坐不下了只能站着大家都想来看看吧他就去介绍他这个模型嘛当时李飞飞其实想的是让他去做一个可视化的一个演示结果他做的也比较这种人嘛就是
几克嘛想不得太花哨的事啊所以他讲完之后就有人挑战他就是你这个东西也只能在亚马逊上用吧都是些照片嘛都是死的嘛可是我们人是活的呀如果你识别的 T 恤在我身上穿上那必定了你有什么证据来证明深度学习能把这些事情做好呢你不过是抽巧嘛
都获奖了还这么质疑不至于吧 Alex 还是一个学生嘛而且他还是一个几个有点不知所措我估计有点受恐吧当他这个不知所措的时候这个时候在屋子里的角落有一个声音大喊说你们要证据这就是证据你们也可以来参加比赛喊这个话的人是杨丽君挺仗义啊老杨这个人挺有意思的
AlexNet 的论文成了计算机史上最有影响力的论文之一被科学家引用超过 6 万次你做这块研究你是绕不过去的呀所以新顿常常说这篇论文的引用次数至少比他父亲写过的任何一篇论文都要多被引用 5.9 万次怎么还把他爸给抬出来啊老爷子早就去世了好吗再说你老爷子是昆虫学家好吗每个人引用也没多少人父亲你的路走窄了
多少论文就是一次影响都没有太多了那会就那么自豪了那现在我拿着诺贝尔奖那岂不是得好吧你就是再多做几百年你也拿不了这个奖 AlexNet 的成功就引起了科技巨头的注意这次真的注意起来了不得不注意哪家很多谷歌
微软甚至百度谷歌我看你们也不珍惜吗这扯皮那不买的啥也不支持谷歌这次 180 度了真的马上贵了是吧这个暑假实习生不简单谁安排的当年怎么能安排成这样还不给老爷子赐座赐他
当时都纷纷去联系邢顿哎你的多伦多这个研究经费够不够啊研究需要多少钱啊邢顿当时回复啊至少要几百万美金那些人表示啊几百万美金这么点钱吗那好了那账户给我我们愿意支持就是因为联系的公司太多了嗯
所以新顿发现几百万美金可能要的太少了于是他就成立了一个 DNN Research 的公司这个公司只有仨人就是他和他俩学生就真的他们仨就他们仨 2012 年 12 月份的那年的 NIPIS 大会就是那个据了他论文那个神经信息处理系统会议上拍卖自己的公司我感觉是不是也不太常见也不太常见就说你们谁价钱给的高就把我们的公司买一下
我们仨就给你们打工当时百度还出价百度出 1200 万美金呢这么点钱开玩笑呢号码牌都不分给你谷歌最后出价 4400 万美金把他的公司买下来了也这么便宜啊主要是咱现在知道 AI 相关的多值钱当时是已经很高了毕竟人少仨人分 4400 万两点多一人民币啊干科研得干多几辈子呀诺奖这奖金都是是荣誉啊只是当时他们因为被收购了要分这个钱吧嗯
辛顿就和他俩学生说我们那个三个人平分一人 33.3%333 但是那俩学生说老师你得够望重就是你拿 40%我们俩 30%就不错了然后辛顿告诉他两个学生说你们要想好了这可是一大笔钱你们先睡觉去吧第二天我们再聊第二天的时候他们依然还是坚持那个让辛顿拿最大的份额然后辛顿评价说这体现了他们是什么样的人品接着说但是没有体现出我是什么样的人品
然后出售公司的这些钱嘛新顿用其中的一些在加拿大安道列省的乔治亚湾买了一个小岛为什么要买岛就是度假可以去那个岛上他不能住那岛上他还要给讲课呢就投资地产也行新顿就有钱了嘛但是有钱之后有个不幸的事是他的那个第三任妻子就野坏了一阵零几年结婚的是吧就是去英国结婚的吗 1997 年 27 年 20 来年对对对 21 年他对他这个妻子感情挺好的主要是帮他照顾两个孩子嘛
本来感情应该也是可以的他不是初恋重逢吗我这概括好像也不精准也可以算吧他 18 年他图灵奖是不是都没赶上好像就是新顿霍图灵奖可能都没赶上没赶上应该是也没赶上嗯
一般情况下谷歌聘任教授他会要求你这个教授离开自己的学校的你要全职给我干万一还要牵涉学校的一些利益对你必须全职为谷歌工作你在为我工作期间有些什么成果你那边学校来扯皮也很麻烦对算了算你的教研成果真麻烦了但是新顿是不同意离开多伦多大学的
因为他还有学生要带所以他和谷歌谈判他一周有一天在多伦多大学工作然后剩下的四天在谷歌工作然后辛顿说为了争取在多伦多大学工作还花了 40 万美金的律师费规定这个职责是吗规定这个安全性然后他说多伦多大学付给我的钱比这个少多了我这属于付钱给学校让他们允许我继续教书我付钱给学校同意让我辛辛苦苦带学生对有种莫名的感动怎么回事
还很负责啊星盾加入谷歌的第一件事他哪年加入的呀 12 年底卖了吗 13 年 13 年 13 年 3 月份的时候加入的然后他加入谷歌的第一件事就去收 DeepMind 谷歌大收币嘛但凡是研究深度学习的都收入回下嗯
多少钱都不在乎有的是钱 Deepman 的那帮人是在伦敦所以谷歌大脑的那个杰弗蒂恩他就要带着这个谷歌的一些高管他们希望星盾一起去哎呦别折腾老爷子了老爷子的这把身子骨啊因为 Deepman 的里边大部分人星盾都认识嗯
同门同派但是可能不是一个很精准的分支吧因为这帮人其实上已经打定主页要收 Dipman 的所以把星盾带过去的话更好去谈我懂了打权威专家牌以及打感情牌对但是星盾是不能坐飞机的是对星盾就和谷歌人说我坐不了飞机所以我不能去然后谷歌就派了一架万流私人飞机飞到了多伦多
接上了他对那个飞机里面弄一个床他就躺在飞机里面飞到伦敦去比较好的飞机吧这代弯流嘛你商务机嘛就那个土豪马斯克那种那种很快的而且他能躺着关键是想那个段子嘛就那个之前王思聪发的一个图片嘛
他说我上飞机了然后配了个图片是有一条狗在一个座位上面周鸿义还说飞机上可以带狗吗问号然后王思聪说我不知道啊私人飞机意见的高段位啊坐飞机啥时候可以带狗我不知道有钱有地位就是好办事啊咱身子骨弱没事啊
所以真的运到伦敦运到运对就是说运俗把老爷子运到了伦敦到伦敦之后这帮人就在会议室开会嘛辛顿就躺在地上因为开会时间太长了光站着也不行躺在地上当时蒂芬曼的有个学生叫姆尼之前在多伦多是他的学生辛顿要提问的时候就躺在地上举手示意说我要发言
因为躺着别人看不着你只能举手然后姆尼说每当看到辛顿举起手来的时候就想到了他在多伦多大学的日子上课也是躺着温馨而心酸的感觉就涌上心头然后那个杰弗迪恩很专门要想去看一看这个 DeepMind 的代码当那个迪恩看了 15 分钟代码之后就决定买下 DeepMind 他说很显然这是由那些知道自己在做什么的人写出来的
我稍微插问一下就是我有点没搞懂就是光靠老爷子自己是不行的他们是要买 deep mind 是为了买他们的什么模型基础和他们的人才什么因为真的要把这个深度学习这一套做一个大量的商业化光靠自己那点人和光靠老爷子这么几个学生也不行就相当于我们需要很多的 Alex 我能光老爷子没用江湖上面你可以请这个风清阳请这个张正任王
但是那只是江湖商业上你是要打仗的你是要士兵大侠你可以一个人独行江湖那要打仗我需要千军万马当时他们有五六百人了所以谷歌花了 6.5 个亿收购 Dipman 但收购 Dipman 谷歌一点不亏为啥呢就是这帮人刚去谷歌就发现谷歌的服务器集群利用率太低了他们散热也很差调配也很差反正这些都很差用深度学习把谷歌的服务器集群优化了一下一年就省了好几亿美金
真的呀对可他们收购不是才花了多少 6.5 亿吗所以很多人说谷歌什么都没干就回本了省的就是赚的嘛省的就是赚的 2013 年的时候 Facebook 也把杨立坤请过去做首席科学家着急啊据说是扎克伯格亲自给杨立坤打电话嗯
杨哥过来帮忙给你一个舞台而且还去参加杨立坤的别套会但是你作为商业公司的老板去就很诡异嘛没面儿对然后那个扎克伯格还要说有一个什么 Facebook 要分享的一些东西还要去讲 Facebook 能分享啥不都用大家的技术吗扎克伯格人家懂技术好吗那也不能跟人比吧他请老杨吃饭主要还是给够了这个嘛对发现杨立坤都挺识挺识那个什么的对他是个实干家嗯
到了 2019 年的时候就宣布辛顿 杨林坤和本教获得图灵奖是 那话已经验证完了就真的是做出贡献了那天辛顿还在推特上面很罕见地发了一个消息他说当我还在国王学院当本科生的时候 2010 年获得图灵奖的莱斯维拉提就住在楼梯旁边的房间里他告诉我图灵在国王学院当研究员的时候也住在那里很可能他 1936 年的论文就是在那里写的
新顿没有说明的是就是这篇 1936 年的布林的论文开启了人工智能的时代就是好像有种呼应 call back 那种感觉对在那个颁奖仪式上面按照顺序发言先是本杰奥后是杨立坤最后是新顿这可能是大佬是最后位压轴他说我真正想感谢的人是他的妻子杰基他在这个奖项宣布之前的几个月去世了然后
然后杰基知道我多想拿这个奖如果他活着他今天也一定会出现在这里老爷子挺有人情味的不能讲是 2019 年了其实还有一个事情我们也简单提一下就是 OpenAI 现在最火的 XGBT 来自 OpenAI 千丝万缕都联系在一块当时是马斯克他和阿尔特曼还有其他的一些人包括星盾的学生一起来去创立的组织当时是一个非盈利组织
原因是在于马斯克和阿尔特曼对谷歌这样的公司去垄断人工智能技术不满这很像马斯克会干的事他们在讨论不受大型公司控制的情况下怎么样去发展人工智能的业务所以 2015 年 5 月的时候阿尔特曼决定和马斯克成立一家对抗谷歌的组织这个组织就是 OpenAI 是一个非营利组织它并不是一个企业对不是个企业所以辛顿的学生
萨斯科维尔也加入了这个 OpenAI 做首席科学家他就离开谷歌了因为谷歌之前不是收购了他吗他在谷歌和哈萨比斯共事的时候他发现哈萨比斯就是一个很疯狂的人他并不太关心人工智能可能会给人类带来什么这就让萨斯科维尔感觉到很不舒服所以他就加入了马斯克这个公司
这个 OpenAI 成立的时候前九名研究员当中有五个人都是在 DeepMind 待过的一开始这个 OpenAI 它要做的是分享他们打造的人工智能技术也就是说人工智能的技术不被大公司垄断所有的人都可以使用这些技术所以叫 Open 嘛但是实际上阿尔特曼这个人他不是一个这样的人其实阿尔特曼他不是个技术专家他是一个企业家这个人很有商业头脑的他在 2005 年的时候 20 岁的时候
他那个时候还在读大二就创办了一个社交网络公司拿到了 3000 万美元的风头那投资他的一个人叫保罗格雷厄姆他这个公司后面当然没有干好就卖掉了卖掉之后这个投资他的保罗格雷厄姆呢就让他去接替自己的投资公司的 CEO 了这个人就退居二线了这么看好他对很看好他哦
这个保罗格雷姆一提大家可能这是谁呀不知道对不对他写了一本书叫黑客与画家很有名是吧对很有名他写了很多技术方面的书因为这个阿尔特曼他去管理这个投资公司所以说他就变成了一个可以接触到很多很多商业公司的一个人所以他才接触到了马斯克
随着时间的推移 OpenAI 之前所承诺的分享他们的业务成果这件事变了变成就是说我们不能让任何人随心所欲的使用人工智能技术因为会造成巨大的严重后果所以就变成了 OpenAI 它研发的技术自己在用到了 2018 年的时候微软正好找到了 OpenAI
因为微软那个时候在云计算上面虽然是做得很不错了已经但是这人工智能方面做的就很差所以微软只能是大举投资这个任务智能星盾那帮人还有 DeepMind 这些人都被谷歌给抢走了所以微软早一早发现市面上还有个叫 NVAI 的这帮人
在 2019 年的时候微软就给了 OpenAI10 亿美金不过后面陆陆续续又给了它大概加起了 100 亿美金这么多导致之前参加 OpenAI 一起创业的那些人就很多人不满因为会发现和他们之前的初衷就不一样了是很尴尬你变成了我们成了微软的子公司小弟外包公司我也都不知道怎么描述了当然现在 OpenAI 和微软是竞争关系因为阿尔特曼这个人他不可能说给别人打工的哦
就是一个枭雄一样的人所以你会发现这种人工智能的技术人才和人工智能的算法算力都慢慢地集中到了这种大公司的手里这个是星盾其实不想看到的因为星盾当时离开美国也是因为人工智能的武器花然后你到了大公司手里它其实说变成商业武器嘛一样对对对一样这就不
所以今年那个新顿拿到诺贝尔奖的时候他还说我的一位学生解雇了 Samu Altman 我非常自豪这个学生其实就是苏斯科威尔嘛他在去年 11 月份的时候和一帮人宣布罢免了 Samu Altman 嘛就认为 Samu Altman 走向了和 OpenAI 成立的时候不一样的一个道路但是一周之后 Samu Altman 又回来了嘛
是就搞得很闹剧很 drama 我们当时就没搞懂这是在闹啥对因为那个微软投了很多钱微软有很大的话语权在微软逐渐的投资 OpenAI 的时候马斯克也就离开了马斯克也是生物生物好吗对而且马斯克也有自己的想法他的自动驾驶也从 OpenAI 挖点人其实有利益冲突像这种人另一个微软对
所以就会发现一般理想主义者最终会遇到了一些这种商业的人慢慢的就争刀争枪了对 星盾它主要担忧的是不受监督的人工智能总有一天会伤害人类的因为机器的智能超越人类只是时间的问题那是星盾认为的机器的强大之处在于它可能比人的大脑更高效因为现在一万亿个神经链接的大模型就非常厉害了有百科全书一样
但是人类的大脑有一百万一个连接但是一个人类大脑显然是不可能和大模型相提并论的而且大模型更厉害的地方是在于它可以复制自己它甚至可以永生因为人家死了之后你学的东西就消亡了机器是不会死的即便机器关机了它可以把信息从这个机器传给那个机器嘛
还有一个厉害的地方是在于机器学会的东西可以直接复制的我创建了一万个大模型他们应对一万个领域每当一个领域被大模型搞定了他可以立即把这个能力共享复制对全部共享给其他的 9999 个模型也就是说全中国的人有一个人考了驾照之后其他人不用考都会了这是个什么样的力量对
很多人就担心就像电影《忠贤者》里边一样就是提到机器人统治人类就像系统总有一天会出现一个奇变就是一个爆发的点当机器人在前一秒当中意识到自己是机器人有意识的时候那么它会马上进化可能只需要一两个小时就能进化到一个高危文明忽然一睁眼就世界变了但是还有一种情况可能不是说一天就变了
慢慢变了就像前两天我看那个英国的一个喜剧嘛是首相他里边不是讲到吗就是我们拥有核武器之后能不能保护自己的一个问题然后那个科学家就问那你有核武器如何保护他说到了最后时刻我就要发射核武器了科学家说那什么才是最后时刻呢如果城市着火了敌人过来帮你灭火是最后时刻吗那可能不是吧敌人不是帮我们吗对
但是灭火之后出现些骚乱敌人可能派些军队帮助你平定骚乱这好像不应该发射核武器还是帮我们的对有用的平定完骚乱之后那些人都不走了那就是这样的一步一步一步侵蚀其实这个例子映射到人工智能上面正在慢慢地变成现实机器它是一步一步地替代了人类的你比如说你想长生不老身体技能衰退你还装了很多电子计算机的东西然后你的芯片什么都连在网上对吧
忽然发现这个网络是坏的要把你消灭掉你能把网络关掉吗你关掉自己也是个死你自己都办机械化了肯定你的脑子想到就是说对啊我要把人类消灭掉因为你都换的差不多了可能只剩下一个头发丝是蛋白质了
不易腐烂吧只是因为心里面都没啥血都是电线连着呢对有可能所以它一定是一个潜移默化的你不可能想象当中就是说机器人造反了我按一个按钮它们都消失了已经无孔不入的嵌入在你的所有的生活这个世界里面了不可能是回到过去就像现在你说不过这些东西现在的生活太乏味了我想回到过去我想回到
想象中的什么田径的生活原始的自然的生活不满多人那么想的吗你回不去你回去一天你就受不了就辛顿说过这个世界是不可逆转的但是我们人类经历过蒸汽机电动机这样的产业革命那些革命旧的工人就消失了但是会出现了新的工人机器虽然代替了那个人但是那个人成为了操作机器的人不至于把人完全彻底全方位的替代掉但是人工智能可能又变成了
他自己能控制自己自己学习好吗这岗位就会彻底的消失掉其实你不知道哪个是弃责还不是一夜之间你就失业了新闻也提到了就是说你比如说战争的时候我们不能用这个化学武器不能用生物武器对吧我不能炸平民我不能特别虐待战俘就这种
你明白吗就基本规则但是战争当中不能使用人工智能那没有人会遵守禁止了那些生物武器化学武器那些东西它们是一个对战争来讲是低效的不是说大家遵守了这个规则不用了而是你用这种武器你得不偿失除非你是恐怖组织
只要是你合法政府你用这东西有可能对你战争的胜利并没有任何帮助反而让你名声还挺差对你没有必要用对吧但是如果这个东西能让你获胜的话你为什么不用呢当然你说这个东西就太远了我没有跟你聊有人问辛顿那你认为这个人工智能的
变革不可改变嘛那将来很多人会没有工作那选择什么样的工作才能不被淘汰多实在的问题你就是我们家孩子是不是还得卷学习你学学不过 AI 吧对咋办他将来有活路吗辛顿说你最好从现在就开始学修水管当个水管工机器人暂时还代替不了你
终究也能代替吧对那个时候就没有水管给你修了但凡有水管修你还可以接着修但是有一些很所谓看起来很高端门槛高文明的那些工作最早被干掉有很多就水管工可能是第三波第五波被干掉的那个职业第一波比方说那出租车司机或者是编程的技术员呼叫中心的人员现在已经被代替已经被替代了对那个淘宝客服啥的不需要了
还有一些收音员什么的文达所谓一件事就是说如果一个人他的工作虽然需要思考但是只需要思考几秒钟就可以得到结果这种工作我们现在或者不远的将来都会实现自动化的就失业只是时间问题
那你说孩子们得学啥呢现在天天学的不都是需要思考几秒再思考几秒的事吗所以新顿他提出了一个叫全民基本收入的一个想法不管是文明发展到什么程度那所有的人都保证有一个生存的空间有一个最基本的收入可以成为一个艺术家你可以为自己的梦想但是做一个普通人你确实你的技能已经不能
满足生产的需要了就是只能是用这种全民基本收入的方式去生活了保障你嘛就实现什么什么梦想伟大主义梦想 AI 就全部给你干完了还有那种感觉大家都很幸福的活着但你想如果从这个刚才咱们一直聊 AI 那个思路去想那是因为你根本就没事做了很可怕你拿着这个清德书的全民最低收入活着就完事了爱画画画个画爱跳舞跳个舞
失业这个事情新顿其实并不是特别担心因为很多职业还不能被代替比如说包括涉及到精神创造力的比如说艺术家或者是作家还有那种需要社交能力的就需要有人与人直接链接的这种感觉的事对 机器人是难以代替的嗯
当然最大的麻烦不在于我们可能失业而是在于未来我们的老板可能就是一个算法其实现在已经是这样了就是你会发现那种直接的长期的雇佣关系在变少因为之前很多人上班你大学毕业去哪个单位就是你退休那个单位
现在协助人数变少了变成了这种长期工作合同变少了这个临时工作合同变多了为什么是这样呢因为已经不再需要那种以人的方式来管理你了比如说你在公司是个老员工你要好好干公司将来给你提供保证你不要辜负公司的期望吗
对吧所以公司希望从青年培养这种骨干现在不一样现在我有机器人完全可以监督你每天在做什么打电话在说什么你的文档是怎么写的你的书是怎么样的你情感是怎么样完全可以监督你这样的话我就不需要一个人情味的老板我就需要一个机器老板就好了我不需要哄着你了
直接把你算的清清楚楚的这其实有些地方已经像了对前两天比较火的那个文章就是美团呢写这个美团规则的产品经理失业了是吧他也去送外卖了然后他发现哇这个规则真不是个东西搞得我好惨我都怀疑他是个段子但他是真的对我看到那个我都觉得真的好慌
那个荒谬的感觉超出了那种能想象的就你编剧本你都不敢这么瞎编吧对这就是人工智能的反噬的一个案例就相当于现在已经能看到了这样的对你想象当中人工智能会统治我管理我我要反抗你反抗不了那一瞬间你就会发现主仆关系倒置了
其实你会发现机器人不是你的左膀右臂你变成机器人的左膀右臂了人家是大脑你是拧螺丝那个你是工具其实现在有些大平台已经这样了呀对给自己脖子上拴上了绳然后我只是拎一拎嗯
比如说我有个集权国家我为了好控制我好统治我不需要那么多的官僚机构我作为一个元首我下属的统治的手段是用机器人我只要坐在电脑室里面去点一点按一按就可以控制所有的生产所有的经济但是第二天就会发现这个元首被人工智能消灭了你也不知道第二天在那个最高指示台里面给我们发指令让我们好好生活那人是谁可能是敌对国家的那个老大
也或者是觉醒的人工智能很有可能是这种形式出现的有什么理由阻止这种形式呢如果我是一个统治者我何乐不为呢就像世界上古代的那些皇帝他所建立的那些王朝反噬了他吗其实这样机器人当年的老板还不是最糟的还不是最糟最糟的是机器人会判断你是否应该入狱法哲学这部分也出来了对啊比如说我可以通过你的言行通过你的行为我可以分析出来你这个人
可能是友商分化违背我这个组织体系的这个纪律吧这个原则吧法律原则吧或者我的管理原则对我就可以处罚你而且是证据早早你其他人你只不过是也很难去改变这个就个无限的天眼那种感觉一直围着你一个人全部数据就能收集到位要这个人没有道德然后给你标出来对吧真的是会一步一步的通过去控制你能看到什么信息对吧你现在刷抖音你的信息信息流就被机器人控制了
对吧你的视野你的认知可能也被控制了然后你去上班的时候呢你老板是个机器人你的行为啊然后你的工作目标啊也被控制了机器人的警察然后我可以我可以去规范你的生活的行为对吧然后你可能他判定我又投标了一个美女很不道德是吧
到处乱看也不行我不知道我在理解对不对就星盾最后担忧的是你人类最基础那种生存的自由有可能人的尊严可能就把你直接剥夺掉了对啊支持的人会很多而且你会发现支持的人会很多因为都是人自己给自己套上了枷锁乌托邦就这样的嘛你总有少数派嘛
但是心动的担忧是个流派还有别的流派是吗杨林昆就认为机器人是不可能统治人类的杨林昆说如果你想创造一个毁灭人类的人工智能那么首先你得让他比家中养的猫更聪明一点杨林昆认为现在的大模型看起来很聪明其实他很傻他连你的猫都不如我不能认可他这个观点我觉得 AI 就已经比我们家猫聪明了我们家猫就是个自然动物
动物本能反应而已对但是杨立坤认为大模型只是预测文本其实就相当于是我给了你若干个标签你预测下一个标签就和那个图片一样你去识别了若干个图片你预测下一个图片就做这么件事但是并没有具备动物的那种基本的心智并没有具备面向目的的推理能力
做的这个机器它是面向功能的能力就像你做了一把雨伞它的功能就是可以遮阳或者遮雨除非你去造了一个东西它想自己不被淋湿它有这样的一个目的人是有这样的目的的我想自己不被淋湿我才要去打伞我并不是说我是一把雨伞我就一定要去遮雨其实不是这样的那么再进一步来讲人还会去做自己想让另外一个人相信他可能被淋湿他要打伞所以人类是一
目的为驱动的就是说它的意志是以目的为驱动的但是机器人杨林昆这一派认为没有这样的一个目的性它从这个角度就跟猫它有自己的目的要吃要玩对它不受你控制自己要跳到哪里去就跳到哪里了对
但是人工智能还没有展现出任何的目的性,但是他这个我觉得并没有完全说避免你不被人工智能统治,他只能说是你不被独立的人工智能统治,人工智能背后如果有一个目的,有一个权有目的的人,那只有一个人就可以,对吧?那不就咱们刚才幻想的那种恐怖的场景,不都是这样吗?上个世纪应该是 70 年代吧,智力有这么一个问题。
南美洲那个智力对他们的总统搞了一个 SyberSymproject 汉语就是赛博协同控制工程它里边还有那种很玄幻的那种意思很科幻的意思嗯
然后有屏幕的什么能显示出来他们国家的一个生产状况然后他们就可以在这个超空室里面去下达命令当然黄了这些大佬们每个人都有不同的这个见地有的人说起来很恐怖有人说起来其实也没咋刚才听了这么多各种意见什么的一些畅想我觉得有一个非常切实的建议我提的就咱们得多活些日子
你要是换一个思维你换一个角度看这就是一场大戏你就得坐在观众席上你当然可能也参与演出或者你没有那么重的戏份你就是个见证者而已你无论是这三五十年还能干啥咱们就见证一下听我意思首先 AI 得让我们活着这就跟 500 年前的人他就没有见识到真戏集你有机会见到你就值了赶上了赶上这个时代这一波最后的结论是保证身体对可以只要活得够久总有好事发生
为什么都点在樱桃小丸子的名言上了对我觉得就是这样的包括你孩子孩子们也是嘛你让他们健康活着嘛乐观点先活着在初中高中大学就把这人弄蔫了就没精气神了那可能很可怕呀社会发展它是一个加速的
现代社会的人每多活十年你可能经历的东西就相对于过去的古代人多活一二百年一两千年啊都还那你再往前原始人几十万年呢我们就看一看近代一两百年前的人他根本宇宙的很多东西根本就搞不清楚就基本的很多概念都不清楚日新月异嘛你未来你活一年就相对于现在活十年是不是我的结论是对的吧身体要好每多活一天就值了看来大家都毁灭了我也值了
我没有经历人类的诞生起码我经历了人类的灭亡或者在清晰的走向灭亡的路上我见证过一段对也行啊也行
那要不就聊到这里反正最后的结论是多活一段时间就好了身体健康最重要如果大家能听到这样的话不容易啊感谢您的支持然后也欢迎推荐给身边感兴趣的人吧多听一听我们的节目多有启发呀启发是保持健康嘛是啊我们要带货了吗内心没有请吃我们的麦片
开玩笑那欢迎大家打赏啊我们要是再拿到打赏的钱咱们吃保健品保健品能长寿我们就值得怀疑这很可疑啊佣政也吃保健品人才是最大的设备对吧对好吧那就到这里了拜拜拜拜拜拜