No.42 人工智能风云录之两次寒冬与机器学习的崛起
01:47:46 Share

科技是一件不曾存在的東西 當你出生的一切最大的科技創造人們創造的都是人類的傻事我認為人類的特質並不可偽造所有可以創造的東西都已經被創造了我覺得全球市場需要五個電腦問題是能否讓人們想像的問題就像問一隻海豚能不能游泳我認為科技已經把世界拉近了更加要讓它更加靠近

欢迎收看本期的节目,《互联网》。

1769 年德国发明家搞出来一个东西他说可以下国际象棋他带着这个机器去给当时的法兰奇皇帝拿破仑看拿破仑据说还下书了下书了恼羞成怒我掀了棋盘我不下了老子不玩了他跟美国国父本杰明弗兰克林下过棋跟小说家艾伦波下过棋跟英国数学家发明家巴贝奇下过棋

反正那就是走南闯过北气质树中有拔萃这里不多展开解释感兴趣的朋友不了解的朋友可以自行了解一下面向对象编程去放一下家吧从入门到放弃如果没有对象的就去找个对象简单说就是一句话这个机器里边藏人了

这正是配置器专家上岗古代机寒冬一场拼性能大师下棋惊天地深度学习半拿铁第 42 期打板开始我是刘飞我是小蕾

不容易今天是 42 期了进入到互联网史话之人工智能风云录的第三期对今天我们简单还是先总结一下上期咱们讲过的江湖上有三大门派是

实际上还是符号派一统江湖也讲过了连接派行为派那不是主流人工智能的圈子里研究比较多的方式就是在想怎么把现实世界的知识转化成机器能处理的对象对吧那到了 1973 年的赖特希尔报告

剧情就急转直下了大家就评价说人工智能这些都是江湖骗子搞不出什么东西了整个的都变成过街老鼠了就是拿钱不搞正经事所以人工智能进入接近 10 年的寒冬这个期间基本上没什么资金输入咱们就书接上文讲讲接下来发生了什么第一章

问取哪得清如许 唯有源头活水来就是在寒冬之中人工智能科学家总不能就回家种地对吧 还是要研究嘛还得做事啊咱们先说说明斯基基本上他把连接主义和神经网络干死了咱们之前讲过比较唏嘘的那个事明斯基当然这个时候已经是坚定的符号派的支持者了但是他有历史地位

也不是说他就是搞得早就是占了这么一个人工智能创始人的这么一个位置其实他自己还是有两把刷子的在路线斗争方面他跟之前原来的亲密战友麦卡锡也分道扬镳提出了一种全新的理论他认为麦卡锡的那种严丝合缝的干干净净的套路是不行的我做事我得做得脏一点他死板了

他用的原话说的是 neat 就是整洁的方式就是你规规矩矩整整洁洁这样不行就人脑思考根本不是这么思考的上期咱们也聊过麦卡锡的理论就是在怎么把现实世界符号化形式主义这些东西明斯基认为他这个理论很难执行人不是这么思考的所以他在 1974 年写了一篇文章 Framework for Representing Knowledge 提出了一个框架理论

他的理论可以这么举例子我们比如说看到苹果的时候就会联想到好吃酸甜也会想到它久了会腐烂变质这个之前提过就是类似模式识别但是他认为这个应该做常识假设的框架所以它叫框架大概是什么意思呢比如说

我们知道苹果是这样那是不是梨子也是这样橙子也是这样葡萄也是这样就是当我把苹果的这个属性值描述完了之后再出现葡萄的时候直接把这属性值挪过来这不就减轻工作量吗相当于是这个意思就是就像一个表格大家想象一下一个事物的信息你就有默认值了

它就有一个框架了那下次你再输入香蕉它是水果 OK 这些默认着啪啪啪都给你填好了需要的细节改改就行了对不用从零开始填所以这个成本非常低然后它的信息整体根据分类不同的分类的物体名词它都有自己的框架了如果挺有理由程序员朋友的话会突然拍桌子诶

这不就是编程里的面向对象吗 C++或者 Java 都是这样的就你定义了一个类我们可以让一个具体的对象继承另一个对象的属性你就不用重复再去编写这个属性了这里不多展开解释感兴趣的朋友不了解的朋友可以自行了解一下面向对象编程去翻译一下 Java 从入门到放弃如果没有对象的就去找个对象在这呢这是

怕大家不懂咱们再举个例子比如说半拿铁讲过很多商业故事你会发现很多故事都能抽象出来一个模板创始人一开始白手起家的比较多艰苦创业有了一小摊生意慢慢做大遇到时代机会比如说瑜伽火了那就是 Lululemon 的机会体育运动火了是健力宝的机会等等然后抓住了机会做大做强过程中可能有各种危机起起落落几次之后终于成功

讲故事的套路所以你看这个故事它都有类似的抽象你抽象出来商业沉浮故事那就是一个框架框架有了我们就可以把这故事往里套了大概就这么个意思了是往里套注意不是往里编所以这个框架理论确实跟面向对象的底层逻辑很接近在人工智能科学家们用 Lisp 编程的时候也是用类似的方法这个大大推进了人工智能应用方面的进展

然后同时这个时候语意网络开始出现语意网络是什么意思呢就是让计算机理解符号之间的关系大家可以想象一个巨大的思维导图就是把这些名词之间用线连起来它让知识更结构化容易处理比如说你网络里面分散了好多词但这里面望京和朝阳这两个词离得就很近它是远近的关系但是望京跟海淀这个词离得就很远

班拿铁本来是跟咖啡和饮料很接近的现在经过我们播客努力跟相声已经很难分别了跟相声和精彩这两个词已经很接近了距离相对就比较近了可能有一条线就能连起来了这就是羽翼网络大概的意思还有一些类似像框架理论和羽翼网络这样的研究成果出现

但是科学家们发现他们都没有解决最重要的问题上期已经讲过了就是知识的问题你这些是框架规则我这些知识怎么填你说就水果这个东西你可能把所有水果填明白那也可非功夫了所以怎么办这知识太多了一些学者就讨论咱们退而求其次搞少点咱们谦虚一点先让人工智能这个孩子

成一个专才先不让他成通才你上个职业学校你先别上大学先学个挖掘机学个炒菜是不是可以就搞一个方向就没有那么的复杂了对就是知识量少一些那咱们把时间倒退到 1958 年也就回去了斯德哥尔摩

当年全球科学家目光都聚焦的地方年仅 33 岁的李德伯格获得诺贝尔生理学或医学奖 33 岁跟咱们差不多同龄人后来他有一个广为流传的名言就是人类统治地球的最大威胁是病毒当年就提出来过这句话估计这两年人类是深有体会了这位李德伯格获奖之后到斯坦福大学担任遗传学系主任

他自己对莱布尼茨之梦非常感兴趣斯坦福有谁斯坦福有麦卡锡所以他跟麦卡锡认识了这个时候麦卡锡有自己的研究方向所以通过麦卡锡给他找了一个合作伙伴是当时斯坦福大学计算机中心主任费根鲍姆这个职位其实比当时的计算机系主任还是有影响力的

因为计算机中心主任和系主任不一样系主任是管教学的他是管研究的而且他会主办各种会议认识各种大佬斯坦福大学本来就是人工智能的中心所以这个人变成一个很重要的枢纽他们俩一拍即合咱们搞一个专业领域的一个系统叫 DendralDendral

这个系统能干啥呢它能解决一个非常具体的问题就是你输入质谱仪的信息数据质谱仪就是分离检测同位素的这么一个机器它就能给出物质的化学结构所以它能解决一个非常具体的问题人也能解决它就是算就去研究这就是没有任何知识方面的其他限制了我就聚焦了对就聚焦了你能输入的知识量是有限的所以我就可以穷举了

费根鲍姆当时在兰德公司工作兰德公司是非常知名的美国军方的智库机构他提供调研和情报分析的当时费根鲍姆就认识了一个年轻小伙子叫布坎南布坎南呢布坎女什么鬼布坎南当时正好

暑期实习在兰德公司然后他是学什么的呢学哲学的跟他们做的事本来没啥关系但是呢兴趣特别广泛他就对费根鲍姆在做的这些事特别感兴趣费根鲍姆说我们在搞的这个东西你来看一看研究一下不堪难一看这个好那我跟你们一块搞

结果变成了这个项目的主力那就说明学习能力还是非常强的之前智普仪这个事跟他应该是基本不太大化学生物计算机基本上跟他哲学关系没那么大对吧

当时他们搞的都是生物化学相关的项目他们团队虽然有计算机专家和生物学专家但是大部分人对化学是一窍不通的不可能就自学不光自学完了他还要给项目的成员们讲课讲化学课化学课就很无聊大家课上都快睡着了据说当时现场麦卡锡有一次拍桌子你们好好听

你们就不能好好听吗大家一看麦卡锡老爷子大师在这就不高兴了大家才认真听真不容易不可能自己在做完 Dendrel 之后牵头带博士生肖特莱福做了一个系统叫 MYCINMICIN

这个系统基于 LASP 开发又是我们反复提的人工智能领域比较主流的当时的一个语言可以针对细菌感染的情况给诊断处方的准确率已经能到 69%了但是还是不如正常的医生会给的准确率是 80%所以没法用到实际场景这个是要死人的但是它

虽然到不了专科医生的准确率但是已经比非专科医生就比如说你就是急诊的一个什么医生帮忙看的他其实准确率已经高了可以大抵给个方向了对所以这两个系统都成为了专家系统就是这个 Dengel 和 Messon 这是个专业术语专家系统 Expert System 就是当时开始出现了嗯

那 Messon 团队的人他们自然就觉得因为都是不堪难参与的他们当然就会觉得 Dendro 是专家系统的鼻祖但是不过 Messon 它的影响力更大因为它在很多地方实际应用了包括在学术圈也比较流传甚广所以比如说人工智能的创始人之一纽厄尔他就认为 Messon 才是专家系统的鼻祖反正有不同的看法但是这两个肯定就是最早的专家系统了 OK

那费肯报母团队之后还持续的做专家系统但是他们做专家系统的时间你看就来到 70 年代了所以他们汇报的时候还是得小心翼翼遮遮掩掩的就 PPT 里边讲的时候就不太敢说这是人工智能对就不太提人工智能尽量把它拐到别的地方去看否则 DAPA 因为他们现在主要拿资助也是从军方 DAPA 拿所以这个

我们 PPT 里做点花样让我们这个项目生存下来我们这是大数据对终于专家系统的努力之下一个重要的时刻到来了新年都未有芳华二月初经见草芽人工智能历史上首次商业化成功了话说在 CMU 这又是

隔壁另一所大学了咱们说了人工智能三大中心这个 CMU 就是司马赫纽尔带起来的 CMU 有一位老师叫迈克德莫特他在 78 年的时候就其实也是在寒冬之中编写了一套系统这个系统叫 R1 字母 R1

还写了一篇后来获奖的论文这个论文名很直白就叫二万计算机系统专家就为什么叫二万呢因为迈克德莫特他自嘲说过这么一句话就是说三年前我连知识工程师都不会拼啊但现在我已经是一个了是一个了对就知识工程师好理解就是做专家系统的工程师嘛他之前可能不会做工程这是学术圈的嘛

他最后那句话我是一个了 IR1 所以就是 R1 什么这个是个很烂的谐音梗太随意了王建国狂喜后来这个 R1 就改名了改名叫 XconXcon 它是一个简写全称是 Expert Configurer

就是专家配置器就 XCON 都是它的中间就是缩略语听起来更高级一些了对很形象为什么叫专家配置器呢是个什么背景呢如果买过台式机的朋友都知道尤其你自己配你要买各种零件什么显卡硬件主板螺丝还好螺丝就是机箱的但是这里面的

一些配件你要配不好的话这插不进去有的可能它也不兼容这在早期更麻烦因为早期是商用电脑那里面什么电缆街头就像小蕾说的可能有的螺丝处理器打印机各种问题标准没有那么统一对然后你买的时候很复杂就哪怕是同一家产的也非常复杂所以当时销售有的时候也搞不灵清有的时候发现我给你配完了你买回去发现少了根线那怎么办呢我给你补

发现少了一个什么驱动卡你要知道那个时候很原始很多确实需要软件驱动的你缺了一个驱动你还得重新再买不像现在很多还是方便一些你说现在基本上芯片厂商或者显卡厂商相对来说都比较集中要好配一些那个时候真的麻烦贼麻烦你可能买好几趟还是配不起来用不起来

所以 XCOM 它解决什么问题就是当客户订购这家公司这家公司叫 DEC 是当时的一个商用计算机的公司你订购的时候 XCOM 可以按照需求自动配置零部件零件直接送到客户那里客户直接组装东西都给你配全而且不出任何问题从 1980 年投入到 1986 年 XCOM 一共处理了 8 万个订单这在当时商用计算机领域嘛

相当于一个自动进销存系统了对准确率就在 95%到 98%非常高完全可用同时这个是一个基于规则的一套系统这个系统里面有多少规则有 2500 条规则这 2500 条非常复杂都是人说的吗全是人说的所以它其实就是规则堆起来的一个机器这个就相对明确是

这个系统据说为 DEC 节约了大概 2500 万美元有一个说法是 4000 万美元这是非常高额的一个节省了所以这也是一个青史留名的系统了因为它带来了人工智能的另一次高潮因为大家发现这个东西真的有用了人工智能原来是有用的大家那个时候是把它任职成人工智能的对它就是人工智能

就你听起来它不叫人工智能是吧就感觉它不就是个软件吗它的主性在哪这要说一下可能咱们稍微提前说一下这个区别这个它跟后来的所谓的机器学习很像因为它是有学习的成分了

真正写代码的软件它是只能执行指令但是我可以根据你的规则得到一个我本来没有输入的结论就比如说你配的这个你配了八个零件这八个零件的清单出来这八个零件从来没有人输入过但是我给你配出来了

这个就更接近人工智能软件是我只能执行我设计好的呈现我的所有结果都是写好的这两个是不太一样就好分别了对当然确实就像刚才说的因为它是写入各种规则你真的从人工智能的科学领域角度看它不是很先进的就这个五六年达特茅斯会议上大家其实研究的也这些做法其实都研究出来了嗯

但是没关系当时很多人也不关心这个到底是什么符号派连接派还是行为派有用就行就看你的结果是所以当时在 80 年代各种各样的专家系统开始出现各种公司都开始用上了它带来了一个巨大的社会舆情就是社会上又出现了要替代人了这次恐慌比罗森布拉特和维纳时代那一次更真实一点因为大家看到了就这个程序真的在配了那我以后不需要那种专门配置的销售了

所以媒体宣传的特别凶很多人都在密切关注这里面密切关注的不止老百姓还有国家政府政府怎么关注的这是第二章的故事我们先按下不表又开始掉尿了第一章简单再补充一个话题就是

之前不是说斯马赫纽尔做的机器证明了罗素数学原理中的很多定理吗这还是人类之前证明过的包括也是因为说之前证明过所以他们投稿给什么符号杂志还未推稿就没用最后用了王浩的但是在 1976 年机器定理证明这是一个专门的学术课题这件事上有了重大突破可以推新的了证明了一个人类之前没有证明的定理

什么定理呢其实大家应该都知道四色猜想不知道四色猜想我们现在已经叫它四色定理了已经被证明了这个是 1852 年数学家法兰西斯古德里提出的他提出了这么一理论就是他有一天翻地图就发现很有意思这个地图只用四个颜色不管你怎么画它就能保证所有相邻的边界区分的颜色

都不同我就可以完全区分出来就不管这个地图画成什么样就够用了对四个颜色绝对够用然后他怎么试就发现怎么准但是这个从数学上它是一个几何问题就怎么证明一直是一个大的难题这个研究了一百多年各种数学家参与进去都没有证明出来

这个从经验上看我们都知道是真实的但是就是没有办法严谨的理论上证明这个是一定用数学的方法对那 1976 年哈肯和阿佩尔这两位在伊利诺伊大学用 IBM360 写了一个程序这里面也是包括了一大堆规则 487 条规则和 1936 个不可避免级

这个我就不展开说了因为我也不知道啥意思花了 1200 个小时跑完这个程序数学含义咱们不展开说大概可以理解就是一个暴力破解的过程他把所有的情况列举出来他倒不是说所有地图这个没法枚举但是他把所有可以画地图的集合情况全描述了一遍而且每一个情况里的子情况全部证明了

就是可以四种颜色没问题四色猜想是个真的命题真的就是硬算硬算这是全球历史上第一个被机器先证明出来的一个定理一开始显然就这个出来之后数学圈轰动了而且大家是负面的评价比较多就说你这个机器证明你没法检查它里面的步骤就万一有一步他就瞎算了怎么办嗯

而且运算量这么庞大你确实是没法检查检验的相当于是用驴拉磨来代替人拉磨人因为他不可能真的拉着一个磨像绕地球一样跑上三万六千圈但驴说我跑完了你也不知道那驴到底是少跑了两步在中间万一拐了个弯对吧大家也不知道

不过后面数学家科学家们持续工作在 04 年数学家乔治·公提尔他提供了一种可靠性的验证大概就是他设了一些方法这个方法是专门验证这个程序的在中间可以检查就是这个驴有没有专心去跑就是这么跑的

所以在之后机器证明定理也普遍被接受包括很多数学家也会拿机器来做一些这种研究了只不过当然有一些科学家还是不是特别接受但是他不接受的点不是说这个不对而是说是不是能找到更简洁漂亮的一种证明方法是 这个太笨了对 这是另外一种追求了这是另外一回事

就刚才说的就是寒冬里面的几个事情这几个事情我们也能看到慢慢的人工智能已经开始在应用层面有一些具体的价值了留下了一点点的星火开始点柴火了来下面我们就要进入第二章了第二章世事一场大梦人生几度秋凉越来越有诗意了

这个人工智能领域的专家系统兴起的时候刚才也说了全球政府各国都在搞政府也开始关注了搞着搞着就搞成军备竞赛了 80 年代初全球发展最好的国家民族自信心最强的国家是哪呢当然就是日本了在我们之前的一些品牌故事里经常出现多次提到 80 年代初是日本最好的时候蒸蒸日上日本人鸽子虽然小但是顶天立地经济

快速发展品牌全球热销写了一本书那本书日本可以说不咱们之前也提过就是那个时候出现的标志性的一本书咱们接下来就引领世界一看 AI 领域计算机领域咱们也得搞

1981 年日本通产省这个通产省呢就是有点像他们的信息产业部在家中科院既有国家行政的权利也有一些研究的属性在要举全国之力搞一个大事情做什么呢做所谓的第五代机说到五代机如果经历过那个年代的日本的

听有可能会一个机灵哎呀这个五代机哎呀就是一言难尽举国上下的一个大事这也就是把上期留的那个扣要开始解了是为什么说五代机呢第一代电子管第二代晶体管第三代集成电路第四代超大规模集成电路那我们要搞第五代

我们搞点不一样的什么呢非冯结构我们要搞我们要做一个背叛祖师爷的决定我们要底层我们要用非诺依曼结构非冯诺依曼结构对

同时拥有完全人工智能就是能够识别所有图像能够解决各种复杂逻辑问题实用和处理自然语言这就是今天大家热议的 AGI 了对就是

AGI 可能是一个相对来说软件层面的一个东西我硬件我也要支持它是一个就是跟机器人一样就是一个强人工智能类似于谷歌刚发的 PumE 就他用他那个大模型放到机器人上开始跟现实有新的交互的一个体验了还不太一样它的硬件要彻底革新就我不用原来的计算机的结构但是现在我们用的计算机结构大部分还是逢逢通一半结构的就我的硬件我也要跟着改

这个得好好理解我还得一边在听着理解这个目标非常远大但日本人有信心因为当时半导体行业人家做的确实好国际领先了觉得既然人工智能发展这么好我们肯定能做成先邀请一些外籍专家比如说前面提到的专家系统的鼻祖前辈费根鲍姆还有一些各路专家比如说就是各种符号派的请来做顾问请来做顾问

负责人是谁呢是本最大的电子和计算机研究机构有点像我们的中科院计算所加自动化所负责人叫渊一博这个渊是一个生僻字我们很少用三点水一个关羽的关再加一个利刀旁那是真不认识这个叫渊渊一博 46 岁他当时提出了一个口号

我们 35 岁以上的不收我们只要年轻人万恶之源是从这来的呀就没想到当年的日本人也经历过这么一次缘有头战友主播大家要找找他去 35 岁光荣退休了你进不了我们这个地方

一共招了 40 个人袁一博自称我们是 40 浪人为啥叫浪人就是漂泊在外创业的状态而且当时参与的这些人大部分确实是放弃了体制内的编制特地投入到这个新项目那也是蛮大的一个未知的风险对就是赌这个五代机

五代机怎么样我们缓一缓让这 40 个浪人先搞着先浪着我们先说说美国美国人一看慌了你日本人想掺我们的位置我们也想搞

国会通过法案 1984 年国家合作研究法又提出了当年的说法就是你还记得之前说不计短期回报投资长期高风险高回报的研究项目专门成立了一家公司 MCC 这个名字呢就是微电子和计算机技术公司这就是来美国的举国体制国企搞公司总裁叫鲍比雷英曼前国家安全局局长或中央情报局副局长美国海军上将嘿

你看人家这是就是当国企确实是巨国 MCC 后来发现诶

人工智能圈子好像已经在搞这个了领头的有一个人叫道格拉斯莱纳特他是 76 年获得斯坦福大学博士学位的这个学位拿的很有含金量因为他的博士学位委员会里有谁呢司马赫 纽欧尔 明斯基 费根鲍尔 布坎南我们前面出现的人一大半都在这里这几位人工智能大师全是他博士学位的导师之后他大部分时间就在斯坦福大学工作

然后道格拉斯他在 83 年组织了一个会议他认为兄弟们我们需要知识我们现在规则啥的或者算法这些东西定的差不多了对他不是瓶颈瓶颈就是知识所以他提出了一个超大规模数据库的计划就是我们得

搞知识搞数据库搞预料库类似这种开始做人工的活了对然后这个会议麦卡锡明斯基纽厄尔这些领袖们全都在大家纷纷表示你这个想法非常好但是操作性不大

为啥呢因为太需要人了你这个怎么搞也得几千号人哪找那么多人去凑了巧了这不是 MCC 一看你们专业我们有钱国家也拨款了你们搞给你雇人所以 MCC 就分拆了新公司成立 CEO 就是这位道格拉斯莱纳特做的项目一看就知道是知识工程因为他这个项目名取自百科全书这个词百科全书是你

Encyclopedia 他取了中间三个字母 CYCSAC 这公司名就叫 SACOP 就是 SAC 的公司

Sank 的目标是什么呢输入人类常识上百万条通过这些形式语言开发编程语言 CYCLL 就是 language 开发一个自己的语言还有基于此做新语言搞法呢就是人类输入各种规则就全是输输完之后让他学整理各种形式语言其实就是在还是咱们之前说的那个套路来不及你自知梦只不过这次就是

搞大一点我们真的想要把人类知识输进去

包括各种基本的名字集合各种层次的类别比如说鱼类分为哪些类别我全要输进去各种各样的谓词名词和函数相关的隐含关系什么叫和函数相关的隐含关系呢比如说 meter 它是米 meter 加上 2016 代表的就是 2016 米它得跟数字之间的关系就变成距离了它就能意识到这是个距离反正就全是输所有这些规则必须给它都整明白好像那个什么

十大恶人还是九大恶人教一个江小渝一样对全都是书就不用十大恶人就是那个劳动密集型的找一些识字的十个人都可以去搞这个语料非常消耗人力就消耗到什么程度第一个十年他们搞出来十万个词

十万个术语完成进度一般平均是千人年的工作量也就是一千个人干了十年干出来十万个术语平均下来一千个人一年只干一万个也就是说一个人一年只能搞出十个术语来非常麻烦啊

还是要它的严谨性的对它麻烦在哪呢它就是多我解释一下它不是输入词就行了不是说语分几个语放进去就行了它要相互的联系每个词和所有词之间的关系基本上你都要刮个狗那你想想这个是指数级上升的 10 万个词差不多每个词都有个表你这个表里跟另外 10 万个词

都要有关系当然细节它会做简化它不是说每个词跟十万个词都有关系但是这里面确实都要有关系鱼长什么样它怎么吃它跟其他动物之间关系所有的东西全都要连接

这个复杂情况就是很难想象了所以十万个词花了十年搞出来就可以理解了这个逻辑大家一听就知道这个明显还是传统符号派的系统下面做出来的就还是在实现司马厄纽阿尔麦卡锡他们的理论大家刚开始做是雄心勃勃的

而且最后做出来说实话确实也有一定效果这个也可以回应一下前面小蕾问的那个问题你说都是输入规则那为什么凭啥说这个是人工智能呢因为他确实学一些东西比如说

你说了所有的树都是植物同时所有的植物都会死那它就能推理出来简单的推理比如说你树一棵松树它告诉你松树会死这是它的一个推理可以但是这个非常简单是个很简单的知识推理那个 Psych 确实也应用在了一些特殊的领域比如说教育领域让一些小学生去做算术题或者说医疗领域去做制药行业的词典因为它是一个完整的数据库知识库嘛

比如说恐怖主义的词典他们有人拿去做就恐怖主义那些组织啊那些人物啊拍戏啊后来就出现了知识图谱的概念知识图谱是一个非常就现在应用很广泛的一个概念了那 psych 呢也被称为是最早的知识图谱

其实就是在实现有点像前面我们说的语义网络把这些词的关系弄起来了这么说现在也更形象好理解一下对我再说个更具体的知识图比如说大家搜百度的时候百度搜索出来一个结果你搜一个人他会告诉你相关的人物或者相关的事件这其实就是用了知识图谱的方法但是呢 SEC 作为当时人工智能领域在当时位置历史上最大投入的项目是非常有争议的大家也容易理解因为

成本太高了成本高和它最后的效果没有特别匹配因为它没有验证出来它有非常好的自我进化自我学习的能力全是靠人工去说没有什么质变有的科学家甚至就说塞克就是个灾难性的失败批评的人人里面也包括了大师明斯基他自己就亲自说过他说很不幸 80 年代最受 AI 研究人员欢迎的策略已经走入死胡同了就是所谓的专家系统

它在法律医学等等这种严格定义的学科领域模仿人类的专业知识可以将用户的查询和相关的诊断论文摘要匹配但他们无法学习大多数人类的小孩在三岁时就知道的概念专家系统的建构必须重新开始因为他们没有积累常识性知识转了一圈感觉又要回来了就是说要重新搞嘛嗯

那 SAC 最早的目标是百科全书前面也说了野心很大呀是一个尝试性的酷我应该要实现莱布尼茨之梦的但最后就变成了一个你只能在一些很窄的很窄的领域才能用到的

跟大家翻一个专业词典一样肯定是没有达到预期电子百科全书对不能叫人工智能了关于 SAC 的评价它是一个人工智能的专门课题甚至变成了 SAC 从 90 年代发布之后每年都有各种文章点评它就变成了一个大家一直在做的事情了

那塞克在正面的贡献我们也要提一下我个人的理解除了刚才那简单的几个效果他还是有两个重要的贡献的第一个贡献就是明斯基说的他证明了这条路走不通这也是个贡献就大家试过了举这么大的力气去做了这么一个事

那个年代已经开始出现了机器学习的概念但是机器学习停留在人去教而不是自己学这是两个流派机器学习的这个机器学习的流派就叫做基于规则的机器学习就是我把规则输进去你去学会一些新的东西出来这条路发现不太好走这个估计明斯基都没想到未来隔了原来人工智能这个命的就是他打死的神经网络这个后面我们接着说

第二个贡献塞克的贡献是什么呢就是他成了人工智能领域的皇甫军校咱们经常说一个设备捧的太高投入太高那就是泡沫但是泡沫退去之后往往还是会留下一些好的东西的比如说参加塞克的很多人都成了人工智能领域的重要专家麦卡锡这些顾问咱们就不说了比如说拉玛纳坦苏古哈

印度裔的一个著名的计算机专家他发明了 RSS 他发明了 RDF 这种网络标准他定义了很多早期互联网的标准后来加入了苹果加入了网警浏览器目前在 Google 工作是 Google 的一个研究员再比如贾里德弗里德曼是 YC 的合伙人美国最大的电子书和文档平台 Scribd 的创始人

你可以理解相当于美国的微信读书再比如斯里尼亚斯里尼瓦桑是雅虎的五号员工再比如斯托尔特罗素是加州大学的教授写了一本书人工智能这是全球 135 个国家地区 1500 多所大学的通用教材所以说还是大师云集人才辈出的

还是那个年代的一号工程相当于是那不光 SAC 美国还投资了很多类似的项目比如说有一个公司叫 Thinking Machines 就专门搞计算机的就思想机器思维机器创始人叫 Danny Ellis 麻省理工博士毕业有三位导师

两位咱们故事里都出现过一位你想 MIT 嘛一位就是明斯基另一位香农那个时候还对啊香农其实活得比较久了挂个名吧这位 Helis 是计算机和互联网领域的先驱他创办的这个公司 Thinking Machines 推

推出了最早的商用并行计算机 Connection Machine 就是这种计算机是当时世界上最快的计算机在这之前计算机都没有并行的概念的并行计算出现之后他是第一个把它推出来商用的

当时合作伙伴也都是群星璀璨比如说当时跟这个 Synchemosense 合作的科学家就包括理论物理学家费曼南非生物学家诺贝尔奖得主悉尼布伦纳等等计算机领域的包括明斯基刚才说的道格拉斯莱纳特等等都是他的合作伙伴

计算机也卖到了各种大型实验室和各行各业那就是早期的苹果这是个意思包括谢尔盖布林最早用计算机也是先用的他们出的计算机上大学的时候就用他们的编程后来创办了 Google 虽然计算机没有做下去

这个 Thinkimershins 在 94 年就关门了但是这个 Danny Hillis 这个人很有意思咱们稍稍跑个题说说他干了啥没闲着 96 年加入迪士尼担任迪士尼幻想工程研发副总裁深度参与了迪士尼的主题公园影视剧和消费品业务的开发

设计了大量的主题公园和公园里的各种机械设施搞机械去了就是对搞机械搞创意做战略大部分时间是做战略所以师承他的导师一外相成同时创办了一家智库机构叫 PlaidMans 帮别的公司建造了各种比如大型数据中心

并且这个大型数据中心就后来成为了各种公司去做大型数据中心的模板就有点像后来的大数据这个是一个早期的前辈了他还给这个 Herman Miller 那个贼贵的椅子品牌给那个牌子做电源和照明系统和音频隐私的解决方案反正啥都搞啥都就是发明家可以说在 05 年圣诞首成立了一家公司叫 MetaWeb

做了一套结构化的知识库就是知识图谱这个公司就专门做知识图谱的后来被 Google 收购成为了 Google 的知识图谱这是给全球的互联网搜索还做出了贡献巨大贡献因为当时 MetaWeb 的 CTO 他自己肯定不会去但是 CTO 去了 CTO 叫约翰·詹南德雷亚他跟着去了这个 CTO 后来了成为了 Google 的 SVP 高级副总裁就是 Google 搜索的主管

18 年约翰·詹南德雷亚加入苹果目前是苹果机器学习和 AI 的高级副总裁直接向库克汇报丹尼·黑利斯还在医疗领域继续发挥余热一直在研究癌症和蛋白质的项目他自己是南加州大学医学院教授和工程学院教授同时是南加州大学国家癌症研究所的第一首席研究员

2015 年他创办了一个公司这个公司叫 Dark Sky 是一个天气预报公司后来苹果觉得不错买于是现在我们看到了苹果各位有没有两年前突然觉得 iPhone 的天气应用比好用的就是直接接上了 Dark Sky 又是一个成才真是什么都做五花八门最神奇的事是什么呢是 2013 年

是 2013 年苹果热火朝天的跟三星打官司说三星的手机抄袭我们抄了什么呢就是电子屏幕上多点触控多点触控操作这个界面就是多指触控捏合缩放这个现在当然我们都知道是智能手机的标配嘛

确实是苹果先推出来了打着打着三星说不对啊我们发现了一个专利你也不是首创啊一看这个专利首创是谁啊丹尼黑利斯这位居然发明了这么个东西啥也行啊真的是所以苹果没搞着啊这个事上所以说丹尼黑利斯也是一位奇人有兴趣的朋友可以自行去了解一下前面说的是在泡沫当中美国的情况但是这个泡沫里面也出现了一些

真金白银就前面我们说的其实它后面的遗产还是挺多的美国不是全球唯一在跟日本军备竞赛的英国有一个 ALVE 项目 ALVEY 投入了 3.6 亿美元英国政府从来都是看局势不对立马停掉所以他们停的比较早一向是实用主义欧洲有一个项目叫 ESPRITESPRIT 也在搞当然也没搞出太出色的东西来

我们还是说回日本日本搞的确实有点太一想天开了大旗是举起来了但是投入的资金 10 年内达到 8 亿 5000 万美元听起来是挺猛的实际上不猛 IBM 在当年一年的研究经费就 15 亿美元了他 10 年一个国家才投入 8 亿多首先投入不是特别重然后他想法又太高了预期太高了

所以那个时候就变成了一个很混乱的局面骗子丛生很多人拿政府资助的钱就说我是 AI 专家我是搞计算机牛逼的人均 AI 活佛人人都去写 PPT 去拿经费 PPT 里的内容跟现在我们说就搞个 PPT 能融资差不多给写 BP 差不多都是各种黑话看着很屌也不告诉你怎么实现就可以看一下这个图就是没有一句人话都是话打饼

就搞些术语然后随便画个系统的集成图相互的关联一下画画箭头画画框反正最主要的最流行的那些词必须要出现对总的来说就很多团队跟我们半打铁 14 期曾经讲过的汉兴科技好不到哪去

就我们看一个侧面比如说一开始搞这个项目会议记录有 280 多页到了 88 年会议记录已经 1300 多页了就是开会越来越冗长而且这个会上课题啥都有就越搞越大杂烩越搞越东北一锅炖啥都放反正说逻辑没用咱们还是看结果五代机搞出来了吗硬件确实还真给它搞出来了但是非常差

跑个分就知道了一看啊比 IBM 当年的机器都差到不知道哪里去了而且那个时候其实英特尔的 X86 这种芯片已经出来了性能是非常好的

根本没得打而且发现因为你看他他这杂杂绘的一个点就是他他又不是专心搞计算机的他又想在计算机上搞很多这种符号派的逻辑推理后来发现符号派这些东西啊对计算能力的提升真的是一毛钱关系都没有啊你没法通过说我加一些规则就让他更理解反而这种传统的方式进展更快这个传统的模式是啥意思就是还是摩尔复合摩尔定律的那种传统的芯片我的

内容越含越多我存储量越来越大通过物理世界来解决问题对还是这种方式更好你加人工智能的规则没有什么用最后这个项目差不多就算黄了那个时候全世界都被吓得勾枪因为觉得日本要颠覆世界了结果这个项目搞得跟个江湖骗子一样大家松了口气

反而说美国当时因为这个风潮搞出来的计算机令与搞出来的并行计算变成了主流因为原来 CPU 单核的功耗问题是有一个瓶颈的得到解决了显卡也普遍的开始用变形系统了一直到今天我们用的计算机也都是变形系统为主各位想想自己的电脑就是用什么几核几核苹果多少核什么 CPU 显卡多少核都是变形的意思

94 年的时候日本通产省自己结案了意思是虽然我们不继续搞了但是我们这个项目还是相对成功的我们启发了后人不算是彻底失败要给自己抹布一下理解这就是科技历史上走了一次弯路反正就是说好的方面积极的方面但是迄今为止很多科学家去看很多媒体去看

都没有一个主流的计算机技术团队说曾经得到过五代机的启发所以这个结案基本上就是给领导汇报就是上吊之前化个妆死要面子最好最好袁一博呢就前面说到那个负责人 94 年去东京大学当了老师两年后退休 06 年去世那也算是比较遗憾的一个结局了想想前面的四十浪人真的给人放出去浪了一圈就没回来哎呀

所以日本这个直接的影响是各个国家的政府本来看不能让日本人搞出来结果发现续经一场得该干嘛干嘛撤资的撤资关公司的关公司收摊了各位收摊从 90 年代初到 93 年底有 300 多家人工智能公司倒闭或者破产第二波寒冬正式到来

进入第三章了第三章叫梅花香自苦寒来宝剑锋从魔力处还得继续努力我们先回顾一下目前人工智能领域发生了什么符号派的这种推理方法被验证不行了这是早期第二波寒冬之前靠知识这个 SEC

这个项目也被验证走不太通了那符号派这个时候基本上就是彻底没落的一个时间节点从此之后符号派就没落到今天为止都没有抬起头来人工智能专家们就开始转投别的门派搞别的思路可以说在寒冬里面就各种遍地开花

第二次寒冬期间发生的事比较零碎我整理了一下我们讲一些有代表性的好首先控制论相关的学者开始冒头了你符号派不是不行了吗那试试我们行为派的 1990 年机器人学者罗德尼·布鲁克斯写了一篇论文大象不下棋认为机器人的认知能力不应该是灌输进去的应该通过与环境的交互完成这个说法称为

就是给予身体也就是巨身就是你不应该让他在电脑存储器里学应该让他巨身他跟真实的环境交互去学习有体验入与实相合他用这个理念一直投入机器人的研究在 90 年成立了公司 AirRobot

目前是一家市值 12 亿美金的公司说到这儿可能有听有知道是一家做扫地机器人出名的公司同时还有拖地机器人等等包括商业和军事领域也有那种处理危险品炸药之类的操作的机器人去年亚马逊准备了 17 亿的美金全资收购目前还在进行反垄断的审查应该没有结

虽然没有造出来想象中那种机器人但这个成果也还是不错了在垂直领域是可用的另外一件事呢就是明斯基又提了一个新理论写了一本书叫 The Society of Mind 心智社会什么意思呢

就是他发现人类思维不是一块处理器不是一个 CPU 其实前面咱们也说过皮茨研究也发现从青蛙的实验里面包括大脑它也是一大堆 CPU 组成的彼此是独立的

不同脑去干不同的事就他们自己呢有自己的思考方式和决策规则就哪怕人类你做一个决策可能也是一堆 CPU 各自判断最后结合到一块进行信息传递最后输出的一个结果这个就很像什么呢像社会那那

社会上不就是你看一个大的社会抽象出来就是各种人在里面交互最后产生一个好的反馈和结果我们应该造这么一个东西就是心智社会这是他后来很多年去哪都讲的一个理论这个理论也没有具体落地但是后来确实给一些学者们提供了一些启发还是能够起到一些指导作用的对其实他跟并行计算或者怎么样的

类似吧这些理论要这么说的话进一步的迭代对吧当然在 90 年代最值得讲的一件事大家应该都能想到人工智能最重要的一件事是 97 年的深蓝 deep blue 这个估计很多听友都知道在这之前我们还是往回倒我们把下棋这个事倒一倒

因为下棋毕竟它是教人工智能这个小孩的一个固定题目基本上从人工智能出现之时 1956 年他记得三明尔他就做过一个下棋的小程序下棋的水平基本上是大家在验证人工智能现在到达什么水平了 97 年那是一个非常重要的里程碑所以咱们展开还是说说人机下棋的历史从最早开始说起来到了 1769 年这么早 1769 年德国发明家

肯佩伦男爵他搞出来一个东西叫自动机当时就叫自动机了他说我这个自动机可以下国际象棋这个象棋的这个机器呢叫土耳其人土耳其人为啥叫土耳其人因为他上面摆着一个假人就是一个机器人嘛他认为当时还没有机器人这个概念这个人呢是一个木头制作的穿着土耳其风格衣服所以叫土耳其人他

带着这台机器去见奥匈帝国的女王特雷西亚从此之后也成为了整个欧洲贵族的娱乐项目他真的会下棋你下一个棋这个木头人也给你摆棋子下棋原理上呢大家也不知道很神奇 1804 年肯佩伦男爵去世

土耳其人卖给了德国发明家马泽尔 09 年马泽尔还带着这个机器去给当时的法兰西皇帝拿破仑看拿破仑下据说还下书了下书了恼羞成怒我掀了棋盘我进了他不下了老子不玩了土耳其人当时还跟美国国父本金明弗兰克林下过棋跟小说家艾伦波下过棋跟英国数学家发明家巴贝奇下过棋

反正那就是走南闯过北气质树中有八翠走南闯过北气质树中有八翠不过这几位聪明人刚才说的什么弗兰克林巴贝奇艾伦波他们一下就知道不对劲这个肯定首先它肯定不是科学技术应该是用了一种魔术

或者说直接点就是障眼法它应该是一个魔术师而不是一个什么真的是机械工程师因为那个时候肯定是达不到这个水平的后来这个机器在 1838 年被废成的有一个博物馆叫中国博物馆收藏在 1854 年被一场大火烧干净了后来很多人其实一直研究因为它变成一个非常知名的课题非常知名的一个机器传世知迷是

尤其是国际象棋领域当时已经有很多专家杂志媒体在研究还有一些当事人后来出来说话了比如说最后一任主人的儿子他也出来说反正这个机器现在已经损毁了那我有一务来跟大家讲讲背后是怎么回事

简单说就是一句话这个机器里边藏人了就是个最简单粗暴的解法想想也是这样确实是个魔术师爱使用的方法他是怎么弄的呢棋盘上的棋子它是有磁铁的所以你藏在棋盘底下那个人他能抬头看见这个棋子怎么运作首先他就知道局势了

另外他确实用了一个很巧妙的方法让这个人在里面躲着的时候他能用手去操作这个木头人木头人就能去拿棋子拿那个位置的棋子挪到一个什么地方这就解决了这就好讲话了这里边藏的人那是顶级的国际象棋大师他请了各种牛逼的国际象棋大师那你可

可得下书了愿意当枪手也是不容易对这个有兴趣的朋友可以去研究一下我确实没展开研究这些他是怎么请的这些国际前级打击卖机器的时候得带一个说明书说明书上就一行字存够钱这是世界上非常传奇的第一个下棋机器人虽然是假的但是关于他的故事和传说非常多光讨论他的书就有很多很多本

包括艾伦波毕竟是跟他直接下过棋的也写过很多小说也让他的知名度大大提升了他那个小说名字叫肯佩伦和他的发现就可以去了解是他第一任主人 1927 年还有专门的电影你看这么早的电影就开始拍这个事等等可见当时在全球的影响流行文化土耳其人就说到这我们说一说刚才提到

提到的跟土耳其人下棋的巴贝奇这个也很丝滑这是一个当时非常出名的一位数学家和发明家 1791 年出生后来在剑桥大学学习数学他在天文学物理学数学密码学铁路工程学等方面有一些贡献还好这个没有那么长当然他亲史留名的最重要的贡献叫做差分机是 1822 年搞出来的什么叫差分机呢什么叫差分机

它可以计算多项式函数而且整个都是机械运算的大家印象中的比如算盘它就是加减乘除还有一些机械的就是欧洲出现的最早的也是计算器也是最基本的那种机械原理的只能计算简单的运算你计算多项式函数但它实现的方法它用了一种数学方法叫有限差分法

所以它是以这个数学方法命名的所以叫差分机它可以计算微分它

他用微分计算这里面的大量计算因为你如果要用机械的方法计算乘法和除法是很难实现的但是用微分可以绕过乘法除法计算很多多项式的方法这个不好理解了因为学的那些确实忘的差不多了对有兴趣的朋友可以展开去了解一下但是你看到这个机器你就知道他确实不是一般人我靠这是纯机械的纯机械的啊

相当于怎么说呢就一个单元吧十层楼啊然后每一个窗户里头都给你放一个密码锁的那种样子大家想象一下对是个非常复杂的机械设备啊它是不需要任何电路板啊晶体管这些东西的但是能计算复杂方程啊

这是计算机史前的一个 demo 了可以确实说这个太厉害了对你可以说它跟图灵机很像了但是很可惜差分机在那个年代很难造确实很难造我们看到的是一个设计图它要真想做出来工业标准是很高的而且哪怕说工业标准能达到但是当时巴贝奇跟他找的工厂的

那些师傅最后沟通工厂的老板沟通后来应该是在成本上发现太难控制了人家没接单了后来做到一半发现这个我不接你单了事实上没搞出来但是后来一直在搞在

在后代大家真的实现了而且真的算出来了这个是后面就是在他去世之后的事了那工艺水平提高之后这个事就他还是领先于时代的是那查芬基的历史地位是非常高的因为他确实证明了计算问题可以让计算机去解决的包括后来巴贝奇还持续优化提出了一个分析机的概念

分析机输入就用打孔卡大家有没有觉得又回到这个早期计算机就是用打孔卡去编程但这个时候其实也就是个 19 世纪初对 19 世纪初同时它能拿着之前计算的结果为下次计算做输入等等它提出了很多这种新的方法

从原则上说他的分析机已经是图灵完备的一个设计了可以解决所有问题但是当然你这个机械成本就不可控了他可能早期计算机是一个房间他可能得移动楼了巴贝奇到去世之前一直都在优化迭代自己的设计虽然在世的时候没做出来 91 年伦敦科学博物馆根据他的设计图做出来了一台查分机但是这个做出来不是为了用了就是为了纪念他了

成功计算出了正确结果所以巴贝奇也被某些人认为是真正的计算机之父所以我们说算上图林和冯诺依曼确实父亲比较多还有前面一个老祖宗莱布尼茨对所以说这几位也都值得被称为计算机之父从不同的角度说巴贝奇在计算机领域的影响还不光查分级他还机缘巧合的给了另一个人启发又要穿另一个线索了

1833 年有一位姑娘来找他巴贝奇一问是谁呢这位叫艾达洛弗莱斯也被称为洛弗莱斯伯爵夫人所以你一听洛弗莱斯就是她老公的名字是一个伯爵嘛她有个本名叫

叫拜伦所以他全名叫爱达拜伦那说到拜伦大家想到的是世人拜伦是吧所以这位巧了就是世人拜伦的独生女他女儿如果不算拜伦的私生子们的话这是唯一他跟正七生的名正言顺的孩子嗯

这位艾达来了之后他也肯定是通过贵族的这种关系介绍的巴贝奇估计觉得这就是个普通贵妇接待一下好了他是个发明家就掏出来一些玩具给他展示给你看看我发明了这个发现艾达洛弗莱斯不太一样他很喜欢数学和科学而且非常懂他特别喜欢查分级遇见行家了

这两位结成了非常深厚的友谊巴贝奇和艾达持续

通信写信交流各种的数学和计算机的这个看法巴贝奇还给艾达起了个小外号叫数字女巫你听这个名字就觉得挺酷的艾达还会写东西他就觉得你这个东西太好了我要让大家都知道他帮着巴贝奇翻译和注视了很多介绍分析机插分机的文章在科学界引起了很多关注啊

包括法拉第自己就表示我就是爱达的忠实老粉爱达发现很多人就看不太懂因为他介绍他这个机器的是一个作家用意大利文写的然后他写的就比较简洁所以爱达翻译的时候他就做了大量的注释甚至说他注释的内容超过了文章三倍还多甚至这里面他要详细写案例他要说告诉大家这个分析机这分析机是个硬件设计嘛

刚才说了它其实是一个图灵机了我在这个分析机上我能做什么事呢我告诉大家能做什么事比如说我写了一个分析机的计算伯努利数的一个序列的案例因为毕竟分析机它还是一个不存在的一个虚拟设计但是它设计很严谨所以它的这个程序如果真造出分析机来

是真的能运行的虽然是纸上的但是它这个是真的能运行的第一个程序所以爱达被称为世界上第一个计算机程序员这个程序也被称为世界上第一个计算机程序这个例子是他自己享受来的他自己写的完全是他自己写的一个程序并不是援引对对对所以说他这个注释的价值就非常大明白了

就说到他们友谊真的非常深厚互相启发了很多在 1851 年爱达在癌症晚期的时候还写信给巴贝奇让巴贝奇成为他的遗嘱执行人他们两个人的友谊也算是一段佳话了后来关于爱达的纪念非常多

美国国防部就发明了一种计算机语言就叫爱达 1981 年计算机领域女性协会设立了爱达奖 2022 年英伟达发布了新的 GPU 架构叫做爱达就去年啊就去年很多地方都有爱达的雕像包括最新的 ChatGPT 背后的技术 GPT3 它做了好几种模型就是可能大家比较熟的有达芬奇模型另一个模型就叫爱达还有一个并行的模型叫巴贝奇哦

如果各位朋友如果在座的听友是英国的朋友打开你自己的本国的英国护照里面翻到一页你就能看到巴贝奇和艾达地位还是非常高的是印在这里印在你的护照里的某一页的小蕾可以看一下哇

左边是这两位的手绘形象图右边应该是两台计算机屏幕对就代表的是英国在计算机或者互联网领域的两位比较知名的人物这是这么一个主题这是一个插曲刚才主要讲的是早期一些局面巧合早期先驱版一些有

去的一些交集因为咱们之前人工智能讲第一期的时候评论区就有朋友说怎么没讲查芬基查芬基对图灵的启发也确实非常大所以咱们这也算是补上了让这个机缘巧合补上了这中间也稍微提一下艾达是非常不认同人工智能的他认为人工是做不出来智能的这也是一个非常早期有意思的一个观点他从他的推理演算上认为人工智能是不能成立的

因为查芬奇毕竟是从机械上达到了那种某种意义上的完美所以思路确实是两条线上的对思路上会更接近规则规则会更接近符号派或者说控制论相关的那一派是吧

我们说还是说下棋的事图灵自己咱们在第一期就讲过他搞过国际下棋的程序也是没有实际运行的在纸上演算过说是可以的对然后到了达特茂斯会议在五六年塞米尔写了一个跳棋程序这个跳棋程序已经可以学习一些东西了就他并不是说只是纯标注的纯标对纯规则的在规则之上他确实很厉害能下赢过一些跳棋大师了但跳棋规则相对简单一些嗯

1980 年代加拿大阿尔伯塔大学的计算机教授舍佛他做出来一个跳棋程序叫 ChinookC-H-I-N-O-O-K 那是打败天下无敌手在之前大家就是做出来一些比较厉害的有一些人类大师还是打不过的他这个是

是真的打过顶级的跳棋大师的当时有一位顶级大师打败之后那位大师去世之后再没有人能打败这个程序了不过舍佛自己就去研究跳棋理论上的逻辑最后他用严谨的科学研究证明了就在规则上跳棋的规则上只要双方不犯错你总能找到合棋的办法也就是说 Chinook

他用一些方法之后他是永远不会输的明白了对就跟我们下那个五子棋我记得也是有这种永远不输的方法的那其实这么看就没有想象的那么实用所以这事就算完结了就在他证明了这个事之后就没有再搞下去的意义了就到了天花板了嘛跳起这个事

我们提过的很多大师香农冯诺依曼纽厄尔斯马赫麦卡锡全都研究过下棋的问题你包括冯诺依曼的博弈论那是直接影响了下棋和后面人工智能的很多分支的发展的包括麦卡锡在五六年就提出来的阿尔法贝塔简直算法对下棋这种

程序帮助也非常非常大这里稍微提一下麦卡锡他自己也做了一个国际象棋的程序这个程序叫科托克麦卡锡科托克是他的本科生就以他本科生的名字和他自己命名的这么个程序这个程序呢在美苏冷战的时候在 1966 年还参加了世界上第一次线上对战这可是代表国家形象的冷战的时候结果输了哎呦哎

就是说到这个比赛还是挺有意思的这个比赛虽然是线上比赛但是大家知道那个时候肯定没有互联网是怎么比赛呢用电报连电话都没有货

所以对面是苏联的下棋程序所以说这两边其实都是拿这个程序来下的都是拿程序来下的下棋贼麻烦就两个人打电报我发过去你去等半天发回来等多久呢就这么说吧从 1966 年 11 月开始下下到 1967 年 3 月一共才下了四盘

就下了四盘棋这是不眠不休的最后四盘棋美国 1 比 3 输了苏联他的人工智能程序下棋程序叫凯莎一战成名所以凯莎也是第一个能跟职业选手打平的国际象棋程序在这之前至少在国际象棋方面那就是地点打谁都打不过就稍微厉害一点就打不过了

当时确实你靠规则的下棋程序这方面苏联投入的精力他们的科学家们还是很厉害的美国后来挽回面子的是靠 1980 年代的两个国际象棋机器一个叫 Blitz 一个叫 Bell

这个 Blitz 我们就不展开说了但是这个 Bio 的发明人不得了肯汤姆森这个肯汤姆森未来很可能我们做互联网使唤会专门给他做一期他发明了 UNIX 操作系统后来这是个单人发明的操作系统一个人写的基本上核心都是他一个人写的后来的苹果系统和安卓系统全部都是搭建在 UNIX 上面

顺手在写 UNIX 的时候他发明了一个语言叫 C 语言所以这个 Bell 也是他业余做的一个相机系统这个相机系统还打败了 Blitz 成为了世界上第一个取得大师称号的计算机棋手这个

这个话分两头说话说明朝的时候太两头了明惠帝朱允炆也被称为建文帝就是被朱帝篡位的朱元璋的孙子决定给孔子的后人赐行辈也就是排行辈分就是你中间那个字我给你编排好了所以从 56 代开始孔家后人的中间名都固定了也就是西延公彦城

咱看这事怎么就跟前头那边要联系上了我们就说到第 75 代中间字是祥有这么一位孔祥仲中国台湾中央研究院院士美国国家工程院院士卡内基梅隆大学计算机系主任这就联系上了吧

这位孔子的第 75 代孙主要的贡献是在计算复杂度和并行计算咱们也提到了其实并行计算在当年是个非常核心的非常主流的一个课题了就在计算机硬件上这位也是非常重要的一个专家后来去了哈佛大学还成为了 Google 自研芯片 TPU 这个估计很多朋友都知道它 TPU

TPU 的第一代的首席架构师成功实现了脉动阵列就是一个很牛逼的技术了这就没听过 TPU 的出现基本上大家公认的是人工智能在新世纪发展的硬件基础我们后面讲的基本上是一些实现层面方法的技术 TPU 确实是最重要的硬件基础之一了

那这位孔相仲教的学生也是桃李满天下比如说查尔斯益莱瑟森要是各位朋友有计算机专业的看看现在垫在你显示器下面以前都是灰的那本《算法导论》这本书的作者就是他另外一位学生中国台湾许峰雄在读博士的时候就在搞下棋本来是去另一个老师团队的后来反

发现这个老师这个想法不一样就两个人起冲突这个许风雄我自己搞我自己搞下棋这个事起了个名字叫 chip test 芯片测试这个很直白的名字还被那个老师就觉得你怎么就另起炉灶了就排挤他排挤他大家要孤立他判处失门要搞你但是恐降重那这个人家有江湖地位啊你是我学生我保你嘛

所以有孔祥仲帮着去疏通人情去协调资源所以他这个项目也存活下来了而且这个 chip test 后来还拿到了非常好的成果成为了世界上第一个国际相机特技大师的计算机棋手打败了他原来那个老师 IBM 一看哎

这个好啊你们毕业之后打包打包打包我都要毕业之后就来了结果许峰雄就带着这团队一块去了当时 IBM 有个外号叫 Big Blue 大蓝嘛因为它的主题色是蓝色嘛

然后许鹏雄就说我们也拿这个起个名来都来了叫 Deep Blue 我们就改名叫深蓝了 1996 年美国计算机协会 ACM 的闭幕式 ACM 也是非常重要的一个协会了基本上是最顶级的一个协会了他安排了在闭幕式上让大家

去看现场观看安排了深蓝跟世界冠军俄罗斯特级大师卡斯帕罗夫对阵一共六局最后卡斯帕罗夫 4 比 2 获胜这是第一次比赛不过那个时候卡斯帕罗夫从一开始说完全瞧不上他们下下跳棋可以像我们象棋不可能不可能

他下完之后那是楼下买了镇楼机正盼到家来啊这中间这个机器下的不太像是机器下的呀有点像人下的而且是不是藏人了对可能真这么想机器有几部下的他原话描述就跟上帝下的一样上帝之手啊

1997 年历史性的时刻又来了又安排一次这次卡斯帕罗夫他用了一些各种各样的战术来骚扰对方就是他平时会用的一些战术因为大概有点像什么就是出几步你意料之外的让你心神不宁有很多棋手如果精神状态现在情绪受影响了你就下不好了这机器不需要无所谓的这无所谓的而且据说第二场比赛第一局

第 44 步深蓝代码出了点问题深蓝陷入死循环了结果他为了走出死循环他会随机下几步他就能退出去结果就这几步卡斯帕罗夫猛了这怎么回事他下到这是什么意思我慌了不按套路有点真龙奇局的感觉反而他受到了情绪影响状态就他自己后来不承认了但是后来大家明显发现他后来下的几步有问题卡斯帕罗夫认输了

深蓝成为了第一个世界上第一个战胜世界冠军的机器乱拳打死老师傅的感觉了是但是深蓝当时确实引起非常大的轰动但他用了多么高超的技术或者算法吗并没有还是穷选并没有

就是他确实学习了但是他也是学习的现有的旗谱在这旗谱上做了一些简单的推理深蓝是一台 IBM 大规模并行超级计算机有 30 个 PowerPC 处理器和 480 个定制的国际象棋芯片使用 C 元放了大量的比赛数据最后它这个性能好到每秒可以检索两亿个棋局哇

确实他用了巧妙的算法但是这个算法的基础就是麦卡锡在 56 年提出的 alpha beta 算法简直优化的算法用的机器学习方法跟当年赛米尔跳棋的方法没有太大的本质区别但为什么是 1997 年呢就是因为计算机的性能变好了它算力好了硬件上来存储量也能存了就之前你存不了这么多棋局

当然我可以说深蓝团队在这里面还是做了很多努力和工作的就猜在工程上怎么让这个机器支持它能下棋下这么好的棋这也是有突破的但是在人工智能的方法方面或者说它的本质规则套路这些方面不能说是有里程碑的因为底层上没有太大创新严格来说它还是符号派的遗产它甚至不能成为有机器学习的部分

可以理解所以主要它的里程碑是体现在在社会舆论中的影响力意义很大就跟前面说定理证明一样大家发现机器可以下能做这事了对能下复杂的一些东西而且就相当于老百姓更容易理解了是

那个时候有人就说了象棋是变化很少的人的优势那是处理复杂的局势有一些围棋棋手就说对让他学围棋铁定学不会的你有本事让他学然后围棋的故事我们后来现在都知道了对就是知道这个事的早就被举头了但是这是下期我们会聊的我们就按下不表深蓝还带来一个新的启发就是

既然计算性能已经突破很高的门槛了能不能试一点有意思的能不能用新瓶装旧酒说不定效果更好的以前没解决那事拿出来再搞一个 50 年代 60 年代其实有很多方法但是那些方法大家发现你塞不进数据或者说计算机性能没条件事情

这就说到在这个寒冬里面第二次寒冬里面诞生了一个很重要的新的概念或者说这个概念诞生了但是出现了一个全新的分支学科独立学科就是机器学习机器学习是个很大的概念这个概念其实在 1959 年被司马赫就提出了包括塞米尔

当时他写的论文就也提出了这个名词斯马赫当时说的这个表述很简单就是某个系统可以从经验中改进自身的能力就是学习这是个很基本的定义包括到现在大家还是使用这个定义的我们还是稍微解释一下机器学习的理念它跟编程不一样刚才也简单提过编程是指定规则完成任务机器学习有几个核心的特征

有一本中文学术或者说中文计算机领域很知名的一本书北大的李航老师的统计学习方法这里面就提到有几个关键组成部分模型策略算法这三个方面听起来很抽象但一解释就明白了比如说你教一个小孩模型是什么呢就是他得先有个脑子

他得记住这些学到的东西他得知道怎么用策略是什么意思策略就是考试的评分标准就你机器学什么东西你总得有个标准你告诉他你得奔着那个方面去比如说你要解决什么问题解决机器翻译的问题你就要看翻译的准确度怎么样你要解决自动驾驶的问题你要看事故率你要看他不出事看他跑的速度就你设定几个考试题这个就叫策略

算法这是第三个就是学习方法你这样这个小孩怎么学你得有个学习方法模型策略算法这三个加一块就是机器学习这其实就是把前面的这几个派多少有点融合了有点融合那个意思在 80 年代的时候机器学习就成了一门独立的学科 90 年代的时候机器学习理论知识越来越丰富越来越成熟算法的储备特别多了

比如说 1960 年被说是骗子的语音研究项目当中诞生的尹马尔可夫模型

这个模型后来成为了自然语言处理的非常核心的一个东西 1967 年出现的 KNN 算法 74 年出现的马尔可夫随机场 77 年的 EM 算法 80 年代的各种决策术算法 85 年的贝叶斯网络 95 年的支持向量机 SVM 和自适应增强的 AdaBoost 算法等等这些

全都是各式各样的就是如果你学就哪怕我这种基本上忘得差不多的这些名字还都记得半达铁目前为止知识含量最高的关口就是各种各样的基本算法就现在你学算法就得先从这些算法学起这里面呢既有监督的也有非监督的还有半监督的这个要解释一下所谓监督就是前面提到的虚不效训练嘛就

完全自主学习你就是塞给他他就能自己分自己去学给他个目标他就能学还有的是给他一些指定的训练库和更详细的一些指导如果是简单加一些规则有的是就被称为半检督的大概是区分度这个时候积极学习你从另一个视角看也分了两个派别一个是基于规则的一个是基于统计的

那基于规则就是我塞的东西很多就像前面你可以说那个塞克塞克也是一个基于规则的积蓄学习的一个大的项目了相对更偏向符号牌还是对基于规则的就是符号牌嗯

基于统计的慢慢的开始变成主流它就是基于大量的数据我更多的不是靠规则我是靠数据让你自己去理解自己去判断这偏行为派对更偏行为派或者连接派两个结合一下对为啥呢因为你看看时间已经是 97 年左右了熟悉计算机和互联网历史的朋友就知道互联网浪潮要来了 94 年雅虎成立

网警公司也成立了 98 年谷歌成立他们带来了海量的内容这个时候科学家们一直梦寐以求的知识就要来了就之前你这种输入的方法就是基于规则的那我把那些没有任何分类没有定任何规则的数据全都塞给机器这就可以是基于统计的机器学习了那数据这么多了信息这么多了基于统计的方法慢慢的就开始变主流了

就好比这么说就之前可能对于计算机专家们来说你要整大量的知识库你得自己去你要自产对你要自产你哪怕你去拿一本百科全书的内容那也多少字几百万字几千万词但是互联网这个词可不是按这个数量级计算的它的数量级是非常大的而且是真实生产的内容就你数量多了信息多了另外就是计算性能也好了

所以说寒冬虽然是寒冬但也蕴藏了机会刚才说的这几个方面我们总结一下第一计算性能好存储量大了硬件准备好了第二互联网来了数据和信息准备好了第三机器学习兴起了理论基础也准备好了接下来就缺一个掌舵的人了

我们进入第四章十年寒窗无人问一举成名天下之这要真的要出人了 1947 年那是一个冬天杰夫辛顿出生于英国伦敦温布尔登嗯

他是家世显赫书香门第中名鼎石多中名鼎石大家请问这是 19 世纪的英国数学家哲学家乔治布尔他就是咱们前面提过的发明布尔代数的那位非常厉害的一位科学家杰弗辛顿是他的玄孙乔治布尔的女儿也就是杰弗辛顿的曾祖母是爱尔兰小说家写过牛蒙牛蒙是他写的对

19 世纪还有一个著名的外科医生和作家詹姆斯·辛顿最出名的不是他的医术和小说是他被认为是著名的悬案伦敦连环杀人案开膛手捷克的一个重要前余人很多人都觉得是他一直都没有一个明确的到底是谁对 詹姆斯·辛顿的儿子查尔斯·霍华德·辛顿是数学家和科幻小说家他推广了一个概念叫第四维度

他描述了一个概念叫超立方体它是四维当中立方体的一个形容有点像四维空间的一个物体在三维世界的投影这是他画出来的他画出来这么一个东西能把这个东西画明白就很难因为三维的生物基本上就理解不了对

比如大家可以去一些视频网站 B 站去搜一下第四维度或者超立方体的一些可视化的一些内容大部分都是依据它为基础它是开创者那就相当于包括这个对其实对科幻的影响会非常大比如诺兰的星际穿越等等其实都用了很多

他的之前提出的这些理论然后杰弗辛顿的堂姐叫琼安辛顿是麦哈顿计划当中非常非常少见的少数几个女科学家之一麦哈顿计划麦哈顿计划造原子弹的琼安辛顿还是国际主义者美国真的投了原子弹之后琼安辛顿立马退出了麦哈顿计划并且长期治理游说政府把核电技术国际公开当然美国政府肯定是不会公开的了

琼安新顿的亲弟弟威廉新顿写过一本书叫翻身中国一个农村的革命记事没错他写的就是 1937 年的延安包括琼安新顿对中国也心怀向往 1948 年琼安新顿来到中国这本书

成为宋庆龄团队的一个工作人员并且经过宋庆龄介绍成为了共产党的一个工作人员并且一直生活在中国起了个名字韩春寒冷春天跟今天主题也契合后来从事过各种各样的工作比如说翻译在 70 年代特殊时期结束之后成为了农业机械部的顾问

虽然他是原子弹专家但没有任何证据显示他参与了相关的工作这个 96 年接受 CNN 采访的时候你看特殊时期已经过去挺久了就问他说你这些年经历的当然大家也知道大家期待他媒体期待他会说什么但是他的原话说的是他对邓小平的改革开放非常失望非常失望我眼睁睁看着社会主义梦想破灭

公开表示所有的你搜到他的信息里都表示他是毛的坚定支持者百分百的支持者哪怕特殊时期他觉得毛没有错是奔着他的一天元来的原教旨无图帮主义者对所以这是一个比较有争议的一些看法和一个比较有个性的人物 04 年成为北京首个拿到中国绿卡的外国人 10 年在北京去世这也是一个非常有意思的堂解宗

总的来说杰夫辛顿这个家庭那是很活跃学术圈社会名流你甚至包括他爸爸都非常厉害他爸爸英国皇家学会会员科学家昆虫学家众星云集这是那么杰夫辛顿在家族里是个什么样的存在呢是不是跟前面说的维纳或者皮茨一样天才儿童呢这不不是可以说是干啥啥不行他爸就说他说你呀

你只要努努力拼拼命等你的年龄是我现在您的两倍的时候差不多你的成就可以就有我的一半了这还真不是 POA 确实他是实话实说杰弗辛顿他虽然本科考入了剑桥大学但是先学物理学发现他自己数学太差了一个月辍学去学建筑学一天

辍学去学生理学发现生理学也还是要学物理不行数学还是不行换学哲学哲学也不行就搞了一阵发现哲学不行学心理学最后估计是家里压力太大了这次实在转不了了实在不转了再转硬撑着毕业最后终于毕业了拿了个学位就毕业之后就决定

哎呀是别搞学术了我感觉是搞不成啊就我这个水平搞学术没啥意思我还是老老实实回老家吧满有自知之明啊干啥呢回伦敦做木匠这个木匠可不是艺术家那种木匠就是真的打木头做木匠就本来呢正常来说就默默无闻就过一辈子了这个时候上帝动了动手指头啊

杰弗辛顿有一天读到一本书这本书叫行为组织你看这本书可能不太好理解但是这里面他主要论述的是神经元的基本逻辑这本书恰恰就是激发了罗森布拉特做出感知机的那本书所以他是一个神经网络最重要的一个指导书籍杰弗

杰弗辛顿看着那如痴如醉当时去这个地方的图书馆学习做笔记当了一年木匠之后就这次确实投关系去他爸爸的学校上班了就是个临时工临时工是干嘛呢是当时有一个心理学的短期项目毕竟他是有心理学学位的所以就能参与进去

这个项目做完拿到心理学短期项目的履历去了爱丁堡大学为啥去爱丁堡大学爱丁堡大学有当时英国政府投资的人工智能项目这个时间点你一对就知道这是 70 年代第一波兴起的时候那个时候各个国家也都投入了很多钱在 AI 上面

当时他去爱丁堡大学是一个什么状况呢就是他后来经常跟别人说呀说我做项目的时候我的同事就这么介绍我这个哥们啊物理学不及格心理学退学然后搞人工智能为啥搞人工智能因为这个学科啊没有任何指标没有任何标准就是随便弄就行对没有 KPI 杰弗辛顿每次都还会纠正说错了啊嗯

我不是心理学退学物理学不及格我是心理学不及格物理学退学这样能稍稍挽回一下我在人工智能领域的声誉哎呦这是怎么挽回的呀这是因为物理学嘛更难一些对物理学对更难一些所以也算是一个很有幽默感的人吧就从这能看出来他当时在爱丁堡大学跟那个实验室的负责人这个负责人叫

朗吉特西金斯他跟着他干这个朗吉特西金斯虽然不是搞计算机的他对人工智能很感兴趣一开始他们就在搞神经网络就拿着这个行为组织这个书当为当做核心的指导嘛搞着搞着有一天

朗基特西京四路咱们不搞这个了得换个思路我们做符号学研究杰弗西东说为啥他说你不知道有本书吗有本书要赶制机明斯基大师写的人家就判了死刑了你还搞啥有啥好搞的这死路一条到了那个时候了到这个时候了

杰弗辛顿不死心他说我自己有信仰你其实看他读大学的时候为什么他要读物理学心理学哲学其实他那个时候就对围绕大脑的这些学科和课题非常感兴趣他觉得你不搞大脑这个东西符号学这些那就没意思了这是我毕生的追求那不能说不搞就不搞

身边朋友各种劝就跟人一讲说我搞神经网络所有人都劝不行了过街老鼠了你去伪命去你去搞点有前途的哥们你听哥们一句劝你别搞这种没前途的东西

他都不听人家就是有信心真是靠他保留了火种感觉真是这样而且他自己也是读过感知机的他不是说就盲目的觉得他那个对他读完感知机之后他就说这本书就是罗森布拉特的批判书整本书就没啥意义能看懂因为这里边他提到的罗森布拉特的那些问题他认为自己能解决而且必定会解决的但是很难一方面杰弗辛顿数学确实不好

就是一般的计算机学家都是自己搞研究你就类似爱因斯坦他数学肯定也非常好他自己去做演算杰弗辛顿不演算他自己没有能力所以他提出想法来他都是假设这个好像是对的然后找个哥们找个朋友你帮我算一算你帮我验证一下用这种方式去做挺折腾的这个比较难那这个不是核心第二个难点就是第一波寒冬来了呀

这正好时间到了到了 70 年代末了人工智能的资助全球范围内几乎都没了杰弗辛顿也没办法你连整个人家符号牌都拿不到钱凭啥你能拿到钱这个时候说一句题外话他爸爸在蒂波汉东里 1977 年去世了

后来杰弗辛顿还有个说法就是说都怪当时韩东就没给他看到我后来多成功这个家伙就死了他得了一个没有高度遗传性的癌症死的所以他做的最后一件事就是增加了我的死亡概率感觉亲子关系也就那样了对也是比较有幽默感

那寒冬里面确实不好过就连工作都不好找了杰弗辛顿那个时候特别难就发一波简历就跟现在说互联网寒冬里你发一波简历连面试机会都不给最后只好考虑说要不要去美国美国稍微好一点虽然这个比较远但是这个手头的事还是想做下去最后还真找到一个机会

前面我们说的这个朗吉特西金斯啊虽然他们两个路线不合他不想让杰弗辛顿搞神经网络这些东西但是他对杰弗辛顿还是很好的最后还是给他颁了学位所以杰弗辛顿还是 75 年拿到了人工智能博士学位所以他能拿到这个学位去找工作导师也不错还不错对他拿了这个学位到了加州大学圣地亚格分校哈哈

去了之后发现有惊喜啊虽然这个明面上就是大家核心的这个学术下不讨论神经网络但是这些好多地下组织就是有些爱好者还在搞神经网络天天打暗号有朋友没那么夸张但是他们确实是以爱好者的组织就不会在正有钱没钱就无所谓了顶级的学会上对就不会在顶级学会上出现但他们有一个组织叫并行分布式处理你看也不提神经网络嗯

就 PDP 并行分布式处理

但是这个逻辑跟神经网络就很像因为神经网络也是用网络和并行的处理方法加州大学另一个教授叫鲁梅尔哈特他就是 PDP 的一个核心成员他跟杰弗辛顿就经常交流自己最新的发现和创造他跟杰弗辛顿说之前神经元在系统里的权重都是平均的这样是不对的因为当你单层网络变成多层网络之后它就

不现实了它就不好实现就我举个例子权重平均的什么概念就比如说之前咱们说感知机它能识别数字那数字每一个像素点就代表着说我更接近哪个数字对但是中心位置的像素点和边边角角的像素点它应该按理说起的作用应该

不太一样就月中心的像素点或者某些特殊位置的像素点它起得到作用应该更大我更应该看这个像素点的价值我觉得可以这么举个例子比如说大家炒菜你一个菜要色香味俱全你要加很多辅料比如说你要这个是保证它的酸口的那个是保证它的甜口这个保证它的咸口

那一种是你要调整说它在这里面的量就这个糖要多加一点糖要少加一点这其实是调整一种权重还有一种就是整个菜这个菜甜口在这里面起到作用非常大那我在加甜口的时候我要格外注意对吧那我其他的有一些可加可不加对这道菜最后影响不大那我那个权重就所谓低一些有的菜你没有这个东西也是做不出来

有的菜可能就是这个多一些这个重要一些那个不重要一些这是不同性质的权重的影响然后这个问题鲁梅尔哈特他找到了一种方法叫反向传播就是用基于微分的方法让神经元在传递信息的时候还把这个权重信息带上

杰弗辛顿说你这有个问题如果你把权重设为 0 系统调整之后所有权重又会变得非常平均因为这就是计算的一个逻辑鲁梅尔哈特说如果出示权重不是 0 就是随机数杰弗辛顿一拍大腿楼下买了镇楼机大受震撼

当然我说了这段话其实要解释清楚那就很麻烦这里不展开说了大概意思就是他用了一些方法用了一个全新的反向传播的方法解决了我们刚才说的那个问题有兴趣的朋友还是建议去了解一下这个反向传播算法其实你有基本的微积分知识就能看懂他用一个很巧妙的办法解决了罗森布拉特的问题也就是之前杰弗辛顿说的他看了个感知机的时候说这里面有些问题是能得到解决的其中一个问题他解决了

那他们俩呢一块通过这个搞了一个系统非常成功虽然没有说能识别猫啊狗啊这种复杂的图像识别但是能解决明斯基提到的感知机里那种永远解决不了的问题就多层网络不成立的这个假设被推翻了哦

后来杰弗辛顿又找到另一个地下神经网络爱好者就跟搞地下摇滚一样这个人是普林斯顿大学的生物学博士后谢诺夫斯基他们搞出来一个大名鼎鼎的东西叫波尔兹曼基严格来说波尔兹曼基是什么呢波尔兹曼基是一个随机过程可生成的

霍普菲尔德神经网络太阳格了阳格了又不懂了这个我也不考虑在这解释了没法解释有人问过杰弗辛顿说你能不能跟媒体跟普通大众解释一下这个布尔兹曼基杰弗辛顿说我要是能解释这个东西那这个东西还有多大的技术含量能一句话解释这个东西他就

确实你反过来想也是这个道理抽象不出来也是这个道理你如果说一句话就能解释的所有的理论那可能也不是那么很靠谱的理论对吧相对论牛顿的力学没法一句话解释为什么叫波尔兹曼呢是因为他借用了物理学家波尔兹曼的一个百年之前的理论加热气体中粒子平衡的一个逻辑反正总的来说我们不解释了大概就是神经网络更好用了嗯

反向传播和巴尔兹曼基确实非常屌但是好巧不巧又来了 80 年代末了人工智能第二次寒冬又来了哎呀这个都让杰弗辛顿感伤这经历过全周期寒窗 10 年好歹就有点成果了 20 年了武器有了现在得没有杖可以打嗯

韩东里边继续找工作经费也没了工作也不好找这个时候 CMU 发来个 offerCMU 人工智能的领军人物是谁牛儿新顿后来跟牛儿有这么一个对话新顿跟牛儿说有个事我得说在前面牛儿说什么事其实我对计算机那是一窍不通牛儿说没事有人帮你弄我们这有人懂就行了

那行那行我接这个我接这个 offer 那你工资怎么说你有什么预期吗我工资随意随意结果杰弗辛顿到了 CMU 发现这个牛二也是真实在他的工资确实比其他人低一截很随意垫底啊但是啊这个整个在这儿的体验还不错因为这儿还有个好处就是离霍普金斯大学很近嗯

为啥呢是因为现在谢诺夫斯基就前面说的跟他搞出布尔兹曼基的那个哥们也在这个学校了所以他们周末就经常可以碰面了就很距离很近一起去研究他的布尔兹曼基我们看一下这个 30 岁出头的杰弗辛顿的这个形象小蕾感受一下反正看着样就看不出来是个搞学术的还挺极客的感觉有点工程师的就比较宅男的那个状态到了 1987 年

连接主义终于要复国了终于能登台入世了要回到心愿卧底开始了做了啥呢估计很多人都想不到它的第一个应用场景自动驾驶第一个应用场景就是自动驾驶啊

对卡内基梅隆大学有一个做自动驾驶卡车项目的这么一个团队他们装了一个超级计算机计算性能比商用计算机高 100 多倍然后它里面用的什么方法呢一开始就是主流的规则或者说符号派的方法嗯

在 1987 年有一个年轻的博士他刚读博一的时候决定我把以前的代码全删了他不是删库跑路他是为了尝试新的方法这不是删了就是弃用了用了全新的方法这个新方法就是用鲁梅尔哈特和杰弗辛顿的神经网络要么说还是年轻人愿意尝试新鲜东西的就一个博一的学生他怎么搞

这个系统叫什么呢叫 ALVINN 基于神经网络的自动陆地车辆非常直白说到这儿其实我都有点感动了就神经网络这个词终于重见天日了就之前你在任何项目学术文章什么各种地方看不到这个词了很久已经看不到了根本看不到了这从感知机那本书从

从 1962 年出版到现在 25 年过去了就没什么火种就是都是地下火种在这靠这个杰弗辛顿爱好者来传递啊到现在终于春笋开始冒点头了冒点头了这辆车呢它只有一个摄像头一开始慢悠悠的开慢悠悠的开很快就能加速了那个时候 CMU 园区里如果有天佑啊在 1987 年在那读书的话你就能看到这辆卡车挺大的一辆车在那

家转友没有人陪的那个车上贴着一行字里边没人小心点到了 90 年代这辆车已经能跑到 70 公里每小时了 91 年的一个早晨也是李承碑的一个时刻 LVIN60 公里每小时的速度从匹兹堡开到了宾夕法尼亚的伊犁市让整个人工智能领域大受震撼我搜了一下差不多是 200 多公里的距离自己开过去小蕾可以看一下他开车的状态

哇这真是个大卡车呀嗯嗯这个时候还是一个摄像头啊对所以已经做到这个程度了当时大家觉得哎这个车还是挺厉害的这个时候啊你看这个时间点 91 年啊第二波寒冬其实还在持续的

美国主要是国防部在资助所以一方面杰弗辛顿想找更多的机会另一方面不是特别想拿军方的钱他自己价值观上还是有点不太喜欢拿军方的钱的到了 2004 年杰弗辛顿跟加拿大申请下来了一笔 50 万美元的经费一年 50 万不多但是够了杰弗辛顿就到加拿大多伦多大学安顿了下来

这个决策彻底改变了人工智能的地理中心让多伦多成了人工智能领域的耶路撒冷之一就是这么屌加拿大政府这 50 万美元花的那叫一个值美国痛失胜地杰弗辛顿从 70 年代初开始搞人工智能现在已经 30 多年过去了他自己已经是神经网络方面的大师绝对是大师啊

但是整个科学界乃至商界还没有认同神经网络那搞神经网络的刚才也提过了就是各个学校啊企业边缘爱好者啊机关呢甚至都大部分不是美国人嗯因为你美国人如果条件好的话谁搞这个不赚钱啊条件好就在头拍大学有好资源包括它是主流的研究嘛大家会乐于研究主流的东西没必要搞神经网络嗯

真正的转折点又过了很多年是在杰弗辛顿去加拿大之后 8 年发生在 2012 年了

ImageNet 在一个图像识别大赛上这个是全球产学研三方都密切关注的一个非常重要的比赛 2012 年一个叫 AlexNet 这么一个系统参赛大家都不熟这个加拿大的系统叫什么杰弗辛顿来搞的结果一举夺冠而且比第二名超出 10%的准确率别小看这个 10%就第二名到第四名之间的差距都不到 1%就是

而且当时前两届的冠军之间只差 1%也就是说你比上一届高 1%你拿冠军了大家都在这么一点点点抠那些很小的差距的时候杰弗辛顿说还是我来吧我来吧于是三万里河东入海五千任月上摩天行似流水离海越生如霹雳震山川哎呀厉害

杰弗辛顿用了 30 多年证明他是对的神经网络才是未来从此之后不光 ImageNet 这个比赛整个人工智能就变了天到今天为止我们在座的各位哪怕不熟悉任何人工智能的

不熟悉任何计算机领域的朋友我们用的几乎所有的 AI 几乎大部分几乎所有的 AI 除了那种垂直领域就是我只解决具体问题的类似专家系统这种相关的底层全部都是杰弗辛顿的方法从自动驾驶到 AlphaGo 从抖音淘宝的推荐到 ChatGPT 全部都是杰弗辛顿的徒子徒孙那就是全球的企业风抢的对象目前全都身居要位

介绍 Alex Knight 这个系统的论文成了计算机历史上最重要的论文之一被引用了超过 6 万次这是论文引用杰弗辛顿就经常跟别人说这篇论文的引用次数比我爸写过的每一篇论文都要多 5.9 万次不过也不会有人去数了那

那他自己去数了呀那今天我们讲到就先戛然而止

对啊 现代人工智能的地基已经挖出来了对 就到了新世纪前面十年总结一下 从 80 年代初到 90 年代末人工智能领域经历了又一次寒冬 跟过去一样也就是人工智能发现确实能搞东西了 大家很兴奋但很快发现不行 还是小学生的感觉后来学者和专家们就开始更现实一点了

不是一口吃个胖子研究一下怎么解决实际问题这方面有突破比如说自动驾驶的车能上路在电脑公司生物公司用上一些专家系统机器能做数学定理证明国际象棋也能打赢人类等等另一方面大家在理论上也更现实了没有符号派这个说法慢慢的进入新时代机器学习时代就是不去研究很底层过于抽象的东西反正让他学让他学会就行了

这个时代一开始还有一些符号派的影子那就是基于规则的机器学习但是慢慢的过去塞东西的这种方法就少了就开始有了无监督学习就是说人工智能你还是教小孩但是发挥你的主观能动性我告诉你大概怎么学你就接着你自己去学不管你后来管的也是越来越少所以进入真正的统计学习时期万事俱备只牵东风这个东风就是神经网络

那杰弗辛顿后来是怎么把神经网络带回巅峰的杰弗辛顿的加拿大黑手党就是怎么回事杰弗辛顿的关门弟子为什么又狂喷 chatGPTchatGPT 跟杰弗辛顿又有什么渊源呢等等这些我们下期再聊这正是配置器专家上岗五代机寒冬一场拼性能大师下棋惊天地

深度学习大家听出来今天我们这个声不一样半拿铁的金唐木又回来了今天评委曲我们就用一段比较应景的 AI 作曲是一个 AI 的产品叫 AIVA 他做的一首钢琴狂想曲好

很适合今天的主题各位体会一下你看我们片头两个人特别纯正的英文上期说过了 AI 产的今天片尾曲也是 AI 产的一头一尾我们也是有始有终而且像今天最后预告已经说到最新的这些设施了可以想象下期人工智能风云录到了第四期的时候就是此刻大家最关心的那些问题慢慢的可以给你冰山一角揭开一点点的答案了

对下期将会是我们人工智能风云录的最后一期跟我们当前接触到的这些 AI 的目前的现状做一个关联当然前面三期一期期的深入大家也能感受到最开始的时候从逻辑上能理解就已经可以往前推进了到第二期稍稍的更难一些到了今天第三期我觉得从知识储备上有些地方我确实已经是跟不上了回去还得再多学习一下

留言里头也有朋友说了就到第二期的时候已经有朋友听了两遍听了三遍了多听几遍再加上自己的也有朋友去已经开始自主学习了也是算是通过这个系列谢谢刘飞给到我们的一个小小的启发对

那么我们就期待接下来的第四期如果说你觉得你身边没有朋友最近跟你聊现在的人工智能的发展到目前为止的整体的趋势还是比较有兴趣的还来得及抓紧第四期出来之前把我们的前三期的链接可以发给他让他一起学习起来

如果喜欢半达铁的话欢迎在各个平台小宇宙苹果 podcast 网易云音乐喜马拉雅 spotify 等平台订阅和收听我们半达铁第 42 期杀青我们下期再见

* 放入鸡蛋