Vol.048 AI 教父、诺奖得主辛顿：差点入职百度，坚信神经网络
20:33 Share

你好,我是老池,欢迎收听夜航西飞节目这个节目呢,有一段时间没更新了主要是我自己也特别忙我们在 10 月份会发布莫问小程序的一个里程碑的特性所以最近都在忙这些事情那大家这两天都在讨论润布尔相关的话题啊所以呢,今天我就特别想和你分享其中的一位诺奖的获得者

他的名字叫杰弗里辛顿这个老爷子的故事非常有意思在 10 月 8 号瑞典皇家学院宣布将 2024 年的诺贝尔物理学奖授予了约翰霍普菲尔德和杰弗里辛顿就是我们今天要聊的这个辛顿的故事这个诺贝尔奖是表彰他们推动了利用人工神经网络进行机器学习的基础性发明

这个奖项一出来的时候大家都非常震惊物理学奖居然颁给了人工智能方面的专家这好像是破天荒第一次甚至连获奖者杰弗里·辛顿自己都表示惊讶辛顿这个老爷子今年已经 76 了人看起来很斯文说话也是慢条斯理让人非常有亲切感

在我们互联网的圈子里呢,星盾是被我们称为深度学习之父的那这个名号是怎么来的呢,我们还得往前倒腾一下在 1956 年啊,那年我还没出生呢在达特茅斯学院,几位科学家坐在一起讨论起如何用机器来模仿人类学习那个呢,就是人工智能的开端在那时候呢,讨论这个人工智能啊,还是有点异想天开的

那时候我想大部分中国人都还没有听过计算机这个概念在这次会议之后科学家们就开始研究这事到底该怎么实现当然没有人知道了大家只能各自去摸索

当时最主流的研究学派是逻辑主义逻辑主义的基本假设是什么呢如果能够用一套完整的符号系统来表示世界的知识并且有一套有效的规则来操作这些符号那么机器就能够模拟人类的智能行为

早期的 AI 研究都是沿着这个方向往前走而在大家一致看好逻辑主义的时候有人说或许可以模拟人脑中的神经元网络来建立一个智能系统这也是神经网络名字的由来当时的情况就绝大多数科学家都不太看好这个方向辛顿当时就是第一个郑重的提出来要研究神经网络的那个人颇有一种虽万千人无往矣的气势

那星盾的神经网络是什么意思呢我试着说一下我自己的理解神经网络就像它的名字一样是一种模仿人脑神经元的计算模型它通过模拟神经元之间的连接和交互来处理信息能够自动从大量的数据中学习特征而不需要人为的设计特征提取规则

就像小朋友学习新事物一样神经网络也是通过不断的接触数据逐渐学会如何识别不同的模式你给神经网络看很多猫的图片它就会学习到猫的特征比如说毛绒绒的身体尖尖的耳朵圆圆的眼睛等等它看过足够多的猫的图片之后就可以识别出新的猫的图片这个就是神经网络的厉害之处

到了 2018 年,在彭博社为新顿拍的纪录片里面,新顿就非常兴奋地讲起当年研究神经网络的故事。他说大脑是一个巨大的神经网络,因此神经网络必须也是可以工作的,因为它在我们的大脑中是起作用的。紧接着主持人就问,那是什么支持你不放弃呢?毕竟当时没有人相信神经网络这条路能走通,大多数人认可的方向都是逻辑和算法。

辛顿就这么说啊他说因为其他人都错了这个勇气和自信啊不由得让你暗暗佩服但是呢想要实现这个构想啊也是难度重重辛顿的研究同样遭遇到了评定他说当时我们并没有足够多的数据也没有足够的计算机的运行能力也就是算力啊

AI 和计算机科学的从业者认为神经网络只是一个一厢情愿的想法我感觉新顿的研究过程就像我们开车行驶在隧道之中刚刚进入隧道的时候还有一些亮光但是越往里走越是黑暗这时候他也不由的会对自己产生怀疑难道这条路真的走不通吗不知道啊他继续埋头往前走在煎熬中寻找着微光和机会

直到时间来到了 2006 年,辛顿才有了一些突破,他和学生提出了深度信念网络的概念。深度信念网络就像是有一个自动的组成深入的识别系统,它能够从复杂的数据中自动提取出有用的特征,并最终识别出我们想要找的东西,这解决了神经网络中的一个重要的问题。

但需要说明的是此时业界仍然不看好神经网络我们没办法得知当时星盾的想法但是从后面的资料中可以推断出来在 2007 年的前后星盾在黑暗的隧道中应该已经看到了前方的亮光有了深度信念网络等研究的支撑他们大概可以做出一个疯狂的推断只要数据足够多计算能力足够强那神经网络就能够识别出图片中的物体

数据的问题是我们熟知的另一位人工智能科学家李飞飞解决的李飞飞有一本自传之前我还推荐过叫做《我看见的世界》在书里他就说过这样一段故事 2006 年的时候李飞飞刚刚获得了加州理工大学的博士学位当时人工智能的主要研究方向还是逻辑主义和算法主义大家都认为算法才是计算机视觉的中心

但李飞飞也不这么认为他慢慢意识到了这种思路的局限性那什么局限性呢如果训练算法的数据不能很好的反映现实世界那么即便是最好的算法也无法很好的完成工作

到了 2007 年年初李飞飞就启动了一个 ImageNet 的项目他希望为每一个类别的物体收集 1000 张独特的图片从小提琴到德国的牧羊犬再到抱枕涵盖了 22000 个类别总计需要 2000 万张图片

这又是一个巨大的工程李飞飞最初的策略就是支付本科生的费用请他们帮忙来收集图片不过可想而知这个效率实在是太低了后来一次偶然的机会李飞飞了解到原来重包平台可以干这个事更好的方法来了到了 2009 年的 6 月 ImageNet 的初始版本正式发布收录了 1500 万张图片覆盖了 22000 个不同的类别

你看就这样数据的问题逐步得到了解决那剩下的就是算力了到了 2012 年新顿的学生 Alex 在多伦多大学进行研究的时候发现他编写的 GPU 代码可以在 60 秒内训练一个小型卷积神经网络并取得不错的结果

这是因为它利用了 GPU 的强大计算能力极大的加速了神经网络的训练过程具体来说它使用了 CUDA 编程技术来优化卷积操作使得训练速度比传统的 CPU 快了数百倍这一发现极大的推动了深度学习的发展并且它证明了通过 GPU 并行计算可以在合理的时间内训练复杂的神经网络从而实现更高效的图片识别和分类

至此数据和算力的问题算是见到了曙光那真是天时地利人和那为了提升 ImageNet 的名气李飞飞在 2010 年的时候开始举办 ImageNet 大规模视觉识别挑战赛那前两届的挑战赛中参赛者的识别率都不太高历史在沉默中等待着新顿的到来仿佛这一切都是为新顿做好了嫁衣一般

2012 年的 10 月,辛顿带着他的团队参加了 ImageNet 的挑战赛他们以碾压性的优势获胜人们就像突然从沉睡中醒来一样他们兜兜转转才发现原来神经网络居然真的是更好的路径我有迷魂,招不得,雄机一声,天下白

我是个执迷不悟的人啊但是新顿的这一想法使我茅塞顿开就像是雄鸡一声啼叫天下大两是啊人工智能的天一下子就亮了有本书呢叫做深度学习革命是去年出版的在圈子里并不算火啊我感觉可能是书名出了问题让人一听就觉得是一本技术书记

它的英文标题叫做天才制造者那些将 AI 带到 GoogleFacebook 和全世界的特立独行者你看这个书名是不是更有吸引力这本书确实不是技术书它更多的是在讲深度学习发展过程中那些惊心动魄的故事如果把深度学习类比为第一次工业革命中的蒸汽机毫无疑问辛顿就是瓦特班的人物而瓦特改良蒸汽机的过程也并非是一蹴而就

他经历了漫长的时间,这中间有非常多的故事深度学习革命这个书里面就曾经介绍过 2012 年年底发生的一段激动人心的故事在 ImageNet 上获得冠军之后,星顿和他的两位学生 Alex 和 Ioya 一起把他们的思考和经验写成了论文多说一句,Ioya 就是后来大名鼎鼎的 OpenAI 的创始人之一

前两天,辛顿在采访的时候还说,他特别为他的一个学生解雇了 Sam Altman 而改的字号,这个学生就是 EU 呀。辛顿这篇论文的意义非常重大,它标志着深度学习在图像识别领域的巨大突破,真是雄机一生天下白。

而此时在大洋彼岸的李彦宏敏锐的发现了这项研究的价值他立即安排当时负责百度战略投资的副总裁汤和松和新顿取得了联系发出了橄榄枝邀请新顿加盟百度啊当我看到这个消息的时候还是非常的震惊没想到百度在 AI 上居然有如此的远见和国际视野

在谷歌微软和 IBM 等公司都没有意识到星盾的研究价值的时候我们中国的公司百度就第一个做出了反应很快百度战略投资的副总裁汤和松报价 1200 万美元希望能够招募到星盾和他的学生为百度工作

辛顿呢初步是答应了的同时礼貌的问百度的同学是否可以寻求其他的报价那百度就欣然同意了其实呢我感觉百度啊完全可以不同意不过呢这也是后话了百度在开出了 1200 万美元报价的时候呢辛顿就意识到了自己的商业价值在学生的启发下他马上创办了一家自己的小公司这个小公司的名字叫 DNN Research

并且咨询律师如何让一家仅有三名员工没有产品几乎没有经营记录的初创公司的价格最短化律师的答案很简单啊对于这种谈判你要么就找一个厉害的谈判代表要么就组织一场拍卖活动又懂技术又懂生意的新顿啊最终是选择了拍卖那为了争取到新顿百度派出了一位 AI 的研究者前往美国现场参与竞拍那几天呢

这位来自百度的技术专家一次次的出入 731 房间探望新顿希望能够了解一些拍卖的走向增加胜算为期数天的性价中从最开始的 1500 万美元起价最终是一路飙升到最高是 4000 多万美元百度始终是出价最高的一家参与竞拍的公司除了百度之外还有微软 google 和 deepmind

DeepMind 因为是初创公司嘛财力不够啊所以很快就退出了后来报价到了两千万美元的时候呢微软也退出了排面上只剩下 Google 和百度这两家公司这两家公司呢报价一个比一个高令人意想不到的是百度这家公司啊居然不断的追高三千万美元三千五百万美元看起来有一种 all in 的气势啊

他们展现出了要拿下星盾团队的决心价格不断的上涨超出了星盾最开始的预期到了 4400 万美元的时候已经是深夜了星盾暂停了拍卖他说我需要睡一觉确实累了老爷子第二天大约在拍卖开始前三十分钟星盾发了一封电子邮件说拍卖开始的时间将被推迟大约一个小时之后他又发了一封邮件说拍卖结束了

星盾直接决定把他的公司卖给谷歌而不再把价格推得更高为什么星盾会选择谷歌呢我觉得更主要的原因谷歌是一家美国公司星盾是对谷歌更为熟悉并且他的身体也不允许在多个国家之间来回奔波

听着这儿我是一声叹息真是替百度感到可惜同时也深深的佩服百度的魄力和远见 2012 年那一年离现在并不远 12 年的时间我回忆了一下当时中国的千团大战正在进行中一系列以移动互联网为基础的五花八门的商业模式像雨后冲损一般涌现

走在中关村创业的大街上随处可见满面春风的投资人和创业者大家言必提颠覆移动互联网 O2O 新模式造梦富能高维打地位等热词而就在这一派移动互联网应用的热潮中百度却坚定的投入了深度学习

日后很多人说百度错过了移动互联网的浪潮等等其实你这么理解百度的底色它就是一家技术公司我查了一下到了 2013 年的 1 月百度主导成立了全球第一个深度学习研究院注意是全球第一个

前段时间聊起苹果公司我就开玩笑说这些年苹果相当于是把卖手机卖电脑的钱都砸进去做芯片了苹果的芯片是一代比一代强百度也有点类似这些年你看看财报就知道百度把很多净利润都投进去做人工智能了现在我们可以看到百度在 AI 方面的技术应该是绝对不落后的

拿昨天特斯拉的发布会来说马斯克发布了特斯拉的 Robert Taxi 完全无人驾驶无人监督的 FSD

Robot Taxi 将会为特斯拉开创新的商业模式有了无人监督的 FSD 之后一个人就可以管理很大的车队这就像是一个牧羊人能够管理很多羊一样这个模式相比我们中国人并不陌生因为今年我们已经看到百度在国内的尝试百度已经实现了落地

特斯拉还是得等一段时间聊起中美公司的对比很多人都会戴着有色眼镜认为国外的才是最好的其实还真不一定这个偏见至少现在就应该抛弃掉

我顺着这个话题查了一下百度在人工智能方面的历史信息成立深度学习研究院后 2014 年百度邀请谷歌大脑的创始人温达加入百度并在研究院任首席科学家后来呢温达又招聘了达里奥阿莫迪啊这哥们的名字是不是听着也有点熟啊

他就是当下最火的大模型公司 OpenAI 的有力竞争者这个叫 Acerotic 的联合创始人兼 CEO 从斯坦福大学博士毕业之后 Acerotic CEO 的第一份工作就是在百度担任研究员有趣的是达里奥阿莫迪又为百度招聘了 Jim Fan 他现在是英伟达人工智能的一号位

不查不知道一查真是吓一跳原来这些年百度居然有这么多的全球顶级人才怪不得说百度是 AI 的黄埔军校除了我们刚刚提到的这几位直收可热的人物在中国乃至全球 AI 行业中百度系的人才也早已开枝散叶比如说我知道地平线的于凯小马之行的楼天成等等创业者他们在自动驾驶圈已经占据半壁江山

百度曾经在 2020 年的致股东信中说过百度是一家技术公司的另一个含义是我们培养技术人才我们输出技术文化让更多的企业看到技术的价值并正式对技术的投入搭建起中国互联网的技术股价这是一件意义非凡的事情现在呢我再去读这句话感觉一下子就非常的具体了

除了人才,从目前国内的 AI 产品上我们也能看出来,去年百度是全球大厂中第一个发布生存式 AI 产品的公司文心一言、文心快马、成篇等等产品,从我们团队的使用角度来看,它的体验效果也是大幅领先于同类公司百度曾经种下的那些种子,这两年开始慢慢结成了果实

再说回星顿他们试图三人拿着一大笔的收购费用正式加入了 Google 你可以理解这些年 Google 在 AI 方向的重大进展其实都有他们的一份力量去年星顿正式从谷歌离职在后来的离职发言中他警告全世界人工智能的潜在威胁他认为未来 20 年的某个时候

AI 将比人类更加聪明从这个态度上我们也能够理解 OpenAI 的 Sam Altman 和 EUYA 之间那不可调和的矛盾或者说这也不能叫做矛盾更多是一个科学家和一个商人之间对技术的信仰和敬畏的区别在最近的采访中谈及神经网络和机器学习的未来时辛顿是这么说的

他们能够和工业革命相媲美但是不会在体力上超过人类而是在智力上超越人类我们还没有体验过拥有比我们更聪明的东西是什么样子几乎所有的行业 AI 都将为他们提高工作效率人们将能够在更短的时间内利用 AI 助手完成相同的工作量期待那一天的到来吧

我确信犹如当年的征集机革命一样我们此刻也正在一场新的技术浪潮的酝酿之中致敬星盾致敬李飞飞致敬 EIA 也致敬像百度谷歌微软和 OpenAI 这样的创新者好这一期的夜行西飞我们就聊到这儿下期再见