Deep Dive
- Learning causes physical reorganization of the brain's 86 billion neurons.
- The process involves the formation and breaking of neural connections.
- Learning is a biological process that requires respect and awareness.
Shownotes Transcript
作者也直接点出了这一点人类会花费大量的时间沉浸在悔恨当中他是这样说的悔恨是想象力的诅咒佛教徒和心理学家都意识到了对于已经发生的事情耿耿于怀造成了人类巨大的痛苦然后我们用这些素材去模拟过去当我们设想未来可能发生的事情的时候我们又把这些素材库调动出来去拼我们可能发生的未来
任何导致学习的东西都会导致我们大脑当中 861 个神经元里面某种东西它的连接方式会发生物理性的重组仅仅是我们去看一眼学习的原理和智能发展历史我就非常感叹这其中有多么精妙了
大家好,欢迎您收听第 85 期的摄影成熟播客,我是公子怡在这一期呢,我主要聊的话题叫做学习的原理和智能史
在播客开始之前我想先打个小广告如果你喜欢我的内容欢迎加入我的知识星球在知识星球当中我会分享每一期播客的文字版每年 100 期以上的带有我个人导读的阅读的思考分享以及系统性的音频专栏经济学思维产品实习讲好的那我们下面就开始今天的内容
在第一个章节叫做学习始于卑微最近我看了近两年我觉得最好的一本书我想分享给大家书名叫做智能简史进化人工智能与造就人脑的五大突破作者是马克思·贝内特这本书从书名我们可以看到它主要的内容是关于人工智能和神经科学相关的科普
在这之前我也看过像《千脑智能》以及《贪婪的多巴胺》这样的书也非常推荐这两本
但是我在读这本书的过程当中我发现作者和其他的作者不一样的是马克思贝内特过去有创办过一家叫做 BlueCore 的电商 AI 公司所以他同时对于神经科学以及 AI 都非常的了解所以他直截了当的从大脑的进化智能的发展和 AI 的这个角度给到了非常多生动的实力以及深刻的见解
书中的主线和标题一样,他关注了五大突破,从地球由生命开始,五次的智能突破,他去讲了我们能够给到今天的人工智能研究值得借鉴的地方。
但是智能的历史其实也可以被称之为学习和演进的历史因为比如说我们今天在打造 AI 的过程当中其实就是我们在教 AI 整个的一个学习的过程
所以我想从学习的原理的角度来对它做一些解读首先我们为什么如此或者是应该在意学习这个行为呢贝特做了非常强有力的解释他说所有的学习都是生物性的重组我们可能没有意识到这样一个问题我们去观看内容我们看视频看文字与人交谈学习新的技能和工作
我们泛泛称之为学习的过程对于我们每个人来说都会发生生物性的改变
在这个过程当中我们神经的突出会因为刺激发生新的连接旧有的连接会断裂新的连接会产生当我们仅仅是在消费内容的时候这些断裂和连接都在不断的发生生物性的变化是我们非常难察觉的我们需要始终保持敬畏的态度因为学习始于卑微这个是我在第一个章节需要告诉我自己的
那么第二个章节叫做学习在于试错因为学习始于卑微所以从数亿年开始那个时候还是地球上的生物非常的简单就像线虫它是一个非常简单的生物在那个时候就已经开始了所以我们需要进一步的去看学习是如何发生的去看学习的生物性的原理以及我们从最原始的生命开始最原始的生命是如何开始学习的
你可能听过强化学习这个词这也是它虽然存在非常长时间了它可能存在几十年了但是是近几年的人工智能也是强化学习也是非常重要的研究的手段在 GBT4.0GBT4 发布的时候它作为一个 GBT 家族非常重要的一个版本在那天 Sam Altman 他的 CEO 就在 X 上发了一条推文他说强化学习生效了
所以我们抽象的来说,预训练和强化学习在人工智能领域都非常的重要那么对于一个个人来说呢,我们其实也可以类比的去看我们是怎么学习的非常有趣的是,一个人从儿童开始到成长之后以及到他死去的那全部的时间我们学习的主要方式也就由这两种方式组成分别是预训练和强化学习
基因就是我们的预训练有一些非常我们需要的或者是各种原因有一些特性被硬编码在我们的基因当中而强化学习是我们学习技能融入社会以及展开实践的主要的方式那么对于个人来说学习也就在于试错
什么叫做学习在于试错呢其实也就是我们所讲的通常讲的强化学习这个概念人工智能学者桑黛克是这样概括的我们常常讲的人工智能的强化学习主要的方法就是引入讲成的机制给人工智能的行为进行奖励和惩罚
人的监督的参与以及讲诚的参与让强化学习在人工智能研究当中开始发挥作用这个和人也是非常相似的我们所通常讲的儿童时期的家教以及后续的学校的生活以及我们的自我教育包括在职场包括在工作当中的任何的技能的学习消费都是我们后续强化学习的一个重要的组成部分所以它同样在人
人作为智能这样一个个体来说强化学习也发挥着重要的讲诚和学习的作用那么下一个问题就出现了大部分的奖励和惩罚都不会立刻发生
我们有的时候可能会跟我们身边的小孩或者是我们的侄子侄儿之类的说你要是玩太多的手机后面的眼睛的视力会变得很差但是这对于我们也知道这对于大部分的小朋友都这样的说教都没有什么效果这在人工智能的研究当中在刚开始的时候也发生了因为我们会意识到大部分的奖励和惩罚都不是及时发生的这个会导致学习非常的困难
小孩的远期的想象和内在的模拟能力是不足的我们这样去进行劝导常常也很难发挥作用
在人工智能研究当中也有类似的情境比如说我们教一个人工智能去学跳棋或者是学围棋就是一个非常典型的例子某一步的行为并不会立刻的发生奖励和惩罚因为最终一个游戏是否成功和失败他看的是最终一局游戏的胜利和失败那个每一步的行为距离的太远了
所以科学家发现必须在过程当中进行奖励和惩罚神经科学家和人工智能专家都发现了如果大脑仅仅是从实际的奖励当中去学习的话它可能永远完成不了我们真正意义上的一个相对长程的一个任务
所以这个过程当中就需要引入奖励甚至即便只是一个行为有概率能够胜利他也需要奖励所以越来越多我在读到过这过程当中我发现越来越多有趣的事情开始相似了因为我们要训练一个智能和一个人工智能和训练一个小孩非常相似他同样需要强化学习需要讲成但是
但是人工智能可以自由的在任务的各个环节设置讲程的这样一个激励但是生物并没有那么简单所以我们去看智能的发展历史发现生物进化出了多巴胺
如果有过一些我们对于多巴胺的了解就会知道多巴胺并不是奖励而是一种强化的信号它的出现其实是为了给早期那些短视的生物一些更长期的经历因为假如我们去想一个非常简单的生物它看到有吃的就前进看到有危险就后退
但是他就没有办法去规划一个更长远的事情比如说我需要走一公里去到一个远方去得到食物的奖励所以这个时候多巴胺作为一种生物的信号和激励开始加入到这样一个任务当中来他作为一个强化信号给到生物一种非常强化的信念这个信念可以用这样一个句式去描述
只要我做了某一件事情那么我就会得到一个东西那在那个得到的那个状态下我会有一个更加好的状态或者是一个满足的状态一个快乐的状态最终当这个目标达成的时候这一次强化学习就生效了奖励可能是另一种像血清素的分泌它让我们感到愉快在这个过程当中强化和奖励是分离的
在这一次的强化学习当中我们可能掌握了新的技能我们能够有更长距离的行进或者是我开始学习一些新的技能和工具那么这件事情就会变得和非常简单的生物拉开差距多巴胺的参与让一个生物开始能够规划更长期的事情或者完成更长期的事情所以在上面这个章节我把它定义为强化学习的出现
那么除了多巴胺的分泌我们还进化出了大脑皮层这个对于哺乳动物对于人类来说是一个更加强的一个智能这个让我们有了更高的智能而这个智能能够让我们进行模式的识别和想象但是这一章节我把它定义为想象力的诅咒它同时给到了我们想象力的诅咒
可以这样说我们所有的抑郁的情绪抑郁的或者是神经的官能症都和我们的想象力有关而我们能完成很多事情也与我们的大脑皮层以及相关的想象力的能力有关
逐渐的我们发现许多的脊椎动物包括后续的人类净化出来了大脑皮层而大脑皮层有一个重要的作用就是进行模式识别这里所谓的模式识别的意思就是我们开始能够捕捉因果关系比如说一个生物开始能够记住某个地点有食物
那么地点和食物是具有一定关联性的所以它存在一定的模式那么记住的越多那可能比如说某个生物它能够记住非常多它的大脑容量越来越大它能记住更多的这样的关联性它记住食物记住水记住天敌相关的关联性它就越容易去生存
所以他同时他会有更有动机去尝试新的事物他尝试的新的事物的越多适应的新的环境越多那么这样的生物就具有更高的生存的能力
而这样的我们在书中作者把它称之为一种军备竞赛我们开始发展出更多的传感器我们进化出了包括鼻子眼睛耳朵而这些器官都是为了我们去收集更多的信息而进化出来的
模式的识别它可以被看成一种军备竞赛一种捕食和被捕食的军备竞赛我们可以这样去想象一个生物它记住了这个地方有吃的有吃的东西那么如果它被吃的那一方能够识别这个模式那被吃的那一方可能就会逃走所以要捕食的那一方它就会需要能追踪能进化出更多的这些相关的
识别模式的能力所以我们的鼻子眼睛耳朵一开始包括我们行走的能力都一开始都是为了更强的模式识别能力所准备的而这里的模式识别就是最早期的学习所以我们这样去看学习从最开始都是非常功利性的都是和生存相关的让自己活下去
或者是逃离被捕时这个是从学习最原初的原理那么想象力的诅咒是什么呢对于哺乳动物来说包括人类来说它最重要的就是想象力在 OpenAI Sora 发布的时候如果有人还记得他的那个 Tag Report 他的那个技术报告的副标题写的就是一个非常宏大的标题叫做 Sora 作为一种世界模拟器
我在重读这篇文章的时候我发现他们内部的 openAI 的人一定是知道世界模拟器以及多模态所发挥的重要的作用的以及它和人工智能相关的重要的关系因为只有人工智能能够模拟世界了人工智能才能够往下走下去模拟其实在这里可以等同于想象力
我们可以去看其他的动物比如说小鼠老鼠它可以在开始捕食和逃走之前去模拟它即将要走的路径比如说它可以模拟老鹰如果去追它它走这条路和走另外一条路可能的结果以及它在捕食的时候它去捉一个昆虫它走不同路径的不同的结果它会在脑子里进行模拟并且选择一个最佳的路径
那么脑内的这样一个模拟的能力让哺乳动物忽然有了一个非常重大的竞争优势它能够通过模拟很多的不同的可能性去选择一个最佳的逃跑路线或者是一个最佳的捕食路线从而让自己活下去并且吃得更饱
但是为什么说想象力是诅咒呢因为模拟这样一个行为我们知道在人物智能当中在计算机当中仿真模拟就是一个非常好
耗计算性能的事情那对于生物来说也非常相似它也非常的耗整个生物的这样一个能量它需要消耗我们大脑大量的能量并且恒温动物之所以就体温恒定的动物之所以发出现也是由于这个原因而模拟由于它是发生在大脑皮层中的所以它对于我们要实际做一件事情来说是更加容易
所以我们通常来说我们所谓的打引号的想太多就是我们脑内有了过多的模拟的行为而没有进行行动所以这里我想回到我经常讲的古希腊哲学当中古希腊哲学的一些哲学家总是去讲沉思和实践是同样重要的尤其是亚里士多德他常常去讲沉思和实践
那我们用智能研究的这样一个角度这样一个思路去看就在于模拟和实践对于学习来说是极其重要的
沉思它在这里可以等同于模拟因为它都发生在脑子里面是我们在生成数据我们用自己的大脑在生成数据但是我们一定要通过与实际的感知的世界所产生的数据进行匹配从而去验证我们生成着这样一个数据的一个真实性那这里其实就是从最早的哲学家讲的这两个概念我们的
沉思和实践那在人工智能的领域其实是我们的模拟和行动所以读到这里我真的非常感叹生物的设计它的设计和进化的这样一个精妙我们很多非常习以为常的行为我们可能只是没有理解其中的重要的作用而那些古老的哲学家所提到的概念和想法又是那么的具有洞察力
所以贝勒特在书中也很好地解释了睡眠的作用我这里想引用一下原文他这样去讲的心脾层以及鸟类的类似的结构总是处于识别和生成之间的不稳定平衡状态
在我们清醒的时候,人类花在识别上的时间远多于花在生成上的时间,那也许做梦就是一种平衡机制,去通过强制性的生成过程来稳定模型。如果我们被剥夺了睡眠,这种过度的识别和生成的不足的不平衡最终会导致心脾层中的生成模型变得不稳定。
所以这里其实也可以解释冥想的作用我们通常来说可以通过特定的模拟的这样一个大脑中模拟的想象的这样一个过程去想象比如说我们在海边的沙滩或者是冥想经常讲的我们可以对于身体每一个部位进行觉察来这样一个行为其实是强制的去关闭了我们过于活跃的对于一些事物一些事情的模拟和想象
而强制性的我们去移动和关注到我们身体到的某一个部位这个和实际的行动是一样的因为这些想象这些对于身体的觉知会和实际的我们的行动一样在某个大脑的皮层的部位进行激活
但是想象力给智能带来了更大的诅咒比如说抑郁症无法行动的人他主要的特征就是我们前面提到的模拟太多或者是想太多想太多是一个轻巧的说法但是内在其实是一个非常生物性的问题大脑有过多的情景的模拟过多的想象但是没有进行行动的平衡
作者也直接点出了这一点人类会花费大量的时间沉浸在悔恨当中他是这样说的悔恨是想象力的诅咒佛教徒和心理学家都意识到了对于已经发生的事情耿耿于怀造成了人类巨大的痛苦很多时候这个是必要的模拟但是它也只是模拟而已
这只是模拟而已即便很多人意识到了这样一个问题但是也很难克服想象和模拟皮层大脑皮层给到我们识别和模拟的智能但是也给到了我们过于活跃的想象力我们去思考过去思考未来我们去思考太多的东西把自己禁锢住这就是想象力的诅咒
那么我们怎么去了解大脑并且更好的去进行学习呢我们都知道意识到一个问题就已经解决了这个问题的大部分所以理论上来说我们可以更好的去了解智能发生的方式以及更好的去了解大脑来让我们更好的学习在所谓学习的原理当中大部分的情况下我们的学习都是由前面提到的两个部分组成的分别是大脑的识别和模拟这两个部分
我们的理论学习记忆都是大脑内部的模拟我们不会真正的像录影机一样去记住一件事情的全部细节其实我们的所有的记忆都是对于一件事情的模拟我们回想过去的时候我们其实是用我们大脑中的一些素材去拼
很像做一个游戏我们有很多素材库然后我们用这些素材去模拟过去当我们设想未来可能发生的事情的时候我们又把这些素材库调动出来去拼我们可能发生的未来对于这个模拟过程的觉知是非常重要的这个佛教徒神经科学家和人工智能的科学家都提醒我们我们需要意识到我们大脑正在进行模拟
在神经科学当中大脑内的海马体是负责检索重放和拼凑这些素材的它可以快速地进行学习但是大脑皮层主要是对于世界各个细节进行模拟模拟之后呢我们需要知道的是识别和实践又是非常重要的
当我们开始学习新的技能的时候去做一件新的事情的时候我们会通常来说会一开始的时候会非常慢并且谨慎的去规划我们身体的每一个动作因为我们在操控我们的身体和大脑
而这个过程其实是在用我们的行为实践和识别与我们内在的模拟过程进行一个匹配如果发生不匹配的情况下呢我们会自动的快速的去进行调整但这个过程是很耗能的所以这也是我们常常不愿意去运动不愿意去学习的一个主要的原因
但是我们需要意识到的是随着技能的提升这个行为会变得越来越自动化就像丹尼尔卡雷曼已经被讲了特别多的所谓的慢系统和快系统我们可以通过练习让原来是慢系统的行为变成我们只需要调动我们的快系统实践在这里其实就被拉到了一个非常高的高度这也是我对于自己的一个提醒无论是实际的工作运动还是记忆都需要类似的锻炼
但是不要忘了我们与动物有一个很大的不同是我们还可以通过理论思维和语言文字进行学习为什么这些方式非常重要呢因为理论思维能够让我们不用记忆过多的细节并且能够让我们长时间的专注于学习而因为理论框架它更便于记忆而语言的作用就更加强大了这里我想引用一下原文他说
所有这些实际的好处都源于这样一个事实语言扩展了大脑可以提取学习信息的来源强化能力的突破使早期脊椎动物能够从自己的实际行为也就是试错法当中学习模拟能力的突破使早期的哺乳动物能够从自己的想象行为也就是间接试错法当中学习
心理化的突破使早期的灵长类动物能够从其他人的实际行为中学习也就是模仿学习但说话的能力的突破使早期人类能够从其他人的想象行为当中学习而高质量的阅读的作用在这里就被验证了
说话和语言让我们完全区别于其他的哺乳动物文字可以让我们跨越代际跨越场景的去进行知识传递而这样一个知识传递包括理论的传递它的路径是这样子的我们通过阅读他人的经验和他人的理论我们在大脑皮层当中进行模拟和想象然后我们在实际的世界当中进行验证很多时候这样一个路径会比我们直接自己的去
到处磕磕碰碰去进行试错更加的高效最后我想总结一下我非常感谢能够看到马克思贝内特能够写出这样的内容通过文字的方式我进行阅读在阅读的这个十多个小时的过程当中我受到无数次的冲击
而且内在还有无数次的我无法感知的神经元的重组无数的竖凸和轴凸的断裂并且它又用新的方式进行搭接我不知道这些生物性的变化会在什么时候发挥作用但是这些理论和事实在我的脑子里开始存储起来在我睡觉的时候进行模拟然后我在实际的工作和生活当中进行实践
或许他在书中讲的智能和学习的理论会影响我学习的方法他对于神经科学以及人工智能的关联相关的解释能够让我更好的了解和界定人工智能能力的边界或者是他仅仅影响到了我今天和你们分享的内容但他会如何发挥作用我们都不知道但这一切生物性的变化真的非常的美妙
任何导致学习的东西都会导致我们大脑当中 861 个神经元里面某种东西它的连接方式会发生物理性的重组仅仅是我们去看一眼学习的原理和智能发展历史我就非常感叹这其中有多么精妙了好的非常感谢您收听这一期的摄影神说播客如果你感兴趣更多的内容欢迎加入我的支持金球
我会分享每一期播客的文字版一百期一唱的我个人的导读以及系统性的专栏经济学思维产品 17 讲这个专栏会非常的有深度再次感谢你收听这一期的《谁语成熟》播客我们下期再见