Deep Dive
Shownotes Transcript
人类和 AI 的融合形式我觉得是未来我们难以避免甚至某种概念上说我们世界上的大部分的人其实已经不再是传统意义上的人类了大模型为什么收服了那么多人的心智就是因为它像人一样虽然我是对着屏幕讲话但是我觉得它像一个人的逻辑人的表达在跟我交流神经科学跟人工智能结合和
一直都是人工智能非常重要的一个 topic 但是真正把两个学科结合起来现在是个问号什么样就要真正的结合欢迎来到会友标局这是一档蚂蚁集团出品的播客栏目我们会和各位心疼老友分享关于蚂蚁的一切和你一起探索科技与商业的未来世界
大家好欢迎来到会有标语的科技频道用科技打开认知世界的窗口这期节目我们非常荣幸邀请到了北京智园人工智能研究院内脑模型组的研究员雷伯博士他是清华大学生命学院清华大学 RDG
脑科学研究院的博士曾经以第一作者或通讯作者的身份在 Nature PNAS 上发文参与成果入选了 2020 年中国生命科学十大进展雷伯研究的方向特别有意思也是今天我们要跟大家聊的生命科学和人工智能的结合这里面更多是脑科学和人工智能的结合对
感谢先谢谢雷伯博士来到我们这个节目谢谢邀请你现在研究的方向是脑科学和人工智能结合就想比较好奇是你是用脑科学的成果机制来去训练人工智能的模型呢还是用人工智能的技术去研究脑
就实际上就这两个方向确实是相对独立的不过在志愿我们是希望能把它做成一个闭环所以实际上是我们有两条线都在做就是包括把神经科学里面的一些不同维度的数据概念或者一些新的一些知识引入到现在的这个大模型里面让大模型变得更好或者更
更像人吧就更像人不一定更好但是更像人是一个方向另外一点就是我们也利用这个大模型的能力吧把现在可能越来越多的神经科学数据迅到这个大模型里面来帮助神经科学家更准确或者更高效的解析神经数据或者得到一些新的这个理论两条线其实我们都在做这种跨学科的研究方向目前在行业里发展到什么程度了
因为这两条线它本来涉及的问题不太一样就对于第二条线来说我个人的了解或者我个人的判断是还是比较初期因为 AFO 生命科学的这个方向其实算是非常成功的包括最近的诺贝尔化学奖物理学化学都市对其实化学奖是非常明确的颁给结构生物学的 AI model 就是 demand 他们的α4to 这样的一个工作
但神经科学作为生命科学一个非常重要的分支其实他想做这种 AI for science model 还是有些困难一个是神经科学像我们叫结构生物学它有一个相对来说比较明确的规则就是我们说序列和蛋白质结构的规则但依然现在衍生出很多子问题但神经科学我目前没有办法说就是我们神经科学存不存在一个唯一的要去追求的规则所以它相对来说更困难一些
另外就是说大脑还是要比蛋白质在某些层面上采集数据更困难一些所以现在是一个数据缺口比较大所以其实做 IFO Neuroscience Model 相比于 IFO Structure Biology 就是结构生物学这块这些模型可能还比较少
如果是说帮助神经科学一个大模型的思路还是比较少见这是为什么我们非常愿意做这件事脑科学的支持来帮助 AI 这个其实是人工智能从可能创立之初就一直存在的一个概念为什么它叫神经网络其实早期的很多设计还是跟大脑有非常多的关系
现在每一个我们熟知的或者说绝大多数我们熟知的机构做 AI 大模型非常前沿的机构都有脑科学的布局比如像 Demand 也就是刚刚拿到诺奖丹尼斯哈萨比斯他实际上最早是做神经科学然后 Demand 的一直的核心理念就是怎么把神经科学的理念引入到 AI 的过程这是他其实创立之初的一个非常重要的理念
所以其实神经科学跟人工智能结合一直都是人工智能非常重要的一个 topic 但是真正把两个学科结合起来现在是个问号什么样就要真正的结合
因为其实可能过去更多的还是在概念层面想在数据层面和这种前沿知识层面就目前来看可能现在是一个黄金窗口我相信已经有很多人在做我们也希望比较早的来做这件事情我也挺好奇你个人你是在清华的时候本科阶段是读生命科学
后面就开始对我博士阶段是在清华做神经科学具体是做这个学习记忆的神经机制用的其实都是动物模型就是老鼠的神经机制记忆痕迹细胞吧就这些记忆概念其实我们转向 AI 也是刚好是一个契机差不多在 2021 年的时候那会儿 AI 领域会有一个大体的一个分项或者一个内部讨论的就是觉得这个
这一代人工智能又要撞墙了在 20 年 21 年这段时间吧其实就是在大梦星出来之前 AI 领域内部就我们的交流来看大家的反馈就是都会有一个疑问就是说下一代人工智能应该是什么嗯
这句话也暗含了一个意思就是这一代人工智能我们已经看到它的结界了虽然在那个时候已经大模型已经开始出现了包括智源其实在当时已经开始有这个中国的第一代大模型的这个出行已经在开始做相关的工作了但其实 AI 内部的特别偏学术的这个讨论还是觉得可能这一代人工智能可能会碰壁所以大家在思考下一代是什么
当时清华内部就产生了几条线其实非常重要一条线就是应该要做脑启发人工智能就是从大脑来启发新一代的人工智能所以在这个契机下其实当时清华的很多实验室包括我的导师是清华的中益老师他是做
记忆遗忘的这个专家所以我们算比较早投身到这个把这个神经科学特别是记忆遗忘的一些机制转换到这个人工智能方向的比较早开始转向的我觉得是钟一老师他非常有魄力在那个时候就把他的博士生的名额就我们实验室就开始有一些做 AI 方向的同学
就是完全作为一个生命方向的博士但是背景是 AI 方向的同学进入我们实验室我们开始这样的合作听起来很有意思但是我有一个很小白的问题生命科学其实是一个生物学的概念就是生物学你们现在又研究人工智能是需要重新学习写代码吗您说了一个非常重要的一个情况我们其实在合作之初最大的问题是
两方都在研究智能但是实际上使用的语言是很不一样的就是当神经科学家或者我们叫神经科学家在谈智能的时候所用的概念和语言跟 AI scientist 用的语言其实一开始是很难对齐的
所以您说了一个非常重要的问题也是我们实验室的一个探索所以我们探索的一个结果就是在支出其实我们是各自负责一部分就像您提到的比如代码的工作还是 AI 方向的同学他们来去思考来实现但我们更多的就是生命方向的同学可能更多的就是把这样一个生物学的概念
把它代码化或者说把它模型化能找到一个双方都认可的一个节点这是我们一开始探索的一个策略吧但是这不代表是唯一策略这是我们当时的这么一个策略反正这个契机我当时扮演的角色就是去把生物学的发现或者数据概念化的这么一个角色我一直对自己的一个判断就是做好两个学科的一个 translator 就是把这个语言翻译清楚然后慢慢的才进入到
AI 领域的这么一个渐进的一个过程能举个例子吗你们在这个研究过程中哪些属于生命科学的这些机制脑科学的机制真正的对人工智能的训练起到作用客观来说先抛开我们自己的工作大量的 AI 的文章他们都会习惯的在自己的引入的部分去解释我的某个设计可能是受到大脑的启发或这样的一个特点
所以这样的路径其实很长可能回顾过去 10 年 20 年这一代 AI 的生命其实都离不开我们受到启发像今年的诺贝尔物理学奖颁给 Hofield 和 Hinton 其实他们都分别认为他们最具代表性的网络分别是学习大脑里面的海马体和视频层的而且
他们觉得是严格对应这样的一个结构所以其实大家一直都在做这样的一个事对于我们来说并不敢说就是说我们现在真的做到了一件就是把生物的一些概念引入到人工智能会有一些比较好的启发或者这样一个理解所以我举一个可能还不能说是一个成功的例子吧我的博士阶段做的一个大的方向叫记忆痕迹细胞英文叫 Memory Engrams
就是他反映的就是说我们大脑是怎么编码我们的这个事情的这在我们学习纪律是一个非常非常重要的一个理论它应该是一百多年前提出的理论在 10 年前后得到了非常好的科学上的这个证明所以引发了整个领域可能都围绕着概念去做这样的研究所以相当于是神经科学家花了我们以 12 年这个重要节点为
为起点吧当然可能最重要的工作是 07 年的工作我们实验室开始人工智能刚好是大概 10 年的这个时间围绕着英格尔和相关的工具发现了非常多对记忆的一些新的理解或者细节的这样的理解它也反映了生物编码信息的一些基本规则或者基本特征比如说要一种相对稀疏但又聚集的这种编码形式
Ingram 它需要有一些基础的特征所以我们当时就产生一个想法就是如果我们把人工智能当成一个脑子就当成一个全新的物种这是神经科学家擅长的事情就是我们把它当成一个物种我们用记忆 Ingram 的方法去研究它去理解它
人工声音网络即便现在也是一个非常重大的问题它其实是一个黑箱我们并不知道它们是怎么运作的所以当我们把它当成一个脑子用记忆 ingram 的手段去解析它去寻找它有没有 ingram cell 它的 ingram cell 的特征跟生物的区别的时候我们这个工作前还没有正式发表我们还在准备这个工作但其实我们发现人工声音网络的很多编码跟 ingram 的编码机制非常非常像
而且使用这个 Ingram 的视角去观测神经网络的时候很多神经网络里面不太好解释的现象变得非常好理解那很多问题的设计也比较容易有一种迎而解的感觉像持续学习还有对抗攻击这些我们看起来都会觉得原来非常好去理解也非常好去解决我觉得可能神经科学最重要的点是它打开了一种
理解和观测人工神经网络的一种理论窗口以前可能理解人工神经网络它的理论是比较薄弱的因为它毕竟是一个相对要先完成工程再完成理论的这么一个过程那对于神经科学来说我们擅长的是提出假设提出理论然后去 find evidence 去证明它所以在这个过程我觉得其实一种范式的变化
我们叫人工神经网络可解释性解析的范式变化我觉得这是一个相对最成功的一个例子但我觉得这是一个思维习惯就是因为自然科学喜欢先找到机制再寻求改变这个可能跟人工智能的通常逻辑是不太一样所以我觉得最大的变化在这就是说我们可能可以先去
用神经科学的理念理解人工智能然后可以更高效的找到改造它和改进它的这个节点对这可能我觉得一个非常影响我的例子因为这样的工作我进入这个领域你之前提过一个观点对我来说启发挺大的你说脑神经它是一种科学但是 AI 人工智能它是一种工程怎么解释这句话
我大致是这个意思那我稍微澄清一点我觉得就是说人工智能它是不是一门科学是个疑问但它在很多人
场景下它更像一个工程学科然后这个问题我一定要 credit 一下其实这个问题不是我提的但是我受这个问题影响非常深实际上是因为我们清华当时内部组织了很多这种关于下一代人工智能方向的讨论我就在一次讨论上是这个邱振彤数学中心的包成龙老师提了一个问题我们应该先思考一个问题就是人工智能是不是一门科学
因为我们可以想象一下所有的工具都面临一个过程它都是先从工具慢慢的变成一种学科比较典型我特别爱举的例子是这个因为我也做一些这方面的工作就是新型显微镜的研究那显微镜第一代显微镜一定不是科学它的目的就是帮助生物学家去看细胞非常经典但是它发展到一段一定时间之后就发现这里面可能涉及到光学的原理涉及到一些
系统跟生物组织交互要解决的一些理论问题的时候它可能现在可能大家认为它是一个科学但人工智能在很早在一开始的时候它的目的是为了解决一些可能用人解决起来会比较困难或者比较累它是有场景而来对或者说它会被需求追问所以其实可以看到
我自己的理解不是一种评价我们都会讲很多工作是一种工程迭代是把现有的一些工具进行组合而且是 target 到具体问题去做的但是这是一个疑问就是人工智能是不是一门科学但我目前认为它其实还是很像一门科学它内部还衍生出来了很多概念化的问题或理论化的问题比如像泛化问题我觉得其实它是一个非常有潜力成为一个具体的
具体的一个科学问题对科学问题的而它似乎又是现在可能贯穿整个人工智能网络和人工智能的机制内核的这样的一个概念所以这样的话它可能会成为一门科学但目前来看就是这个领域还没有固化到它有一个相对来说比较清晰的科学脉络是所有人都会去 follow 去做的最重要的其实不在于去定义它是不是科学而是说如果它是科学
那任何一个学科在某一个时代应该有一个决定性的科学问题那问题是那人工智能如果是一门科学在这个时代它决定性的科学问题是什么我觉得目前是一个疑问这个角度去思考我觉得还挺新颖的
我之前没有这么去想过我就了解说科技科学加技术人工智能我认为它是科学和技术相结合的那么一个东西但是像你今天你站在这个角度去解释的时候我自己收益挺大的我觉得人工智能确实有科学革命就包括它内核的一些就是背上统计学或者数学上的一些变化包括一些新的理念我觉得跟经典我们讲的科学
研究稍微会有一个我个人观测的一个现象就是他的科学理论往往是回溯的往往是我先用模型做到某件事然后我一堆做理论做数学就回溯他是怎么回事或者怎么样但可能我们传统意义上的特别
特别是自然科学可能它的过程它不创造任何东西它是解释这个世界但是人工智能它非常有魅力的地方就是它创造一些东西但是我们创造完之后因为它的能力太强了
所以会衍生出我们有非常大的愿望和好奇心去解释它那我觉得这个解释过程跟我们自然科学的研究思路会非常非常像这个也是我们做内脑或者我们做脑启发智能也好内脑也好这个大概念下我们比较看重的一种路径我理解两个概念就智能等于说站在你的角度
智能是分为内脑智能和人工智能目前可以大概这么去分吗您是指就是说在计算层面上有这种内脑智能人工智能还说在自然界你能给我都介绍一下吗首先我觉得并不是概念吧特别是我们之前做自然科学会对概念相对严谨一些比如说像什么是意识什么是智能我觉得本身我们还没有办法去定义它但是
但是我们为了做这件事或者为了逼近这件事因为很简单就是我们肯定相信人是有智能的这个事也许在课堂上需要讨论但我们先假定他不需要讨论人是有智能的然后我们希望能创造一个智能体这个智能体也许能超越我们让我们的让我们未来的生活能更好或者能替代我们帮助我们去解决很多问题然后在这个前提下我们讨论智能
那在这个智能情况下那我们说现在的地球上存在什么样的智能那一定存在的是生物智能这个是我们在进化在自然界一定存在的生物智能就是那个大脑就类似的脑智能是吧对应该应该只能这么去理解或者我们相对狭义就生物智能就是脑智能类脑智能还是脑智能就是脑智能就是
就是因为我们内脑就是指你模拟脑模仿脑所以我们肯定是生物智能或者说是脑智能就是这样的一个概念那现在的问题就是存不存在另一种智能形式
那人工智能是一个名字,我们叫 artificial intelligence,就是它是人造的一种智能形式那现在的一个问题就是,我们因为没法定义智能,我们只能说有一条路径也许会通向一个新的智能形式叫人工智能这个路径是生物智能通过自己的设计走一条路径把这个人工智能给制造出来但是核心是有没有一个智能标准
就什么样叫做智能比如我们现在的人工智能能不能叫做智能它能进行图片分类叫不了智能它能跟我们像人一样聊天甚至我们区分不出来聊的是什么而且他说的好像比我周围任何一个人都说的聪明说的有逻辑甚至他的高考比我考的还高
奥数体能做的比可能最优秀的人还要做的更好现在大模型确实已经实现了对那我们能不能叫做智能我觉得这个地方是一个 open question
因为我们原来对智能的理解是完全基于脑科学的问题来构建的当人工智能这问题出现之后也许假如我们有一只动物这个动物能做奥数题能跟我们一样正常说话能画张图我们一定相信它是有智能的一个动物但这个问题一旦到人工智能上就是个疑问
它是不是有太多的数据它是不是有太多的约束它是不是有太多的缺陷和代价因为这就是人造物和自然界存在物体一个非常重要的点因为自然界存在的物体它是一个相对完备的系统就这个系统因为它是在自然界里面独立产生的它是有一个明确的边界就像我的边界就是我的肉体
但是对于一个人工智能来说我们现在很难描述它的边界因为它需要大量的数据它需要大量的算力那这个算力在哪它需要一个实体需要一个空间需要一个额外一个系统去支持它甚至它在运行的时候需要人和人工的这个力量去支持它所以它究竟是一种
还是一个智能体这就是我觉得很不一样的一点就举个例子比如说我们以前可能就有一些做题器这可能不太标准就是有一些
根本都没有用到人工智能的方法但是他能做一些准确的硬打的一些方法我们很难相信他有智能但是他在这个任务上达到了智能我们是默认一个生物体首先你是能生存能吃饭能活着在这些基础上然后我们讨论你能不能跟我问答你能不能回答这道题你能不能高考考 600 分
来判断但是人工智能没有这些能力它只有那个答题的能力或者说我们界定的那些任务能力甚至这些任务能力得我们先界定它才能有因为我们需要用这个任务去训练它假如有一个未知生物突然跟我说话我会觉得它有智能因为我没有约束它它是自发产生的但人工智能的很多智能能力是在人大量的进行任务约束和数据处理之后才获得的所以我对这个已经有预估了
这种时候还能不能叫做智能我觉得这是一个非常关键的一点我觉得我可能也没说清楚但我现在想可能一言以蔽这是什么就是
我们希望他的智能来源是一个自发的一个过程是一个不以某个特定任务为导向的一个过程那我更相信他是一种智能如果这个智能是他靠学数学题学完之后他数学比我好所以我认为他比我更智能我觉得这个可能是一个接受界面的问题当然这不是一个严格定义依然是一个开放式的一个理解吧
我想到了一个更开放式的话就是是不是智能本身就存在我们再给它找一些框然后在这个框的基础上发现了它这个是不是玄学你说人是需要一个身体介质去承载它的智能人工智能到现在为止我们大模型它出现一个刚出来的时候大家对它不是说不仅是智能它说智能涌现
是吧它涌现的东西其实是不在你数据里的预期里起码不是在它判别式的一对一的预期里
对就是涌现的这个概念回应的就是您刚描述的但是涌现这个现象我觉得还是有探讨的空间的就是大家相信就有很多人相信这些种涌现而且也相信智能是通包括人也是就是通过涌现来出现的因为其实如果我们真的去对比世界上第二聪明的物种
比如说是大猩猩或者是某种原类当然我不太了解就具体是哪种但大概肯定是一个灵长类动物我们发现其实人的智能会跟他们差距非常非常大我记得我们更理性因为就光语言这个你就会发现即便是世界上第二聪明的动物猩猩猴子就他们的语言系统远不如我们发达
然后我们在自然界就是在生物进化里面有一个非常重要的概念就是我们往往需要找一个过渡态就是说如果你是飞的最快的那你第二快的和第三快的第四快的应该形成一个梯度因为这是个进化过程但似乎我们认为智能表现的能力比如语言能力或者好像找不到一个中间物种
这个中间物种好像他也能说话但是说的比我们要弱一点但是实际上如果我们真的去观察我个人理解这方面我并不是专家黑猩猩或者这些至少我个人认为他好像不是我们比我们的语言弱了一点他好像是完全不在这个系统里就不太有这种能力或者差距比较大那其实很多人
概念把它解释为这种智能涌现就人类本身就是一种智能涌现因为我们比他们的基因比他们的大脑的大小或者很多结构还是非常非常保守的但是我们似乎突然产生了一种碾压式的一种智能所以相信这样的一个概念但我觉得这个概念也是很容易
在科学和伪科学之间产生一个模糊定义的一点但是我觉得您刚那个定义确实相对来说我觉得比较逻辑上是比较符合就是说它能超越数据本身表征的这个能力我们可以把它叫做一种能力的涌现但问题在于就是我们怎么去描述数据代表的能力
是不是一种先入为主我就是图像数据所以我认图像数据只有图像的特征是不是仅此而已其实我认为可能不是这其实也是现在大模型大家有的一些争论就是我们讲的很多能力比如一个比较现实的 topic 可能大家都关心一个 topic 就是我们知道就是 deep seek 其实
非常改变了很多我们对大模型的一些预估和认知它非常重要的一步就是在一个大规模数据预训练的情况下去做一个面向人类行为学的强化学习那这个强化学习究竟是让他产生了新知识还是帮他整理了一下他的知识库
这个其实是我觉得是后者现在就我个人也相信是后者也有很多证据表明是后者就是其实他的能力还是没有逃过他的数据根本源头还是在数据那这一点上涌现这个概念就变得比较模糊了那是不是涌现呢如果数据已经具有这个能力只不过我们没有办法一眼看穿它那这个涌现其实就是一个我觉得不太清晰的一个词就我目前来说我觉得这个概念
可以帮助我们理解为什么以前的大模型为什么达不到 CHAT GPT 之后这些模型给我们的震撼那这个过程可能确实产生了一个超乎我们预计的一种增量也就是说它的增长曲线在那个时刻突然斜率变高了但这个能不能叫做涌现我觉得这个词可以帮助大家理解吧但我觉得它不必深究容易会产生一种很玄之又玄的感觉那反而会影响我们的理解明白
你更科学的思维方式就我生活中一个小观察我就觉得我家女儿二年级每天都要读书每天 20 分钟读书又发现我也老师也没告诉她怎么读我也没有告诉她怎么读她就拿着书读好像就像是数据不断地在输入她的脑子很像对然后她就会写作文了然后她就可以出口成章了是不是很像大模型预训练这个刚好是我们在做一个非常重要的概念就是说我们认为大脑跟
大模型的区别在哪就您举了一个非常非常好的例子这个在我们领域有一个非常重要的一个概念叫 Infinite Forgetting 就是我们叫因诱而遗忘其实我们都有一个好像有一个常识性的概念就是好像咱们记不住三四岁之前的事对这个在老鼠上也也也差不多就是在一个当时等的年龄他大概就是在三四个月的这个时间他记不住之前的记忆这是我们做呃
遗忘非常重要的一个概念这个钟义老师也是中国甚至世界上非常早做这个遗忘概念所以我们对遗忘概念非常关心所以我们就产生了一个思考就是说那这个时候为什么人要经历这么一段事就是你学很多东西但实际上我们回忆我们两三岁发生的事几乎全部想不起来但我们又都知道一个概念就是小时候的这个学习甚至胎教
但是胎教可能是有疑问的这个可能还不够科学但是我们肯定的是一到三岁阶段的这些学习特别是跟世界的一些交互非常非常重要潜意识如果没有这种东西可能智能会完全出问题
如果大家感兴趣有一个我非常喜欢的作家金草叶是韩国的这个科幻作家他是原来学生他一个生物化学然后去做这个科幻金草叶他写的一个就是讲这个三岁前为什么记不住这个遗忘的事因为我们研究这个我就特别喜欢那个大家那个解释有点玄之又玄了当然
我们认为的一个概念其实在这个阶段我们要进行一个结构性的学习就我不需要学具体的知识但我要学一些基本的规则就很多基本的规则在这时候实现的我记不住我学的那件事但是让我形成一些基本规则在这之后我们再去建我未来要学的数据所以说我们在三岁之后才会去才会学具体的数学物理生物这样的一个概念
但是现在大模型实际上是把这两个过程融合到一块了就是我完全从一个初始化的网络开始学习但生物完全不是这样就生物在我们进行第一次真正能记住的学习知识性的学习的时候其实我们大脑已经非常结构化了我们已经见过很多不一样的这种视觉刺激听觉刺激各种各样的刺激玩过很多游戏但是不记得任何事情这实际上是让我们
的真正的知识学习有个很高的这个起点嗯那这个其实在人工智能里面也有比较对应的概念叫 meta learning 就是原学习的概念就原学习是指在做具体的那个任务之前我先学一些跟那个具体任务不直接相关的一些任务你框架也是一个非常好的概念这个原学习的概念非常广
就可以学各种各样的东西然后再去学具体任务的时候会发现这样的一个过程往往会对后面的学习有非常大的帮助学得更快 繁华更好甚至表现得更好
我们现在就希望能做一个新的大模型的一个过程就是不要把 pre-training 当成第一步应该把 meta-learning 就是原学习当成第一步这一步非常像进化就为什么人会有这样的结构为什么我们有脑区的划分第二非常像发育就像我们小时候为什么小时候看一些我们记不住的东西但对我们未来学习知识非常非常有帮助所以我们会设计一些原任务给大模型
然后在原任务的学习之后再让他进行我们标准的过程当然我们现在也没有发布这样的模型但其实类似的工作在之前非大模型的研究里面有很多会发现模型还是会有很好的表现特别是他会学得更快他不再需要那么大量的数据来变成一个智能形式了所以就有这样的一些发现当然这个跟原来小模型上的发现也类似
挺有意思我再讲一个概念你现在在做内脑模型的研究对那内脑智能应该属于它属于人工智能的范畴吗还是属于生物智能的范畴其实我觉得它现在没有一个大家公认明确的概念甚至连内脑模型和脑启发模型就您听起来感觉这两个非常像就一个向等一个通过脑来启发嗯
在狭义上来说它们都会是不太一样的概念比如说我们讲内脑模型相对狭义的概念应该是我们用一种严格约束的网络去模拟大脑就是它甚至的一个神经元神经元的连接都跟大脑高度的相似而脑启发的概念是指我把生物的一些概念
或者一些数据在某个 level 上 introduce 到这个人工智能里面所以它往往面向的是就是当下我们说的这些人工智能网络而内脑模型其实有一个更严格的定义就是脉冲神经网络这个叫 spec neural network 就是通过模拟大脑来实现智能的形式但是这个只是我觉得是一种学科的边界上的描述吧它并不成为一种范畴和定义所以大体上来呢
比如说现在智源最后我们命名的时候也在考虑这一点就是说我们是叫内脑还是叫脑启发所以我们选的可能是一种更模糊的一种定义就是脑
把脑的一些各个维度的东西借鉴过来我们可以是精准的借鉴也可以是概念的借鉴也可以是数据上可能我们也搞不明白但是我们就是把它们拉起之后就是回去的借鉴所以我个人对这个东西是比较宽泛的一个理解吧就是只要它能实现我们对智能的期待它的手段是逼近生物或者逼近大脑
那我们都可以把它放到这个大的内脑的这个范畴下面来所以我觉得 Brain Inspire 就是脑启发可能是一个更好的描述吧对但内脑更简单一些描述上更简单一些所以然后在这个基础上呢就是说那内脑智能是不是一种人工智能它当然是我认为它当然是因为我们是用人工模拟的方法用算法用代码用数学的方式来
实现一种有智能能力的模型它在概念上一定是人工智能广义上的人工智能那你们这个模型内脑模型它跟大模型就不是一个概念了我刚描述就是有一些狭义或者严格定义的内脑模型跟现在的大模型或者我们严格说叫 Transformer Based 的大模型或者是 CNN Transformer Based 的这种模型
那它不太一样我个人更喜欢是它就是一种神经网络传送门是一种神经网络卷积神经网络是一种神经网络 SN 也是一种神经网络只不过在这些神经网络里面 SN 它更接近生物或者它的理念和目标是更接近生物的对所以往往会把它单一拿出来叫做
就是你跟大模型是一种不同的路径就目前来看实现路径是不同的路径甚至是不同的目标就是目标是实现智能但是
细节上可能不太一样一个是我通过模拟大脑仿照大脑来实现智能甚至不需要实验智能我能仿照大脑我就能帮助神经科学家做一些研究或者一些这种虚拟实验它可能也浮于这样的范畴而大模型它是一个我们需求或者任务导向的这么一个
我可能强调一下我觉得这主要是为了去理解这些网络之间的关系那可能学科内部会认为有严格的定义只不过我是认为就是说这些定义在现在来看可能意义并不大我觉得理解它们的区别或者这些可能是更关键的
你纠正了我一个概念我一直以为是内脑内脑智能和人工智能是两个平行概念实际上应该是在人工智能这条路上有用这种神经网络去训练的模型比如你们在做的有用 transformer 这种神经网络训练的模型就现在大家所谓的大模型可能还有其他路径不仅
不一定还有还没出来或者大家还没看到但他都是实现智能的一些路径手段对对我我觉得大概念上是这样特别是了解他的本质之后会发现理念可能不一样手段其实非常非常接近
然后其实现在也有一些新兴的工作就是做这种内脑模型就 SNN 模型跟常见人工神经网络模型的转换嗯就是我通过内脑模型内脑模型的好处是它可以跟生物有更好的对应比如我知道哎这大脑里面这个地方是有一种非常漂亮的连接 pattern 嗯
我立马就可以复刻到这个 SN 的这个模型里面来但是如果你知道有这个 pattern 你想把它复刻到 transformer 里面或者 CNN 里面你无从下手因为你并不知道它们对齐的那个载体在哪但是现在一些工作是我 SN 对齐之后我把它转换成人工声音网络这也是现在一个
现在一个非常重要的一个方向吧对然后我们有有一个非常优秀的合作老师北大的陈光老师他已发表的文章的一个新思路是 SN 模型跟现在的人工声音网络的模型非常大的一个区别就是他的训练方法在之前或者他的以前的主流方法是跟现在的人工声音网很不一样是不依赖于 BP 的就不依赖于反向传播的嗯所以也导致他的性能很多方面受限嗯那这个瓶颈
当然也有很多工作在做了我觉得陈奥石的工作是非常代表性他之前已经发表的如果大家感兴趣就是 2022 年有一篇 Sense of OneSense 上的一个工作就可以让这样的模型去训练然后也说这个模型可以兼具生物视觉皮层的结构特征同时又能在
常见的 AI 数据集图像数据集上进行反向传播的训练就有一个希望是把这种又结构上像生物训练过程上像我们现在讲的这一代人工神经网络就有可能呃
给兼容了那这有可能是未来的一个方向所以实际上也有殊途同归的感觉所以你们的判断是它也可能会出现类似于大模型的这种涌现甚至更好的效果说一下这个在学术圈对这里不同的路径的发展是怎么样一个此起彼伏的一个过程因为对于我们来说大家对于人工智能更多的时候
大模型太深入人心了横空出世大模型就是人工智能的最高了实际上非学术界的人并不太清楚除了大模型还有不同的学术路径和研究方向首先我不能代表这个学术界一方面就是我其实也是对于 AI 方向我也是半路出家从神经科学
降迷到这个这 AFU 的里面所以我就只是谈谈我个人观点吧所以在我个人观点上来看最早其实这个问题从特别是从大众的视角就是我发现这个领域很特别你如果光是一个科学家视角你会觉得非常非常困扰而身上非常痛苦就你不知道在这个领域要干嘛所以你有时候你必须带着一些应用的视角就以落地或者以
老百姓就有时候我也跟我的家人或者我爸妈这些就是亲戚他们完全是不做这个我觉得这个确实让我们见证历史的一件事情应该很少有一个学科或者一个非常前沿的科技现象能让普通的老百姓都愿意去讨论这件事情这个全民级别的讨论出圈了不管你原来是什么学科
我发现就是带入这样的视角之后你就会更加理解为什么现在有些事非常非常重要或者有些东西引起了大家的这一点然后我们从这一点来说其实有个非常重要的一件事就是性能决定了这个东西它的定位和它未来走向的一个非常重要的一个点就是你的性能有没有达到某个阶段举一个简单的例子我们经常说就是说脑启发和内脑智能在 Chad Gbis 出来之前
似乎要成为弄潮儿的这种感觉有一个非常代表的一个事件就是蔡志毕出来前几个月美国的神经科学家计算神经科学家还有 AI 科学家就非常前沿非常有名的包括我们知道的几位深度学习的图灵奖其中两位也有很有名的做计算神经的这些科学家写了一个
后来是一篇 perspective 的文章当时我们叫白皮书叫 neural AI 白皮书就出现了一个词这个词到现在还在用叫 neural AI 就是我们可以理解为神经 AI 这样一个概念那这个白皮书目的是核心目的是写给美国政府
写给美国政府是指下一代人工智能就得靠一个新的概念叫 neural AI 我们全世界都缺少一种人才就是既懂神经科学又懂人工智能的人才他们有专门一段就是说美国应该考虑一方面资助这样的
另一方面要设立专门的学科培养这样的学生就这个学生从教育之初就要既学生又学这个大家可以去看看我们爸爸教的白皮书因为他讲了一些探讨之后也讲了一个把它定为趋势和方向对更像是给美国政府的一个倡议书所以当时在领域内引起非常大的
因为很多很多人很多讨论所以大家说那这个方向究竟是怎么样但是大模型出来之后立马就销声匿迹了影响也非常大为什么呢实际上很简单因为在当时任何一个人工身影网络跟人都是服不如就是远不如人类这个是非常非常典型的一个现象所以当我们没有答案的时候
我们需要就是我们没有达到那部分的时候就比如有道题做不出来我们会下一次想我要去找参考答案我要去找一个答案然后我去学这其实是我们做偏工程或者偏问题导向的总会有的那在当时地球上有没有一个答案我们可以抄呢有那就是人脑这是我们公认的
地球上最好的智能至少在当时在现在也许有真意现在也许就是说人脑在是不是还是地球上最好的智能至少现在不是第一就是第二在当时是毫无疑问的就是人脑可能是世界上地球上
最好的一定是最好的甚至是唯一的智能那我为什么不学它我们一定要学它因为当时的人工智能只要能达到人的水平我们就预想着能给我们解决很多问题了所以这是我们做智能为什么也是我之前为什么说像工程的一个原因就是我有个目标目标就是我只要能跟人一样聪明或者比人聪明一些这就是目标其实这是个很明确的目标
它不是在人界存在的形式我就要比人聪明或者接近人的智能超人或者是仿照人或者模拟人或者是学习人类就一定是这么一个目标但是大模型好像给了一个可能性就我不用学习大脑所以我立马就能够获得接近人甚至现在很多人认为是超越人至少在某些任务上超越人的一些智能形式所以这个时候
我们对需不需要人脑这个事就好像不重要因为我找了一个解法这道题我有一个自己的解法了至于参考答案是不是这样我已经无所谓了至于旁边有一个标准的优等生的答案是不是那样我已经不重要因为我已经有一个解法了
所以其实我们产生的这样的一个内脑智能或者说神经科学启发的人工智能或者从神经科学寻求启发来找下一代人工智能和大模型就产生了这样的一个变化其实很核心的点就在于它的能力是不是足够强如果能力不够强模仿人其实是一个非常有效的路径因为它已经在自然界被证明成功了我们都相信它是这样的一个智能也符合我们的目标
现在呢现在这两者之间的发展有一些微妙的变化吗因为大模型的发展从它的整体看它速度非常快但是实际上在每个阶段都会有一些大家要攻克的说这个瓶颈那个瓶颈类似于在强化学习出来特别强之前大语言模型大家说它的 scanning loss 是不是到点了但出来了强化学习推理模型一下子又觉得又醒了
其实有很多的瓶颈在攻克那在这个过程中和内脑的这种智能发展它们有交融吗我们先从您提到的这个就是说如果说觉得 skilling law 好像又要撞墙了但是强化学习又好像又把他揪火但接下来是不是又要遇到瓶颈我们先从这讲起就是说
强大学习干的是啥我们先不说算法上的这些东西一方面我也不是专家但不管是不是里面非常重要的强大学习干的是啥强大学习干的是要让模型去学习人类的表现强大学习的本质是让它去学习人类推理的过程
包括强大学习之前的这个基于思维链也好呀基于一些推理数据的非强大学习的反 tuning 就是微调的方案也好都都让模型走的更好像 OEGP OE 这个包括这个 DPCR1 非常有代表性的其实可以看到他在学习人类行为对如果我们真的回顾历史会发现拆 GPT 真正的厉害点在哪在 RLHF 就是 Human Feedback Reinforced Learning 就是
让他说话像人其实 ChatGPT 相比于 GP3 当然有很明显有性能的提升但我觉得非常重要的一点是他们开始注重人类反馈但是 IoT F1 开始干的非常简单就是我让你说话像人我的目标就是你说出来的话在一个人看来我会觉得这样说话我觉得像一个人其实没有非常特别的实际上大模型的进化就是像人的进化
一开始 RHF 就是你说话要像人后来就是你要像学习人的这种思维链的推理过程再后来就要你用强大学习无限逼近人的这个推理的数据行为数据其实这个本质上那我们说人的这种推理行为数据的内在机制是什么就是还是我们的 brain
所以实际上我觉得现在的大模型它跟内脑真正结合点在哪就是它实际上在通过行为上模仿人在编码机制上和内在的智能机制上接近人本身这就是一个内脑我是这个领域我希望我是从这个视角理解它所以这不算只算一个观点吧或者一个视角吧其实这是一个非常好的一个点就是我们本身就是要
通过人类行为才看到了大模型又能像您说的复活或者这些所以我觉得这个争议肯定是存在的就是说人在里面起到多大的作用或者他跟人的这种关系和区别所以在这个领域还有一些别的方向一个方向是分析大模型跟人的类似程度虽然我们都说这代大模型几乎没有什么学习人类大脑的
设计至少没有这种强约束或者是比较硬的这个设计但是从很多分析来看它的很多特征还是有一些新的发现认为是它还是跟人还是有一些自发而产生的这种相似性再加上现在又要向人类数据对齐所以我觉得就是本身这就是一个内脑的一个过程所以他们
实际上路径不一样但是终点一样或者说学习过程不一样但我的最终让他在任务上强大学习的这个目标又是一样的所以其实本质上我觉得就是一个伪类脑或者说表层类脑的这么一个过程那如果我们能在深层机制上对齐这件事我们不再去对齐到你的推理
这个行为学数据就是你现在人写下来那个推语言而对齐到你的大脑的模式嗯一些生存机制嗯有可能会让现在的模型可以走的更好这这一点另外就是回应您说就复活这一点这也是一个非常我觉得有争议的一个问题而且他要反映了一个大模型的一个历史就是在 Chad Sheeby 刚出的时候我觉得整个领域里面可能很多人都会觉得这个 Skinning Law 就是
真理了或者就可能就是人工智能最后一个现象了或者最后一个事件了我们就等着这个人工智能出现就到现在也有这样的一个观点但这个观点确实随着大模型能力的攀升
反而是越来越多生意认为不可能就现在的大模型一定是不可能我们就智源一直非常开放的我们请了很多各个方向的有做这个计算神经的有做这个大模型的很多这些非常有名的 sense 我们都会问这个问题就是现在大模型是最终形态吗大多数人的反馈其实认为不是那是什么呢
这是个好问题我觉得解不太清楚就是可能没有标准答案或者大家都会有些答案我是可以我就会觉得像大脑就是一个答案之一如果放在几年前我会认为就像大脑就是答案就应该做脑气发的或者说内脑的模型但现在我觉得它至少应该是一种因为毕竟自然界有我这样一个大脑
是有智能的那为什么未来的一种人工智能形式不是仿照这个机制构建起来的呢特别是当我们的目标是要替代人帮助人的时候那是以人为中心的 Human centric 这个概念那你当然是越像人的智能越容易以人为中心对
实际上听起来就是现在越来越会觉得它可以是一种和人脑平行的一种存在智能存在现在大模型一定是跟人脑平行的一种形式这个我认为是没问题的
就从我的角度这还是设计上跟人脑没什么关系虽然也有人说哪块其实是学习了生物脑的哪个地方我觉得这些都不太严格因为事实上是神经科学现在最流行的动物模式动物不是人因为我们很多实验没有办法在人上面做它也反映了一个问题就是其实我们对人脑的理解是通过动物模型的这种视角和窗口去预估的很多人的研究
都是相对来说粗放的这并不是说研究人类的这些科学家或者神经科学家做的不好他们做的非常非常漂亮但是他们打的是一个很困难的仗因为我们没有办法在人脑上说伦理的问题对对对所以换句话说神经科学家还没有一个非常自信的理解
我们对人脑的了解还非常非常非常局限甚至在短期之内产生不了突破那我们现在要说这个大模型哪个地方是启发于人脑或者基于人脑设计的我觉得这个本身是一个比较概念的一个说法并不严格我们刚才在讲那个内脑智能人工智能其实大模型
里边都最后都提到一个目标就是内脑像人一样像大脑一样那其实现在大众也有这个感觉就像大模型为什么收服了那么多人的心智就是因为它像人一样虽然我是对着屏幕讲话但是我觉得它像一个人人的逻辑人的表达在跟我交流现在更多还是一种知识学习层面逻辑这种内容上那接下来它会不会产生一种更情感向的输出呢
就它可以洞察你的情绪然后真的给你做情绪输出它可以产生你人的类人的情感甚至意识
我觉得这个也是我们做内脑的时候就是别的领域的人来问我们我们收集最多的问题之一这个确实是大家很关心的问题当然也很难得我个人认为是大模型是一个相对浮躁的时代因为一个是大家着急去落地可能人类历史上也没有投入过这么多
人力物力财力去到一个领域里面想收回这样的一个投入所以其实比较浮躁但是依然会有这样的问题其实也代表这样的问题确实非常重要但是这个问题非常非常难回答因为特别是最后关于意识的这一点就是情绪相对还好但意识其实本身是一个还没有定义清楚的一个问题可以看到就是没有人工智能的时候神经科学领域最常
有的讨论就是什么是意识什么是意识一直是神经科学非常非常重要的一个科学议题之一但它又非常奇怪就是它虽然是一个非常重要的科学议题几乎每一个就是在本科间想加入实验室我们问就说那你想做什么很多人都会说我想解析什么是意识或理解什么是意识这个非常非常重要的一个议题但是
它没有明确的定义或者说至少没有一个公认的明确的定义就是什么是意识所以在没有这样一个定义的时候其实我们很难去约束或者去判断人工智能有没有意识但是我觉得虽然没有定义它至少有一个基本概念就是这个意识应该是一种不是被刻意设计出来的它不是一种感受因为神经科学对意识定义甚至是个伪命题
谁都不敢轻易去定义它因为它反映的这个东西很复杂比如我们讲记忆是相对具体这个概念已经很复杂了但是还是一个相对具体的就是我们记住了一些事情然后把它们编码到我们的大脑里面但我们描述意识的时候我们只能用一种
降维之后的场景来描述意识就比如说我醒来之后我睡觉的时候可能是意识下的或者说是意识不太比较模糊我醒来之后发现我醒来了我又能感受到这个世界了这是一种意识存在或者意识表现的一个场景或者是我突然走神了那就是我好像意识
产生了一个中断或者麻醉我产生中断恢复出来但可以看到这其实都他需要一个载体嗯他不是一个具体的一个
行为过程或者不是一个具体的一个生理过程所以它更像是一种状态而这种状态几乎覆盖我们任何一个行为我们吃饭有意识我们说话有意识睡觉的时候有潜意识或者有下意识我们做题什么都是意识但反而让它是一个没有办法研究的一个特点所以如果我们说我们真的想去评估人工智能有意识也需要去定义意识比较重要的几个场景
那其实从神经科学的角度研究意识有一种思路生物自然学科特别生物学有一种研究方法非常直白就你想研究一个东西你要先找它的一个缺陷性的我们生物上喜欢叫 knock out 就是敲除啊你没有这个我要去找一个没有这样功能的然后我更好去找到那你是因为没有了什么所以没有这样的功能
那其实研究意识的手段往往是通过去找一些没有意识的场景来理解意识这是神经科学的路径比如说麻醉的时候我们可以认为没有意识比如说我把你击晕了他是没有意识那我们去看那你麻醉和不麻醉的时候大脑
我们可以找到意识的这样一个机制所以看到即便现在研究意识的手段都是通过没有意识去研究意识的因为没有意识相对来说好定义但有意识是 anywhere 我们意识到研究意识的困难之后有一个非常大的问题我们怎么在人工智能里面去定义一个无意识的一个状态
所以我觉得我们要真正去把人工智能去定义人工智能的或者大模型的意识首先它应该是一个独立的个体所谓的独立个体它是不是一个单纯的 in output 的过程我们才能去衡量它在某个时刻是没有意识或者是有意识因为举一个例子就是
假如大默信存在哎你问我的时候我推理你不问我的时候我我有一种自由态那我可以认为那你自由态的时候是没意识的但是推理时候有意识然后我去看哎你有没有这种区别如果有区别是不是代表了你有这个意识当然我刚刚那个描述场景没有办法在大默信里面实现因为大默信一定
它是一个 inopt 的一个过程它一定得有 input 才有 output 才有活动所以实际上就是说这个其实产生了非常大的差异就是它有没有意识这是我个人的视觉所以实际上是神经科学难以定义然后神经科学也有研究意识的方法但这些方法跟现在大模型是完全不适配的那在这种情况下我们其实讨论大模型是否有意识是一个非常重要非常有意思的话题因为它跟 AI 伦理也有关如果它有意识
那这个东西我们得非常小心它就是一个独立的生命体对我们评价它要非常小心但是这么重要的问题我是觉得还完全没有到讨论它的这个时机你说这些的时候我想到了一个就是我们定义无限我们无法定义无限我们只能用有限定义无限因为我们没有见过无限是什么样子这是一个非常好的一个 point 对
然后我还想到了就是 OpenAIAltman 弄的那个 A 加的五个过程第一个是 Chat 第二个是到了啥来推理然后第三个是智能体再往上是创新和 Organization 创新那个阶段就现在没达到嘛但是很多人在去定义解释和理解这个创新的词的时候就觉得那他一定是能自主的不在我的任务我不用给他
指令的情况下它可以或者是在我一个指令的情况下它能够产生我没有给到它的东西要么它会啥叫第四阶段叫创新呢就是这个阶段是不是就是理解到人工智能有意识那个层面你怎么看这个阶段我觉得跟意识也不一定有关因为我觉得它也不会是一个突然出现的一个点创新不等于意识就因为创新其实那我们说现在的大模型
严格意义上来说有没有创新能力或者说宽泛来说有没有创新能力他绝对能创造一个人类世界上从来没有存在过的一幅画这叫不叫创新但是另外就是回到人就是说如果我们认为人是有创新能力的大模型早期很多非这个领域的朋友我们一块有时候会讨论的一个问题特别是搞艺术的艺术家他们不相信大模型能替代他们
因为他们认为人类的大脑是能创造原来从来不存在的东西特别是我们看到的一些这种艺术大家或这个我不反对这一点我们就提一个问题就是说我们看到的这些创作者他究竟是在过去的数据的就是我们人类过去的这些艺术范畴内通过总结归纳产生的一种有边界的创新还是我们可以跳出那个边界
因为我们看到的东西只能说我们的心就定义是严格定义是没有的东西就是新的原来没有这个就是新的但这个心是不是之前东西的一种组合只不过这个组合可能组合的比较离奇我们没有发现那种规律可言特别是中国
这种古体诗歌的创作本质上就是字的排列组合有一个很重大的一个问题是我们把李白请到当事和大模型一块去做诗李白做的诗是能否突破我们是否突破了文学边界还只是一种
我们创作能力的一种组合只不过我们还没有看到那个分布但是其实数据的分布已经包含了李白所以李白究竟是分布外还是在分布内或者我们现在有一个新的事它是在分布内还是分布外人类究竟能不能创造数据分布外的东西我觉得这个本身其实是疑问的但我们可以确定的是人工智能应该是不能创造数据分布外的东西的至少比较困难或者我们需要加非常多的这个代价
这是一个可探讨的一个点但人就一定能吗我觉得也是疑问我们看到的艺术创作真的是在我们原有数据的分布外吗我觉得这是一个疑问如果说人也是在那之内其实
人工生技网络或者人工智能已经达到了它已经能创造在分布内的但是从来不存在的一个而且对它来说反而是相对来说可能比较轻松的甚至现在做起来但是当然人工智能一个长久的问题是怎么提高泛化能力特别是高维度的泛化能力
比如我有一个概念叫系统性泛化我们可以理解为就是你学了两个任务之后第三个跟这个不一样的任务你是人是能迁移的是越学可能学得越快的比如你学下跳棋再学下围棋但可能这时候你学象棋会比你直接学象棋更快因为你可能有些基本规则的理解这个也跟 mechanism 有关这个能力叫系统性泛化能力这是以前认为大模型没有的能力
当然这也有争议因为那只是一个工作就是在 23 年 10 月份的一篇 Nature paper 上他们说不用改任何模型只需要做设计一些数据并且让这个模型在行为表象跟人对齐它就能获得系统性发展能力当时认为是第一次在语言模型上获得这个系统性发展能力但是我是觉得它定义不是那么严格但也在突破这样的一些概念或者这样一些特点所以其实我觉得这个创新本身
是很难定义到人的这一点我觉得还有一个更好的学术概念就是泛化我们就是泛化能力这个确实是生物目前我认为是比这个大摩星要好的泛化能力这一点
我之前跟我们公司同事他是专门研究推理模型的我就问他我说现在都说大模型像人然后强化学习让大模型更像人甚至产生了情商然后就直接反驳我他说那都是人类的异想断想那站在你的角度你会怎么认为你在研究的这个模型有情商这个是错觉还是真实
我非常理解您这个同事的观点在某一个场景下我的答案应该跟他一样但是我是觉得这有可能存在一个可能性他有但我认为这个可能性极低甚至我们从神经科学角度不愿意相信他是因为我们大模型所有的一切都是基于数据产生的也就是数据让他干嘛
或者数据包含了什么他就有什么然后他的表现完全是靠这个后训练或者微调训练来获取的比如说 IOHF 那你就是让人去选哪个说法跟人更像那假如你选的时候就是我要选一个我听了会高兴的话那他说的就是高兴的话如果你选一个我就专门挑一些
他说了让我觉得很生气的话那他就是说这个生气的话因为他确实是被数据给影响而产生的这么一个但从另一方面就是为什么我觉得未来也有可能有的一个原因是我觉得好的神经科学研究是一个去昧的过程
什么是去昧过程就是我们现在讲到意识还好因为意识太复杂了我们现在没有办法给它去昧比如我们讲到记忆讲到情绪会觉得这是一个非常玄妙非常高深的一个概念实际上
就是神經元的表現就是神經元的活動只不過這個活動發生在負責記憶的區域就是記憶發生在負責情緒的區域就是情緒本質上它都是我們大腦對外在調節的一種策略或者一種表現情緒可能給我們的策略賦予一種動態性記憶賦予我們一些基於經驗的一些約束或者經驗的一些參照
它可能跟就这个活动跟我们吃喝拉撒的这种更底层的活动可能没有本质区别如果没有本质区别的话那问题来了那人类的情绪或者动物的情绪有没有可能也是一种数据训练出来的也是我们从小的经历训练出来我们产生这样的一个情绪所以比如说我们说有一个人这个人非常乐观
是不是他的经历把他训出来非常乐观有的人非常暴躁是不是他的经历把他训出来非常暴躁如果他的经历不是这样他是不是就是一个很乐观的人如果是这样其实在本质上我们表现出来的性格底色或者情绪底色其实也是我们经历数据训练出来的所以我们未来有机会让一个语言模型是一个暴躁易怒的人
我只要给他看暴躁易怒的数据我们也有机会让一个模型是一个多愁善感的人我只要看这样的数据但是我们现在很难接受你那种多愁善感就是你的性格因为你是数据迅出来的是刻意的但是如果我们客观的看或者我们从一种数据的角度看我们的成长经历我们也是被 experience 决定的因为我做学习记忆其实我们做学习记忆有一个非常经典的一句话就是 memory defines who we are
就是我们的记忆决定了我们是谁我自己做报告的时候经常会用一本非常有名的书就是百年孤独里面有一句话就是真正重要的不是我们经历了什么而是我们记住了什么以及我们如何记住的
实际上就是我们自己的训练方法认知性格塑造其实也是靠我们的精力塑造的但必须要说精力是很重要的一部分但我们的基因我们整个人类在进化历程上产生的这个进化也是非常重要的一部分这个
不能排除但我们的精力确实非常重要那如果把精力看成一种定向的语言数据这个数据就是这类事件在约束那其实我们的情绪也没什么特别的也都是我们一步一步创造出来的只不过刚好我们有一个系统能够编码这个事能表现这个事能把这种训练给连起来如果把我们的情绪中说有
有了这个经历我们依然没有这样的情绪底色也是完全可能的这个其实跟大模型没有本质区别它都是对外界信息的编码在这种情况下情商这些我觉得就可以接受但前提是我们对情商感情先有一个去昧的过程就是它跟任何 in output 没有区别跟你输出 input 一个字输出下一个字是完全一样的一个过程我认为大模型可以有感情
可以有这样一个过程当然我刚讲的这个神经科学是我个人的一种理解或者做研究的一种思路那在这个思路情况下我认为这两个就没那么复杂了当然在这个基础上大模型产生情绪好像也没什么值得我们惊讶或者意外的一个过程我是这样理解这个问题所以站在一个神经科学家的角度是完全可以理解 AI 可以有情绪可以有
有情商我觉得不能这么说因为我相信很多做情绪研究的神经科学家也会认为可能依然会认为情绪是一种非常复杂的概念它不同于普通的 in output 就不同于吃饭睡觉的 in output 或者不同于这个我看到一个红色然后我脑海中红色表真的这种 in output 我觉得还是有这样的观点因为它维度可能确实不一样只不过就是
刚是我的一种理解它的方式甚至也不是我个人唯一理解它一个方式只不过一种理解方式如果我们用这种方式的话对对对对这个定义做拆解之后其实觉得 AI 是可以实现它对就如果我们这么去拆解情绪然后大家也能接受这个如果你这么拆完它还叫情绪的话那我认为 AI 可以有情绪有条件的一种解读了对
你在研究过程中能举个例子就你觉得严重被低估的技术或者是严重被高估的技术目前在你的跨两个学科的这个研究中也许明天我答案会变我就讲我 this moment 我的一个感受我觉得最被高估的是就对大家对 transformer 的一种也不能叫迷信就认为 transformer 这个构架非常漂亮非常
精妙也好或者非常漂亮也好或者是传说就是现在大模型智能的一个来源我之前做了一个 PPT 就尝试想从一个神经科学家角度来解析生物智能和大模型的一个区别其实我当时提到的一点就是大模型非常非常不像大脑或者我们如果一定要把它定义成一种大脑的话我更想说它像一个我们叫脑内器官
脑内器官的特点是什么呢当然我是说现在的脑内器官脑内器官未来肯定是会越做越复杂就是它是由神经元组成的但是它没有过多的设计因为内器官是就是说我们把一些神经细胞这我的理解就是不一定那么专业就是把一些神经细胞拿出来培养成
一个结构美国内脑虫对有类似的这样的这个然后其实国内也有做的很好的那它的特点是它没有我们这么精细的大脑结构但是也有很多的神经元元
为什么这么去理解这个理解其实也不准确也是方便大家去好做对比就是说我们的大脑是靠非常精妙的单元的复杂度就我们神经元很复杂以及系统复杂度就是我们神经元组成的脑区有很多划分很多层级结构非常非常的复杂
然后在这种技术上这个结构已经存在一种编码信息的基本能力了这样我们学少量的数据就可以获得我们现在的智能比如我我们个人可能我们看个几百本书当然这没统计过就比如几百本书可能就可以获得我们现在这种智能了但可能人工神经网络它会看几个数量级倍数的这么一个文字量
获得一个跟我或者跟我们人类差不多的这么一个智能他的策略是什么他策略是我把我的单元和网络做的相对简单好处是他可以做增量我也可以一个一个 block 的加我想加多少加多少我可以加的非常非常多其实我觉得传说梦的魅力其实在这
就是第一他很容易做这个单元增量第二就是他处理信息的过程非常简单这是一个包一词的简单就非常简单高效优美优雅就是允许他吞吐大量的数据客观来说我们的大脑是不允许我们吞吐大量的数据的就你逼着我看两亿本书我看不完的我看到死我也看不完而且我也记不住我的存量也有限所以其实我觉得传说妹儿
也不能完全叫最被高估而是可能大家对它的理解可能会有一些是认为有些非常精妙或者说神奇的一些设计但我觉得本质是它非常好的平衡了我既能编码又能增量又能非常高效有效处理信息的这样一个平衡所以它能够大量的处理信息
所以它适配现在的这种 data 追问的这个思想所以我觉得它其实不能叫被高估而说我觉得它真正的从一个概念化的理解是在这儿我们不谈它在底层的这个原理上的设计就在这个概念上理解我觉得其实在这儿所以真正的魅力在哪在数据就是说 Transformer 的核心是它是一个非常好的接口允许把数据
非常简单的去理解它然后用大量的数据学到一套规则或者一种引号智能吧生物的话是用复杂结构来实现的所以我觉得大家对 Transformer 的这种推崇也好会有很多不同的角度当然我刚提的角度并不是我个人我赞同的就魅力在数据这句话我就很赞同对
对其实我觉得核心这也是可能大家相对共识的一点所以我觉得传说中最大的魅力是它非常亲和大规模数据如果我们有一个模型也能做大规模数据我们想一个办法
我觉得会总有一天会超过 transformer 但问题是这么一个优雅的平衡点是目前可能 transformerlike 的这样的 model 只有他能做而且做的非常漂亮的这么一点当然也有些类似的模型就是 transformerlike 的或者说 transformer 的竞品模型我觉得基本理念是一样的就是在概念点上这样就能大量处理数据能持续的去处理这样大量的数据
是现在他们的这个核心而可能一些更神化他的我觉得是那些部分我觉得是最被高估的然后最被低估呢我觉得是对齐当然
这个可能现在大家越来越重视大模型对齐对当然这个对齐是我自己理解的一个相对相对狭义的或者说又相对广义相对狭义到这就是我们要求他跟大脑去一样这个一样只需要在某一个非常简单的表征上一样但是由于大模型本身的过程他会在这个一样的过程中 generate 出来该有的这样一个智能的这么一种一种形式所以这种一样
或者说非常模糊的一样其实是非常非常关键的一件事情这个就到了那个内脑模拟人脑的那块概念了对对对这就是王婆卖瓜了我觉得非常重要的就是怎么让大模型在全方位的或者在更底层的层面上向大脑这件事情是被大家忽略的或者说甚至不能要低估吧因为
好像大家也不太在意这样一件事情因为我们现在的推理是在行为上相似已经产生了非常大的收益或者收获了但可能实际上我觉得更底层的还是在机制上去
实现这个事我们经常举一个例子就是大模型的预训练阶段就有点像我们高考的时候高考前的时候我们自己去刷题一套一套的题做一套一套的题做如果你真的足够努力其实也能考一个很高的分数但是比较好的那在这个情况我们为什么需要老师或者需要一个名师或者说有一些非常优秀的这个同学他们会做得更好嗯
可能就是比如说这个老师给我讲了一道例题这道例题非常有代表性然后我学了这个推理之后我原来的那些知识我找到了一种组合他们的方法融会贯通我一下就融会贯通了那如果不刷那些题我光看这道例题也不行如果不好好学我就听老师讲例题也没用因为我没有足够的训练量但只要讲了这个例题之后我又有这些知识之后我一下就
理解或者悟到了就有点这种感觉我觉得其实现在大模型非常像这样的一个过程而那道立体我觉得就是现在跟那个行为学去对齐就是比如说跟推理过程啊推理的文字人类的这个文字或者代码去做这个强大学习去逼近的一个非常重要的但我觉得真正要对的不能是这样一件事因为对这个其实还不够底层因为底层是什么就是
刚那个形式如果我们到立体那个例子跟老师把这个过程来你应学这个过程以后你每道推理也是不管是不是要提老师先写解我就先写解老师先写这个我就写这个其实我觉得真正好的什么事你理解的是他为什么要这么写就他能写出这里面他内在的这个明师他的理解是什么那这个在哪呢我觉得这个在更深层的我们的推理人的推理逻辑
实际上现在大模型的方向发展上确实有这个运训练强化学习到推理模型他们两个结合并其实年初的时候 DeepSick R1 出来的时候大家会觉得推理模型是不是要推翻什么运训练了实际上不是他们两个结合才可能达到更好的效果这当然是肯定的因为其实 DeepSick 当时有一个非常重要的一个发现就是说你可以利用它强化学习的模型生成好的强化学习数据然后不用强化学习
只是用这个推理数据的模拟直接做反 tuning 可以达到类似的效果其实也都反映了实际上还是数据在里面起起起到这样一个作用最后一个问题你知道未来 50 年人类会被生物智能与 AI 的融合重新定义吗就人类这个生命体会不会因为 AI 被重新定义您问这个问题其实
我们对内脑智能非常重要的一个认为当然这个时间可以做一个转换我觉得 50 年太久了我们认为就是说在一个终极的智能形式的有一个中间体就是人类和人工智能的融合体
因为这个才能真正帮到我们如果我们一步做到就是我做一个人出来他完全把我替代掉我跟他没有任何交集反正就有一个独立于人的一个智能体我觉得这个其实是很难实现的因为人有太多在自然界的优势了这里面其实我更想举例为什么我觉得融合智能体是可能未来很长一段时间真正应该去追求或者说真正能
进入我们人类社会的一种智能形式是因为 22 年的时候美国写的牛儿爱白皮乳里面有个非常好的例子我想借鉴一下就是用一个例子来反驳内脑智能或者模拟大脑来做人工智能用什么例子就是说我们坐飞机我们的飞机坐得非常好但我们的飞机不是模仿鸟的
因为如果我们模仿鸟我们的飞机就不能载那么多人我们有那么强的载重能力嗯我们的飞机就应该忽掀着翅膀嗯而不是现在这套逻辑嗯我记得在这个 New AI 白皮书里面这些 Santos 他们的写法他们的写作上第一嗯
还是学习鸟的其实有很多案例他们也引了一些文章就是说飞行器设计的这个领域其实很多还是学习鸟的但是确实我们的飞机跟鸟是很不一样的原因是什么原因是我们坐飞机的目的不是为了实现鸟的功能鸟的功能是可以在自然界里面自由的飞然后可以随时悬停甚至像分鸟可以随时悬停在一个地方
我们坐飞机的目的就是为了把人类带上天为了提高我们的运输量或者我们迭代它的目标就是这个运输量这个目标跟象鸟本身就是冲突的但是人工智能不是我们到目前为止的做人工智能的很多目标依然被框在
达到人的能力向人的能力替代人的能力或者超越人所以他还是以人为参考系的所以人工智能的目前的很多任务导向是以人类的能力所约束的就是为了达到人这个能力就像我们说人工智能好那些任务都是我们定义的我们为什么定义任务因为我们需要这些任务就像我坐了个飞机它像鸟越来越像鸟
但是它不一定它满足不了人类需求对它满足不了最后的形态所以他们当然说了一个我觉得非常有道理的话就是假如你有一天有一个需求这个需求是你需要有一个飞行器能像鸟一样在森林里面穿梭那你必须学习鸟或者说你学习鸟就是一个最低成本的一个方案所以人工智能现在的一个核心就是它就是为人服务的这是很大一部分的需求第二就是
很多目标就是跟人类比的就我要替代人那我是不是得比人以需求的能力强我要超越人是不是在人的这个能力基础上去的比如说你就是造了一个人工智能出来它是一个人我们根本不理解的一种能力那我们也不需要它或者说我们至少不会去追求它在很长一段阶段内所以说人工智能很大程度上就是围绕着人的智能
产生的一个问题和一个目标它超越人接近人替代人本身就是一个 human centric 的一个现象所以在这个基础上围绕着人展开学习人我觉得是一个难以避免的一条路径或者难以去规划的一个路径那真正的落地或者真正的一个形态就是我们有没有可能
利用人在自然场景里面的优势比如我们可以自由地移动我们可以有这种交互能力我们有更好的反应或者说更轻量的过程但是我们可以让大模型在我们的背后在我们的肩膀上在我们的某一个芯片或某个脑机接口上帮我们做人类增强来增强我这是一个非常典型的 human centric
我刚讲的就是想说是他在底层理念上符合人工智能产生的最根本的源头就是
它是要超越人仿照人在智能这个问题上去定义的第二那在这种技术上它成为我的一部分我觉得是非常非常容易的一件事情也是我们乐于见到的一件事情或者换句话说我们现在的人工智能其实就是在成为我们的一部分替我们写替我们总结数据替我们写文章替我们思考对其实它已经是一种融合形式只不过目前的融合形式是依赖于电脑的嗯
依赖于我们一个界面的那我们未来也许是依赖一种脑接口芯片对依赖这种可以插到我们头里这个脑袋里的芯片像这个赛博朋克 207 这个游戏一样就是我们有一种这种增强那种增强因为我觉得这个是符合 human centric 的这种基本理念的人工智能作为一个人类开发的工具也许还有一种新兴形式有一种新的生态位在人类社会里面
但我个人目前没看到就它一定是会围绕着人来展开的如果围绕人展开它一定是我们直接或间接的一部分所以我觉得融合的人类和 AI 的融合形式我觉得是未来我们难以避免甚至某种概念上说我们世界上的大部分的人其实已经不再是传统意义上的人类了我想到了那个强导科技他们做那些设备他们实际上就对像是 AI 人赛博人
这也是脑机接口非常重要的一个趋势就是我们做人类增强还有一个概念我觉得也很好玩之前在一个 Nature 子刊是一个 perspective 讨论我觉得非常有意思就是说未来我们的孩子们他们的成长会跟 AI 交互的成长而且在非常关键的时期成年之后的这样的一代人跟过去的人还是不是
一种人类最简单的是他们的数据获取量比我们要高得多得多了这是一种进化是不是是那这种进化其实就是 AI 借导的人类能力或者表示上的一种进化
只是不知道说这种进化的结果是进化 AI 和人的结合进化到更像人的 AI 还是更像 AI 的人我觉得是一种融合形态对因为人也是逐步在进化的这个在我们神经科学有一个非常经典的一个例子吧就是说
假如把这种想象然后也来自于一本非常有意思的书如果我没记错的话应该叫从内到外解析大脑纽约大学的叫布扎奇他这个有中文版这个中国就能买到他的中文版他举了一个例子就是神经科学经常或者是这个心理学或者神经科学经常有一个例子如果我们把几千年前的古人比如把咱们在中国就把秦朝人拿到今天把他养大
和把我们现在一个小孩拿到秦朝养大这个秦朝人是否能达到我们现在的智能因为 5000 年其实不允许我们有特别多的进化就是在结构或者上面那
我们现在的智能跟古人比究竟是结构上的还是知识和文化上来产生的如果是知识和文化上来产生就是把它拿过来没有任何变化那 AI 帮助我们的小孩我们的孩子成长成一个新一种的人类知识的一种能力这就是人和 AI 的一种结合
就会产生一种新一代的这样的人类我觉得这个没有任何问题这已经是一种广义上的人和 AI 的融合形式当然我相信更多的讨论是狭义上或者更具体的就是我们有没有哪些我们的东西可以被替换我可以分享一个我们正在做的一个工作比如说我现在想画一幅画比如我现在看到一个场景杭州的风景很美我想把它画下来我画画很差我画不下来
但是我可以让大模型帮我画但如果大模型跟我是独立的我跟他讲我看到画面是什么样他画出来可能很好看但肯定不是我看的那张但我们现在可以做到的一件事情是我们把意念传输我的大脑信号爬下来然后跟大模型的生成能力结合起来能生成一张既符合大模型的那种生成出来的美感但又符合我看到这些视野特征的这么一些图像
其实领域内已经有很多这个方向可以做到这件事情这就是广义的脑机接口里这是脑机接口非常重要的一个方向然后我们做了一个人类增强版本什么版本呢就是比如说我们现在给一个任务或者叫 AI 增强版本也可以是人类增强版本因为是交互的就比如我们要把一张图像的某一个图形替换掉那替换什么呢替换到我看到的这个东西比如我想把照片上的某个人就替换成您
这个替换模型是能做的但替换成什么是我来识别的那就用我的大脑的信号来指导模型去替换这个人替换到的就是我看到的场景或者类别这样的话
把生成过程和脑信号混到一个模型里面去做就它既有纯生成的过程也有脑信号的对齐和干预我们认为这是一个非常非常初步不太成功的一种 demo 但可能已经预示了这种可能性现在是完全可以实现的
你说了一种很新的这种交互人机交互的方式对就像是阿凡达的电影里一样他的意念通过尾巴传输两个就传输完成了就我们和人工智能之间可以通过信号的捕捉模拟输出人工智能捕捉到然后人工智能再完成我们意念的任务
这种方式现在技术成熟到什么程度了就是先抛开意念这个词的话我们单纯就是神经活动通过神经活动来干预网络或者对齐网络这个在工程上是完全可以实现的它这真正的限制当然也有一些技巧上的问题因为其实大家都在做我们也在做但我觉得真正的问题是数据因为神经科学不好捕捉对 它的数据在
高质量和大规模上是很难兼顾的往往高质量的数据只有很少的因为我们踩得在物理世界踩你一个小时就是一个小时一分钟就是一分钟这往往高质量的设备又非常昂贵可能在一个国家或者全世界甚至有的设备在全世界也没有很多台我们亲近人类之力还为这个 AI 问题踩也踩不了多少
所以说怎么做这种也是一个核心的问题吧但是理论上已经通了我觉得技术上没什么困难其实脑信号跟语言很像它就是一种非常统一的表示表示什么呢表示我对外在世界的一种理解反馈或者交互跟我用语言描述世界没有本质区别因为脑信号也是很规则的
也是有一些基本规则和基本模式的组合的所以其实我们就把脑信号理解成一种我们没办法用嘴说出来的但是在我们脑子里面存在的这种语言的话那它就很适合语言模型所以我们用这种思路放到语言模型里面的时候它很容易就跟我们原有的模型的模态语言图像就对齐了那这个对齐之后
很多事其实在技术上并不困难但困难的是现在的模型来自于大规模的数据而脑信号的数据跟这个比完全不在一个量级所以脑信号对模型的影响和干预需要更巧妙的方法或者更大规模的数据去改变它这也是我们现在努力在做的一件事
这就正好你的结合你的神经学和人工智能的结合就在你的擅长点上我们关注这个问题嘛这个结合和跨界真的很有想象力对但我觉得还是有很多前辈我觉得我们还是
基于很多已有的工作吧因为我觉得就是大家对 AI 和脑的这种畅想应该是可能几十年甚至从 AI 出现到现在从来没有停止过其实积累了非常多 Valuable 的这个想法我们也更多的是基于现在的场景做一些我们自己的归纳和总结上次我去那个强导科技的时候他上来开场第一句话说脑机接口是人类未来百年之大金
未来 100 年人类要攻克的一个非常重要的方向就目前来看也是国家的战略部署一个是直接大家就能用到第二就是
脑接口的历史也挺长的然后但是在 AI 的这种加持下呢就大家对他的那个愿望和想象感觉就更有可能实现了挺好的谢谢谢谢谢谢雷伯来到我们的节目给我们打开了一个新的世界神经学和人工智能的结合这里面的想象点非常多以后也期待能跟雷伯继续交流谢谢谢谢好谢谢拜拜
那本期的会友标局就聊到这里啦如果喜欢我们欢迎点赞也期待大家在下方评论区的精彩留言哦更多节目信息欢迎关注 show notes 添加小助手微信了解更多节目相关信息感谢收听我们下期再会啦