108: 与马毅聊智能史:“DNA是最早的大模型”，智能的本质是减熵
02:18:18 Share

预知未来,先知过去。欢迎收听晚点聊,我是曼琪。这期是晚点聊的一个新系列,Long Context,长语境的第一期。类似于现在的大模型需要 Long Context,我们每个人去学习理解智能,也需要一个更全面的历史语境,让我们能在新东西不断涌现的此刻,找到一个更稳定的坐标。Long Context 系列就是希望结合不同从业者的亲身经历,去多角度展现人工智能的历史。

在这个系列的开端,我邀请了香港大学计算与数据科学学院院长马毅教授来与我们聊智能和机器智能的历史。马毅本科毕业于清华大学,2000 年在加州伯克利大学获得博士学位,先后任职于伊林洛伊大学香槟分校、无染亚研院、上海科技大学、伯克利大学和香港大学,是人工智能和计算机视觉领域的全球知名学者。

最近五年,马毅自己关心的课题之一就是智能的历史为了在港大推动面向所有学科本科生的 AI 通识教育他也在撰写教材设计课程对智能的发展做了更全面和深入浅出的整理马毅对智能有一些少数派的理解就比如本系列的名称 Long Context

当作为一个技术概念时马老师认为与其一味追求预训练模式下的更长的 long context 更好的方式是找到一种机制能让智能系统有闭环的长久的不会遗忘的记忆这些理解本身与他对智能历史的梳理和认知有关智能是如何在地球上诞生的马亦认为生命就是智能的载体

从 DNA 出现到神经系统诞生和含 5G 物种大爆发再到人类的语言与数学的诞生智能有不同的表现形式但不变的是智能都是在学习外部世界的知识与规律从而进行预测使知识可以为我所用智能是在寻找规律并利用规律是一个与宇宙的商增截然相反的过程从智能的历史我们接下来聊了机器智能的历史

大部分人会把 1956 年的达特茅斯会议视为人工智能的开端而马毅认为对机器智能的研究要追溯到 1940 年代维纳的控制论香农的信息论等更早的源头从那时到现在的 80 多年里机器智能的发展几经起伏马毅也分享了自己亲历的部分变化

比如他刚博士毕业时找不到对口方向的教职,他现在被引用最多的成果一度没有任何会议愿意接收。我们还聊了一个研究者的技术品味如何形成。品味 Taste 不仅是一种认知,也是认知被挑战时能继续坚持的自信。马伊的技术品味使他进入了一个目前在 AI 工业界的眼中并不那么主流的方向,白河大模型和能实现闭环反馈纠错的机器智能。

这两个方向在我们去年与马老师的访谈中有更详细的展开具体内容可以听晚点聊的第 71 期节目相关图文报道我也贴在了 show notes 里为了加速这些方向的探索马亦也创立了一家公司一生科技最后说一些声音上的注视

本期中多次提到维纳的 Sybernetics 它是指洛伯特·维纳提出的控制论本期也多次提到了闭环系统闭环反馈纠错机制简单来说闭环是指一个系统能自己知道自己学的是对还是错这是生物界智能的机制也是目前还需要人来做预训练和标注的大模型尚不具备的特性下面我们就正式进入本期节目吧

因为上次和马老师聊是在去年然后最近的话就是一个是想聊一下新一年我觉得 AI 领域有非常多的变化当然可能您对很多变化的视角跟一般人也不一样另外就是我觉得上次有一个没有特别展开的主题就是智能这个诞生的过程就包括可能自然界的智能也包括机器的智能还有一个就是跟这个话题有延展的就是我想跟你聊一下技术品味 Taste 的形成

因为我觉得这个是我最近和很多技术人员聊我觉得大家在一些未知领域的很多判断我觉得它是来自于一种长久积累的品味或者叫直觉也好而且它不仅仅是一种认知而是一种你的这个认知可能被受到挑战的时候你还是愿意去相信你相信的那个东西我觉得那才是真正的 taste

最后可能先想聊聊通识教育因为上次聊的时候其实你们就是在港大还没有开始但是有一个计划对吧就是想给所有的学科的学生包括社科文科都有这样一个计划如果这个有一个进展的话也可以聊聊实际上那件事情跟可能第一个问题都是有关系的对你第一个问题主要是讲这个历史对不对对我今天刚刚在清华在北大今天来两天我和北游也会去给就是最近

我对智能的认识也是在过去几年这个七八年包括最近这一年都在不断的丰富和完善也是因为现在某种意义上说是在大家对 AI 很感兴趣那么学校也在有很多的需求要对

研究生 本科生教育这个要求越来越多甚至是高中生初中生的这种科普这是大众的科普所以我们觉得是越来越需要做这个事情正好我们可以从这个源头开始聊一聊就是比如说您觉得智能的本质实际上是什么然后我们怎么理解现在的机器智能在我们去探索智能的这个过程中大概到了什么阶段实际上这个观点我们早就有了因为过去在 Berkeley 的时候跟这个原来做 neuroscience 的老师对智能的起源啊

就是不只是机器智能的起源像智能的起源有了一些这个理解吧只是呢最近呢因为也就是因为有这种科普的需求让更广的科学的有学文学的社会的背景的人都了解智能道理本身所以我们做了一些整理我最近也在做一些 talk 那么实际上呢

某种意义上说生命就是智能这个可以讲讲就是龙先生上次在香港有次聊天听到青春先生都是这个看的问题很大他觉得这个世界上啊有两个问题值得研究啊一个就是物理嘛就研究宇宙的历史啊

那么他说生命呢更多研究就是生命的起源那么实际上从现在看来呢从某种意义上说这个智能啊生命实际上也应该从某种意义上就是智能的载体就是智能这种机制的载体这就涉及到起源而且跟现在大模型有点关系了实际上智能本身就是在不断地学习外部世界的有规律的图

能够对外部世界进行预测我很喜欢的一个 quote 精准我记不住但是 paraphrase 就是说整个宇宙的发展的基本的规律 basic law 是它的 entropy 的增加它的商在增长的过程热力学第二定律封闭系统的商是不断增长的

世界是变得越来越混乱的越来越 chaotic 但是生命在这个过程中是 against 这件事情的智能实际上是要在这个过程中找到还没有完全不可预测的世界过程中是 fight against entropy 就是我们要在这里面找到可预测有规律的东西有结构的东西

那么这是蛮有趣的这跟我们对智能的理解就是说实际上生命就是在利用这个世界上很多东西是可预测的有规律的东西而不是随机的而去找到这些规律来做事情所以生命你看最早是怎么把这些知识 encode 的呢 DNA 对不对遗传物质所以我就经常会讲大家很简单去理解现在大模型很简单现在大模型实际上就是 DNADNA 就是这个世界上最早的

就是早期的生物对外部世界所学到的知识的一个编码记录下来通过核糖核酸这样的碱基结构对吧非常有规则的这样记录下来跟我们的语言很像这个早期它是什么阶段的生物是单细胞生物还是对啊就是甚至是还没形成细胞对不对早期的生命知道就从 DNA 出现就是说这个有机物出现以后就是它是很初级的生物很早而且这个

过程非常长大概是 30 亿年就是这种简单低冷生完全靠 DNA 的继承父母继承下来的上一代的细胞分裂下来给你的传授下来叫遗传物质这是父母给你的那么它是有进化它的智能体现在哪里呢智能体现在它的变异然后自然选择适者生存

物竞天择这就是强化学习所以你看看早期的大模型靠什么进展强化学习对不对自然界就是给你的 reward 你变异对了你活下来变异的更好你活得更好变异不对你一将功成万古苦整个 species 都被 wiped 掉所以他有一个新的生命诞生就好像是预训练的就是你得给他重新训练一版他不是在这个一版里他会持续的去不不他就是父母继承下来他完全靠本能活着嘛

但只是它在过程中会有随机变异在分裂过程会有些随机变异对 我就指它这个比如说它是个单细胞生物就在它的这个生命一个生命的生命周期里它是没有在我们那种意义上的学习的对了 它的学习所以这叫在生物学上叫做 Final genetic evolution 就是说它是物种精华

物种跟环境形成闭环它有智能它在找到不断改进自己对外部世界的知识对还是不对或者增加对外部世界的知识所以单个生物个体没有智能物种的通过进化在实现一种智能的机制到了大概 5.5 亿前在开始生物个体出现了出现了不起的事出现了神经系统出现了视觉

那么马上在 5000 年完之后就出现了韩武纪生命大爆发它出现什么事情呢就是说个体开始除了他从父母继承的这个大模型他能翻听了他能够形成自己的 memory 他从外部他所生活的那个具体的环境产生自己的新的记忆不是父母继承的对吧通过视觉通过感知对吧

或者触觉它能够形成自己的事它能适应环境个体开始产生记忆所以你看个体的记忆就是在 DNA 之外对外部世界的一个模型一个编码

它也是通过它的神经网络记录下来它不再通过 DNA 记录下来对不对但它只属于个体但是个体确实能适应得更好在出生之后它能够对它的特殊的环境能适应得更好所以你看韩武纪就实际上增幅大爆发个人个体的生存的能力大大提高而且物种变多了就各种不同形态的它几乎所有的变得它只要有这种能力它适应力都很高不然的话以前完全变得稍微不好了你就死掉了但现在个体的生存的能力更好

所以让它的变化也变得更加容易存活更加容易产生更多的物种所以这里面有关系的那么到了后来对不对就开始出现人对不对那你也看到在这过程中从低等生物到高等生物到爬行动物到鸟到普务动物

这个过程在进化你会发现这个很有趣的现象随着生命或者智能的形态越来越高个体在出生之后跟爸爸妈妈的时间越长什么原因呢就是说他越来越不依赖于他的预训练的大模型越来越依赖于他的 DNA 越少他

他更加重视后天的学习后天建立起来的 memory 父母教授他的东西或者在一个特殊环境中学到的东西的重要性从早期鸟是基本上就三个月就得跟爸妈飞了哺乳动物基本上都是半年到一年猫科动物最长两三年那么猴子就五六年人就是 18 年对不对所以你可以想象这个很简单的一个事实就会说知道实际上人的随着智能形式的提高反而是越来越不依赖于育训练的模型

更多是这种后天的这种 memory 那么到了人的出现之后又出现一点了不起的事情人开始出现了比较系统的出现了语言可以交流是什么意思他大大提高了获取外部知识的效率比如说我找到哪里有水我学到的一些知识你不用再去跑一遍

我告诉你就好了对不对就大大的提高了像一个群体族群群体或者一个社会的获取外部知识的效率原来每个猫对吧他的记忆都要去建立每个猫它是完全独居的对不对但人这是群居就产生了语言就变得非常重要他大大提高这个获取外部世界这个知识的这个为外部世界建模的这个效率所以才产生了语言和文字

对吧你可以认为文字基本上才说到文明嘛 Civilization 嘛那么语言的你敢记录的就是人类的收集的知识嘛那么语言的

语言而且不光是我们可以交流我还可以传授给下一代甚至从某种意义上语言文字起了一定 DNA 的作用原来的所有的上一代的知识上一代获取的这个世界模型还要通过遗传物质但现在通过书本通过组织好的语言就可以传授下去一代一代这是造成了文明的发展的速度大大提高

就不会是原来的单个物种死了这个猫死了它的所有的记忆需要的东西全都丢失了从语言开始是不是也开始了更多幻觉 DNA 是不是没有幻觉幻觉这件事情首先就没有很好听的定义对不对到底是这种随机的哪些事

好吧 每些是坏的我刚想到那个点其实我想到的想表达的是因为 DNA 它最后就是个结果你生存或者你不生存对 我们在对知识的应用过程中哪怕你的 encode 的知识很精准但应用过程都会有很多的不确定因素在里面对不对

它不是所有的知识都像数学一样 deterministic 那么确定性很多的知识是一种甚至是概率的对吧明天有可能下雨但是是很有用的这种并不是说明天一定下雨或者这样子但是很多的知识尤其是经验的知识它是以这种形式存在的包括中国以前的黄历我不需要牛顿定律不需要这些这个微微方程我同样预测天象什么的还是挺准

虽然会有一些小的误差但是你说这误差就是幻觉也不对所以这里面对这件事情大家不要去过分解读什么幻觉就是因为它没有一个科学的定义现在对不对你看一直到人类文明一直到几千年前它都是文字记录的还有语言或者文字记录下来的知识实际上都还是可能跟 DA 差不多

它大部分还是对我们的经验总结下来的规律它不是以非常抽象精准科学的语言描述出来的但是到了三千年前三四年前以前对吧有些很有趣的事情发生了一些哲学家数学家胡希腊也好对吧也可能在中国或者印度这些文明开始出现了一些抽象的概念发现对吧一些经验的数数一二三四五六七八十五发现人道无穷对吧

可以出现了自然数一个抽象的概念甚至分数 时数 虚数甚至出现了抽象空间的概念点线平面的抽象的概念这些从我个人来看这些不是从经验的它是甚至今晚的东西的一种升华但是这个升华是怎么产的

这个机理并不清楚到今天也不清楚到底是人的大脑出现了什么原因什么机制使得大家能开始从这种纯经验的知识里面抽象概括出这种 high level 的高层次的这种抽象的知识现在并不是很清楚但是

这次出来以后我们可以去模仿去理解但是这是怎么产生的这个激励并不是很清楚所以你这么看从原来单个物体的物种智能的进化通过基因变异到后面个体的大脑神经系统记忆的出现到后面语言文字的出现到后面数学语言对不对有的数学语言才有了科学才有了比较严谨的抽象的一般泛滑的这样的科学才出现了

所以你可以看到从 DNA 到大脑里面的记忆到语言文字到数学文字

数学类似数学的语言科学的语言这四种都是对一个智能体学到的外部世界的知识的一种表达形式从这个角度它是统一的只是介质不一样而已它都是对外部世界知识的一个可预测的规律性的东西的总结和记忆是这么来的

而且但是四种机制不太一样第一种进化是靠 reinforced learning 强化学习自然淘汰选择第二种是靠个人自食意记忆不断的纠错我们最近也讲是一种闭环反馈的它不是靠强化学习有点像 fantune 但是优化机制不太一样

它不做 backpropagation 它是做这种通过反馈之后这种控制的起源第三种那么就是文明的发展对吧靠语言文本把这个值得传递值得交流的知识给记录下来实际上这一类知识实际上是我们每个人学到的外部物理世界的世界模型很小很小一部分我们大脑只有前额一点点在处理自然语言绝大部分在处理视觉信号触觉信号声音对吧其他的物理信号啊

或者是我们的小脑在处理运动相关的控制我们的肢体各方面的东西所以你可以看到实际上即使是语言那也只是我们人类或者在一生中或者是学到的外部世界物理知识的很少很少一部分那么当然科学在把这些知识高度概括抽象理念变得非常的严谨但科学人我也知道科学的理论也是可以被证伪的

也是要不断改进的处理数学公式的大脑部位在哪也是语言附近 逻辑语言附近都是在那一块实际上并不多他要求的处理的就是这种知识跟我们可能视觉的记忆要处理你看我们的人的视觉也好触觉也好听觉也好他的信号的量信息量是非常大的多少几百万个 bit per second 那么到了大脑最底层基本上就变成十几个 bit per second

就他高度灵念之后他只把他真正需要的东西体验出来记忆或者修改或者是预测等等所以这个是我们的理解过程所以大部分的信号我们进到我们大脑以后是也就丢掉比如说我们现在面对的这个场景里面很多细节我不 care 对不对

只跟我真正需要记住的东西有关所以它有个信息组织整理零件提取的过程这个是我们希望了解的这个感知认知的过程哪些信息关心的信息提取然后高度的简化然后把它记住或者纠正我们以前记忆中不足或者是不对的或不完善的地方

这是智能的最重要的一点所以你们可以看到整个过程你发现智能跟有件事情一直分不开就是知识对外部世界的知识原来在 DNA 到记忆到文字到最后的科学但是知识本身并不是智能知识是智能活动的结果有能力获取外部通过观测到的感知到的外部的信号获取这些信号所描述的外部世界规律的这个能力才是智能

一个系统只有知识它只是个知识系统它如果没有更新自己已有知识或者增加自己已有知识的不足的这种机制的话它是没有智能的所以现在你这么可以理解 DNA 这个链条本身没有智能再大的模型大模型它本身没有智能不管它 incode 了多少记录了多少已有的知识它本身是没有智能

只有它在被更新被重新更新或者改进这个过程整个这个系统才会有就是大模型本身没有智能但是现在人们开发大模型这件事是有智能就过程本身是有的 GPT-1 没有智能 2 也没有智能 3 也没有智能 4 也没有智能但是这些 1234 结合 OpenAI 的工程师不断的改进这个系统是有智能的明白吗就跟单一的

如果以现在的机器智能发展的阶段去类比您刚才说的自然界产生的智能的这四种阶段或者说四个机制

它现在主要就是处在第一阶段和第二阶段是吗主要还在第一阶段现在在朝着第二阶段在走就是我们现在如何再去能够自主实际上这也跟我们最近的工作很有关系那么就是怎么让真正的系统能够开始在有了一定知识之后有一定技术以后它能够更新自主的去改

改善完善自己的记忆和自己的知识就是朝着第二个阶段走就是其实我们去年也聊过这个您一直在做的这个闭环反馈纠错的这个机制它是学界的一个共识就大家都是在往这个方向走还是这其实也是目前探索的众多方向中的一种在早期的机器智能对吧我们知道从 Cybernetics 开始就是闭环反馈就是控制论的起源

这就是机器智能的起源大家就已经意识到这是最最重要的机制这不是我们发明的这也不是我们最早知道的就是一个所有自然界的从早期的先贤最早研究智能的人就已经发现任何的智能系统都是闭环反馈的系统都是通过闭环反馈来纠错尤其是他们在研究动物的时候早期的智能研究都在研究动物

还不是早期的生物就是研究动物的时候就发现它基本上高级动物都是以这种闭环反馈的方式来改进自己纠错学习提高这样的来获取外部世界的知识的提升自己的决策能力的

都是这种机制所以这不是我们现在是其中的一种这就是这一种这是自然界决定的这是最重要的一种可能就是唯一的一种这个也是我想问的一个问题就是因为其实你刚才说的这四个阶段这四种机制因为它是生物的智能怎么在地球上诞生的就是有没有一种可能会有一些别的智能的机制它跟地球上的生物不是一样的机制有可能但是这时候我就说所以我们要对智能要有个相对科学而言起的定义

那么就是说一个真正自有智能的系统他一定是能够自主地获得改善他已有的知识或者改进他已有的知识的能力获取新的知识的能力从这个定义来讲他就描述了现在自然界的智能是怎么进展

第二有没有实现这种机制但不是靠自然界已经存在的这种优化或者这种筛选进化的机制的 mechanism 有可能自然界大浪淘沙它做到的很多系统已经是不错但它未必是极致上的最优对就它可能是个可行解但不一定是最优解它不一定最优解但是它至少是至少在我们现在看来

这种可行性已经比我们现在的人工智能实现的方法它的效率它的机制要高出不少多少倍我们还远远达不到对吧在包括动物层面实现这些机制的我们甚至实现的还处在就是打个类比就是还是处在单细胞开环的这种完全靠本能靠遗传存活的这种阶段了

一旦认识这个清楚所以你们大家可能也更容易理解为什么杨乐坤经常在社交媒体上讲现在大毛型不管多么大现在他的智能还不如猫和狗从这个意义上你就可以很清楚的理解他是这个他只有具具有静态的知识他没有自主纠错像动物一样在适应环境的能力产生个体记忆而且不断改进修正提高这个机制当然现在也是说我们的

很多的系统要去做推理对不对像人一样但是大家也知道它现在的提升是靠比较粗暴的方法不管是微调也好还是强化也好对吧它也是几乎还是在很大程度上还是靠实际应备它并不完全在理解这个事情所以比如说你要去严格的测试现在所有的机座模型大模型

它实际上基本上是没有到目前为止可以很严谨地讲现在所有的这些语言模型是没法自己产生抽象的自然数的概念的或者这些数学运算不管他看多少道题他也不知道他在做加减乘除但他可以看出很多例子之后你给他一些加减乘除的题他可以做得非常不错但这是两个概念真正理解这些规则

学会而且用到任何的场景比如现在多模态模型连数数基本都不太会见过的可能还数的准一点没见过的基本上是在猜或者是大概的估计估算在做这样子所以我经常在讲这个时代我们需要比较严谨的重新去定义图灵测试现在基本上是没有的现在很多人认为图灵测试可能已经达到了没有

你在一些题上题顾上或者 benchmark 上去刷刷分这个是一定是科学上是不严谨的它没法区分就跟我们老师一个学生考得好说白了我们老师也不知道他是考刷分上来的还是考他真正理解了当然我们通过一些出一些题甚至通过一些口试是比较能够容易知道这个学生是懂了还是是身搬硬套的一壶的画片要做的

是可以的但是这需要一个比较 proactive 的比较主动的积极的一个过程才会了解那么对现在对大模型的 evaluation 这些东西是缺少比如大模型真正具有哪些能力它是记得好还是学懂了还是甚至能够抽象升华这些都没有严谨的科学的啊

这个方法去验证这件事情好像没有专门的 benchmark 去测大模型是不是真的懂了一个事对吧对啊所以到目前为止没有我们现在也在做一些 benchmark 现在还是经验的在看它有些能力把它的 limitation 能找到比如说一些原来我们也做过对吧多模态一些模型对于图像的理解甚至现在最近的一些工作就是多模态模型对空间的概念的理解都是非常非常差的实际上

大家有时候看到的一些例子都是可能就是正面的例子但是反面例子是非常非常多的甚至包括数的概念大家如果真的去科学的研究里去测试的话你会发现是没有这些抽象的数学概念刚才想到一个问题跟我们最开始讨论的就是智能的产生生命是智能载体有关

就是在宇宙中间智能这个机制它到底是必然产生的还是不必然产生的我觉得是一个偶然我不是刚才讲的一个 quad 我到时候发给你那个我非常喜欢的 quad 就是说这个物理世界是在一个上增的过程那么在这个过程完成之前这个世界还是可预测的

达到达到达到平衡态的时候达到达到伤最大的时候这个这个历程是个动态的历程我们的宇宙绝大部分还是可预测的有很多可规可预测的机制我们实际上是生命是在利用这些可预测的东西在存活那按照这个逻辑岂不是有一天宇宙就会没有规律可让你学习了是啊对应该按照物理现在知道现在所理解的物理规律啊

如果是按照现在这个封闭系统设在这样那伤势最后达到最大对不对就会变成一个混沌态那是肯定的除非真的有超过宇宙的高级生物重新改变这个宇宙的秩序

对除非就是你产生了一种除非有外力来影响这个系统对就它不是个封闭系统那我们就不知道了对不对照目前的物理观测整个的宇宙是在上升的但是呢在这个过程中很多的规律还存在是可预测的我们的很多的东西还是可以规范可以预测的天气还不是随机的对吧很多的物理观测

物理规律还是起作用在这个过程中我们可以预测所以我们活得更好我们可以把知识和记忆的方式存取下来能帮助我们对外部世界将会发生的事情做出很好的预测所以帮助我们做出更好的决策所以我们能活得更好质量会越来越高但是这个历程肯定最后还是会消失掉的如果按照物理

所以人的生命正好是 always fight against entropy 的就是说要在这里面找到结构对 我觉得这么想起来我觉得生命和智能真的是非常神奇的一个东西对 它是一个 against 物理世界的规律的它实际上是一个蛮偶然的但这一个偶然很有可能是必然它是一个随着伤在增大过程中所以很可能就是说从这个意义上来讲很可能生命在出现在宇宙的其他地方也是非常有可能

那智能能出现有可能它就会未来能对抗上增吗比如说智能到达一定程度之后它得用既用外力一定要用到 resource 要用能量对吧要去商检你看为什么现在要烧了那么多几十万张卡呢对不对你看我们深层图像对不对深层图像就是从造成开始慢慢的压缩去造它在过程中

去造这个过程是就是在商检的过程但商检要让这个最后你得到的数据或者这个系统商检你是要把能量注进去的这个能量必须要来自于某个地方但是对一个封闭系统它没有外部的能量输入的话它的伤势一定会增加的

我们是在用其他的能量我们把电其他地方的能量烧火对不对然后在芯片上把这些图像整理得好这是一个不封闭的系统所以我们是要用能量消耗能量去找到规则让我们东西变得越来越规则

就是让一个无序的东西变成有规则的东西就是现在图像生成的对吧 Diffusion Denial Model 就在干这个事那么你要做这件事情 Against 伤针的这个过程你要用能量去 push 这个事情对 然后你刚才说如果宇宙就是我们现在观测到的它没有一个外部的力量它就是伤不断的变大然后最后所有的规律都消失没有规律可供你学习变成一个完全随机的世界这个还挺像一个电影里的那个台词就是《淫逸杀手》里面

有一个很经典的台词就是说 All those moments will be lost in time 所以时间就是一个商针过程你知道时间的定义实际上就是说商针就让宇宙有了方向才有了时间的概念就是说这个这是贺金讲的对不对时间减时从有序到无序这样子一个过程那么这次有了商针这个方向给了宇宙方向所以时间是有方向的

所以人类去探索这个智能机制可能在整个宇宙历史中间它也就是一个瞬间对啊 是一个过程是其中一段过程在这段过程正好

很多的东西是我们生活的尤其地球这个环境很多的环境是可预测的包括气候包括它的化学的组成成分等等是分得很清楚的有水有空气对吧有了这些东西才让我们有了生命的可能那我觉得正好可以从刚才讲的就是整个智能诞生的过程我们来到机器智能就是你也说现在你们在探索的就是从第一阶段到第二阶段这个智能的机制其实就是最开始大家想去研究智能的时候提的那个方向是

对的就是大方我们只是而且当时上 40 年代对这些智能系统的研究动物也好智能也好他们已经看到了智能系统应该所具有的必要的一些特征都已经看了所以您觉得这个起点是 40 年代不是因为一般会说是五六年的达特茅斯会议这是个非常错误的看法因为这是可能只是计算机领域对这件事情的一个自己的一个界定吧那么实际上你看早期就是因为对智能系统的理解啊

它的特征必要的这些特征的理解所以才导致了控制论信息论对策论甚至是现代计算机体系结构的发展包括神经网络的数学模型都是在那个年代去研究智能的这些特征才发现神经网络的特点数学模型才发现它的机制闭环反馈是生物界去改进学习自适应的一个最基本的机制

才知道信息论我们的大脑是要去对外部的世界的有用的信息如何进行编码解码才导致了对策论当一个动物或我们在一个未知环境中甚至一个比较如何去提高自己的决策通过试错通过去优化博弈去提升自己在判断决策上面的能力实际上就是因为到了 40 年代蓬勃发展才导致了真实的例子才间接上影响了图灵去想

那么如果这些机制关于动物层面的生物层面的这些智能机制现在至少这些已经当时大家并不知道怎么去集成它们但都知道这些都是已经观测到的现象那么图灵就在想那么如何把动物和人分开呢所以他才在 50 年才提出了图灵测试这个概念如何当机器聪明到什么程度我们把它和人分不开所以 40 年代研究的你可以认为是伟大测试是在区分机器和动物希望能够实现跟动物层面的这种了

动物和机器不能分开那么到 50 年图灵才首先提出来那么什么样的方式智能要到什么样的水平我们才把人和机器分不开了这才导致了五六年对吧有些年轻人为了响应他的号召五六年才开始研究那么人的智能有些特殊的哪些特征是人所特有的一些特征 40 年代包括维纳相农这些人他们去研究这个东西的背景是什么为什么

为什么那个时候成批大家去关注动物的智能的问题了答案很简单打仗那是要干嘛造五星王还是对了他们当时就是要看比如说大炮打飞机要打得准怎么能跟踪目标那么你想一想动物界捕捉动物猫科动物是最快的又敏捷又快速度也快执行非常的准

又快又准所以他们就要研究那么这些动物是什么样的机制而且犯了一次错不会再犯第二次基本上对不对很快的纠错第一次没打准第二次基本上就不可能不然的话这些动物就早就死了对不对淘汰掉了他就在研究这些机制到底怎么产生的

动物为什么对这些外部世界的这些目标抓取的反应非常快敏捷而且非常稳定所以他们开始而且他的决策会不断提升实际上计算机从某种角度上也是发现发生就是为了实现这些用机器来模拟这种机制

这个反馈啊这个决策啊这种机制实际上你去看甚至历史文献冯诺依曼提出那个冯诺依曼构架现代计算机的构架他目的就是为了实现维纳提出来的 Cybernetics 就是想这些他发现的这些反馈啊优化机制啊到底怎么去实现或者是对策这些机器怎么去实现这种

他去实现一个计算框架去实现这些机制而已因为好像很主流的叙事是说计算机是为了去算原子弹没有没有最早的计算机是破解密码但是实际上冯诺依曼提出冯诺依曼构架已经是他的最主要的 motivation 就是为了实现 Sybernetics 这里可以甚至找到他的手稿他跟维纳是非常好的朋友维纳的 Sybernetics 对他启发非常大

对智能这件事情极其具有能力决策甚至从间接上影响他后来提出博弈论这些对策论都是在研究自然界这些各种规律大家在一个未知甚至是有 adversarial 的环境中如何提高自己的决策和对策的

对那你可以讲后面它是怎么发展的就是 40 年代然后到 56 年那群年轻人要去研究人的智能对那个时候可能有点早期吧但 50 年代实际上大家因为 40 年代的发展 50 年代大家有点过热对吧就是 50 年代大家除了除了这些在研究人的智能可能这些年轻人也想特立独行嘛就是不想跟随主流嘛

所以这件事情本身对现有的年轻人也是一个启发对吧你要出头你就要不要去随大溜对不对 40 年代这些人什么信息论和控制论都已经建立得非常完善了对不对所以这些同学们肯定要去找到还有这些这些框架还没有研究的人的智能所以他开始研究因果抽象逻辑人的问题解决论

所以这次才导致了达特茅斯的这个 program 那如果对应到刚才我们说的那四种机制其实他这个时候是有点想去研究就是数学科学语言出现的那个部分但是他们也只是在研究这些现象他们都没有提出这些机制是怎么产生的到目前为止没有人提出来就是说人的大脑到底在那个几千年前到底出现了什么原因开始能够从仅从经验获取知识到

能够产生抽象这里面是不是机制类似跟我们提取从观测的物理信号提取这个知识的机制是一样的我们不得而知对吧因为我们知道现在很多前期的重新验的数据提取知识主要的机制还是通过压缩通过这个

去造压缩对这个可能要给听友解释一下就是您说的从观测的现象提取知识它这个东西是一些就类似于一些直觉反应类的是吧比如说就是我们上次也有聊过就你丢一个东西你大概知道它会掉在什么地方对就是说从经验我们观测不管是视觉听觉对吧我们实际上都在学习外部世界哪些东西是可以帮助我预测哪些是有规律的对能够帮助我预测下一步会发生什么事情这个是靠压缩对是靠压缩

所以我们这样有时候说我们人也好猫狗也好都是牛顿我们早就对外部世界比如重力物体的足球踢球它会沿着什么样的轨迹我们的预判它的轨迹猫和动物更快对吧动物在运动在捕食过程中对吧东西往下掉它反应比我们还快对猫的反应是你的气味你看你看对吧即使人我们学了牛顿力学对吧实际上我们的反应还不如猫和狗所以猫和狗在大牢里面他们

都对物理世界的这个规律已经见了魔了只是他的语言不一样他是在他的神经网络里面对这些事情的预测他是用另一套编码来得到的就跟我们的 DNA 是靠核糖和酸来编码

对不对它是用神经网络的结构来形成的记忆能够帮助他预测牛顿定律微分方程只是另一种语言而已但它更加抽象更加概括更加简洁它做的本质是一样的只是可能我们阿玛奥国的模型没有那么的扩展甚至没法录像给别人没有抽象出来没有人传递给别人但他们的每一个人建立的模型非常准比我们人学过牛顿定律的人还准对不对

所以这是一个很有趣的事情对吧就是只是表达方式不一样我们对外部世界的知识它的记录方式不一样而已只是呢人的道路这个有了数学有了科学语言之后对吧他对这些经验的原来在我们大脑里面经验学的东西进行了高度的开阔和抽象而且可以相互传授甚至能够对吧 generalize 到很多的情况

所以 50 年代那批年轻人就是想研究这个现象机器怎么能有这种东西对这机器怎么能够有比如因果关系逻辑或者抽象符号这些人是怎么解决一些问题包括一些高级的推理等等去想研究这个所以这些人后来也都挺功成名就的但是从实现层面他们对这些现象有了很多深入研究但是从实现层面上做的并不是很好对不对

那么另外一层实际上对神经网络的 50 年代也做了很多探索大家 50 年代也吹了很多牛对不对所以我经常在说的今天吹的牛基本上 50 年代早就吹过了对吧那个时候你去看那个时候当时对神经元有了数学模型之后大家也开始建立神经网络叫 Perceptron 就是那个感知机 Perceptron 对吧他也做了大概也花了 600 多万美元

按照现在的钱也差不多一个 billion 了对吧也是多少个所以鉴定了这样因为您在有一个演讲中提过后来我去纽约时报上我真的找到了这篇原文就 58 年的时候他有一个报道大概意思就是真的和现在的 AF

报道很像就是说经济也有开始产生意识了可以自己学习了对对对说他要学习要思考然后他会读会写会理解对对对或者以后甚至取代人工作说他还能知道自己的存在对对对所以现在甚至人也不用再工作了所以我们以后很多机器可以帮我们做很多事情了对不对所以这种这还只是其中一边好多好多那个时候还有一些杂志很多报道

大家都是也是铺天盖地的觉得所以后来大家有些就冷静下来发现其实还是很多不了解对不对

又开始到 80 年代开始研究猫觉得可能还有一些东西我们不了解这个大脑是什么组织的才导致了这个卷积神经网络的发现对不对也是通过观测猫的大脑视觉系统他发现他的神经网络不是随机点的对不对他是有很好的 pattern 很好的规则的所以这就是导致了后面的更好的神经网络设计的效果会更好对吧甚至杨洛空还得了图灵奖对

所以你会发现这个过程就是说对智能本身的自然界的智能机制的理解也是循序渐进的不是一蹴而就也不像人想象那么简单包括我们再举个例子那么现在实现的神经网络你看甚至解决了神经网络后来也是实现一个很大的模型包括 transformer 等等在做类似的事情但是人的大脑并不是这样的结构

我们的大脑皮层并不是这样的不是一个单一的模型我们是很多并行的模型高度并行分布处理的一个系统我们大脑皮层几十万个单元并排的处理很多信息视觉信息进去之后触觉信息进去之后很多都是分布并行的在处理然后再基层所以我们现在跟我们现在大模型的机制那是从实现的模式上都是不太一样的非常不一样的

所以我觉得我们还在自然面前我们还是要谦虚一点还有太多的东西我们不知道不要枉父所义所以我也是当你真正了解逐渐去了解智能的时候你会发现我们现在做的东西是非常的粗暴简单的原始的

所以跟早期的生命是很像的大量的资源消耗对不对不是说不能进步但是这种 reinforced learning 这种自然淘汰这种试错随机试错然后去找到可行的更好的模型的这个过程是极其的这个消耗资源而且是不可控也很难有预测就如果从 40 年代开始算到现在这 80 年的历史里面您觉得整个人工智能或者说机器智能的发展过程中间有哪些特别关键性的历史时刻

我觉得当然基本上也提到了对吧大家都了解对吧三国学早期就是当从最早神经元的数学模型那是 40 年代当个细胞神经元的模型对吧 40 年代那么后来就是因为开始有点王夫所以觉得这个有了模型我们就可以做后来到了发现还有些组织机构不太对那么我们开始找到了

通过也是猫的视觉系统等等开始发现有卷积的性质卷积神经元就是 80 年代 80 年代最早是福克西日本人提出来的卷积神经网络那么 89 年阳能空实现做得不错

然后到了当然后来就一直很冷对不对想真正的那么在 80 年代一旦探索其中有个人就是 Hinton 他们做了就是为了去做这个 auto encodingencoding decoding 把这些事情做对开始用了一些甚至是一些物理的一些这个同级物理包括今年的诺贝尔奖也是发给他在把这个在当时并不认为那么重要

当时甚至大家的 auto encoding 他找到的机制当时也并不认为这个 warauto encoding 的中文就是字编码然后到实际上到了一般是要到了 2022 年因为有了足够的数据足够的算力 GPU 的时候 Alex Collect 不知道这个 backport 虽然也是 CCN 对不对完全是阳能控源来的手带

框架稍微改进了一下发现能够启动那么带来了这个一个节点那么实际上它的更大的我觉得决定性因素是算力和数据让训练这样的模型变得可能所以那么到后来就是顺着就不断的发展

用到图像用到声音用到自然语言然后用到甚至这个蛋白质对不对整个更多的数据的结构这样的来发展是大概这么一个历程吧所以里面但整个过程你看过去十几年的神经网络的结构的发展几乎都是通过试错经验试错的方式不断的淘汰不断的优化这个经验试错的方式得到了

因为您自己也是经历了这个过程因为您应该是九几年就开始研究人工智能方向是吗我不知道那会儿是不是叫人工智能方向没有了以前就没有人工以前你要提人工智能你的文章全给 reject 掉对吧以后你的文章只要甚至提到神经网络你的文章就但是我们早几年是在我从学生的时候就开始意识到因为我们是在 Burkeley 机器人组嘛

所以早就知道了但那个时候控制做的还是不错的实际上今天大家看到的关于两个腿走路的机器人我们那个时候都看到了日本人都在做对吧日本的这个 ASMO 还有更多的其他的版本跑步的跳的翻跟斗的上楼梯的日本人就是这样的就是他的对这个机械本体的控制虽然那个时候机电可能比现在笨拙一点

但是基本的原理方法差不多都已经做过但那个时候我在做学生的时候就已经接触到日本的那些机器然后当时我老师就跟我讲他说你看这个系统控制做的还是不错能够平衡走走路跳跳舞对吧也可以跳舞日本的那个机器翻跟头也可以但是我老师说他是瞎的

他没有反馈他没有大脑他没有眼睛全都是 pre-planned 提前编好的上楼梯的步子摆多大腿抬多高都是提前编好的跳舞也是每个动作都是提前编好的那现在有些跳舞也是提前编好的提前拿数据运训练的所以换汤不换药只是现在确实计算机快了

机电性能好了可以做得更灵巧了那么那个时候就是发现那么视觉不行那不行我们老师就说他没有反馈做得对不对他不知道的那时候那么怎么闭环呢你都没有信息的输入对不对你管有输出不行所以那不瞎动吗所以当时就说那么好当时我的导师在回头就说所以我也是我们导师做机器人李泽湘是我师兄所以他们都在做控制对吧

我以前也采访过所以那时候我的老师第一个开始做视觉的开始意识到这件事情很重要你不能绕不过去的对吧你要系统要自由智能要独立的跟在外部环境能够自主适应环境那你没有视觉感知是不行的没有反馈是不行的所以那个时候就开始研究视觉但那个时候不叫人工智能对吧那个就叫视觉啊

所以一直在研究三维视觉如何重建外部世界机器如何感知外部世界啊这样子包括你也看到包括李斐斐自己的这个自传他自 2007 年嘛 2006 年左右他毕业的时候那个都没有这个方向是极冷的哈

都找不到工作的然后当然还好我们伊尼诺伊把它找到伊尼诺伊去了对不对那个时候是基本上我找工作的时候你看我的工作我是做视觉的但是没有这个领域我的工作我在伊尼诺伊也是系统组我教的是控制没有 computer vision 没有 3D vision 所以都是这样包括我们申请 funding 的时候都是没有对应的口子去申请的

但是就在这样的条件下大家开始起源开始研究感知视觉重建识别等等这方面的问题那你自己感知到的学术生涯的转变或者说这个方向就是它变成一个可以叫显学吧它是在什么时候当时发生什么有这样一个转变显学的时候我觉得早期是在三维重建因为我们早期最早的视觉开始引起大家重视的时候实际上最早还是三维重建

三维场地的复现等等还不再在识别这块三维重建开始在跟计算机图像三维重建 3D 环境定位然后这个复现 3D 的场景甚至在电影里面包括这个 Berkeley 的我们做了 3D 重建的一些工作最早的 Matrix 这个好莱坞的电影它从复现一个环境的数字化对吧这个里面都出现那些技术开始用起来慢慢开始变得大家知道这种有用

当然这还没完全直接用到机器人另外还有就是在自动驾驶我的博士的硕士论文就是自动驾驶这个视觉基于视觉导航的视觉驾驶那就 97 年吗对 97 年对 2010 年我的博士基本上就在把视觉用到自行飞机的降落这个在舰船上的降落就是做这样的事情三维重建变成显学应该是 20089 年这样子就是这些相对逐渐成熟

能够在一些实际场景产生应用那么识别这个问题李飞飞讲的 07 年 08 年都还是很冷的因为识别刚开始包括一些数据库上 performance 都很差分类识别的问题基本上变成显学的实际上是到了 2012 年神经网络出来以后在这些分类问题上识别问题上提升的不错它才开始引起大家关注就是 ImageNet 还有 AlexNetAlexNet 那个时候 ImageNet 早就出来了但是开始现在效果不太好

但是立即提供了一个数据库提供了一个测试平台同时 GPU 等等让深度网络的优化变成可能所以这次实际上也是几个因素正在那个时候成熟然后导致了当然那个时候开始对识别大家觉得是可以做然后也导致了深度网络

不断的在进步对其实刚才我们讲这个机器智能历史它这个中间有很多就是起起落落的转折就是如果从这些转折中间因为您自己也经历了这个其中的一些过程就您看到的有什么智能技术的发展的规律吗比如神经网络的这种极其极落它可能很早的时候大家就提了后面又一会儿又热了一会儿又冷了对视觉的在几何方面三维重建是发展是比较顺的因为它最早的数学问题比较清楚嗯

他的技术问题也比较清楚出现也比较逐渐丰富逐渐严谨包括第一本书就是关于三地失绝那么至于识别这一块对吧模式识别包括这块神经网络相关的这个是极其极弱也是对他的认知早期的实践遇到困难还有一些理论的认知上的局限性开始一些发现神经网络在有些问题上实际上是做不到的也会逐渐的极其极弱

这个是不太顺但是主要的你说真正的规律说真的真的没有因为开始一直缺少原理缺少基本的第一性原理它的目的不清楚智能在做什么不太清楚那么学习机理也不太清楚所以你看它是两条线一条线就是要么就从生物学学包括当个神经元在干嘛包括这些神经元怎么排列的对吧 卷进神经网络甚至包括像像比如看像大脑提成学一学早期这个

Hinten 很多东西都也来自于启发也是这种东西启发还有一条线就是纯工程就是说那么有了一些成绩网络大家去搭一些 CNN 也好那么不同实现这就是从工程上的试错改不断地实验早期像对吧这个

杨洛坤他们在做 CNN 那么 Hinton 他们在做字边码包括用一些 BP 甚至暴力的方法去优化是错的方法在不断改进到后来即使发现那是个冷血但是后来这些网络结构也在不断改进什么 VGGGoogleNetResNet 后来什么 Transformer 等等的吧

在这不断的改进当然就别说还没有没有留下名字的那就是可能就是一家工程网骨窟在那十年有不知道多少个网络结构被提出来现在连名字都记不住现在有很多新的结构出现是啊就是这样子所以就有点像 DNA 你想有多少 DNA 被死掉了对不对多少代的生命就是这位自然选择掉了对不对所以这是同样的一个机制那么所以它的大概是这样一个规律所以你可以说它也没有规律有规律它规律就是可能生命早期的发展这样的规律

所以在这个领域做研究他会更有那种宿命感吗我觉得是所以现在如果方法论不改如果大家还是用试错的方法论的话不是说不能进步他的方法论本身还是试错的方法的话那么就有点靠运气成分在里面了所以我经常说对吧经常都说这些公司你也看到很有趣对不对

这些新的进展新的框架提出来往往是它不是一个组有系统的在不断改都是一会儿泡在一会儿打到这儿一会儿打到那儿一会儿这个组好一点一会儿 deep mind 一会儿 open AI 一会儿 Google 一会儿 Microsoft 一会儿又是 DeepSeek 反正一会儿就是反正你会发现很有趣对不对就是说它是一个蛮随机的不可预测的大家都在尝试它的进步是靠经验看谁的资源更多谁的经验更多

大家最近有些人说这个 DeepSick 还值不值得投什么的我说反正我的回答很简单炮弹一般不会打在第二个弹坑的除非它的方法不一样除非真的是它的有些系统有规律的东西去改进它的方法改进但目前为止我觉得大家的方法基本上还是在考试错你刚才说的这个点特别有意思因为这个是我的一个切身感受因为你报道这个理由也会有这种感觉尽快是这儿明天是这儿对吧而且每个都很夸张是什么炸裂颠覆

对而且所以你这么看你相信就会很淡定客观一点你想就说即使捅破欧系列这个窗户子即使不是我们中国的团队也可能是法国的团队也可能就是 DeepMind 的英国的团队也可能就是美国的其他的一个公司对吧

这是不同团队在大家都在根据自己的经验在利用自己已有的资源在不断大量的资源在通过试错对不对也可能是 Grok 对不对都是这样子它的过程就是这样就你刚才提到的很多成果出现的地方其实都是工业界你提到都是公司对啊因为它才没有这些工业界现在也就是因为现在的方法论也只有这些公司才有这个资源去才能承担这个试错成本就它是

不利于学界去做出大家都比较关注的成果的对不对所以学界就应该做互补的东西我觉得学界就应该把这些比如说后面的真正的科学原理搞清楚科学的界定清楚对吧智能不是一个笼统的概念它是有不同阶段的不同机制的

那么怎么去验证怎么去测试怎么去判断一个系统真正具有了某种功能具有了某种智能的某种特征这些是科学问题这些数学问题这是计算的问题这在过去十年并没有界定清楚反而是学术界被工业界带了很多节奏所以这是挺让人比较失望的地方

那学术界去解决这些科学的数学的计算的问题它这个节奏表这个时间它好去预估吗所以做科研肯定是有 uncertainty 对不对但是你的目标要很清楚这就是刚才涉及到你说的品位问题了对不对

就是说你绝对不能学术的你看为什么五六年的这帮人他自己要出头为什么要躲到达特茅斯大家有没有了解这段历史他为什么不在你要学智能队为什么不在 MIT 为什么不在 Caltech 为什么不在 Berkeley 为什么因为 MIT 有罗伯维纳在那对不对 Caltech 有冯洛伊曼在那对吧 Berkeley 还有几个老大对不对

所以他这些年轻人那个时候都是年轻人他就要躲在达特茅斯他去特立独行做自己新的东西所以他们要远离当时的主流和重心对了这是个选择的问题这就是 taste 这就是价值观的问题所以有时候我们说一句不太好的话中国人喜欢卷卷只有一个原因大家做同样的事情你做什么我也要做这个工业界可以了工业界什么东西赚钱大家都去赚对不对你做的好我做的更便宜对社会反而有好处大家可以去做同样的东西但是学术界不应该对不对

而且至少不应该做去跟工业界同质化的东西因为你没有任何附加的价值你没有任何优势而且还别说现在对智能的理解工业界现在的 practice 现在实践的方法是非常简单粗暴的有太多的好的想法方法工业界并没有去做我觉得现在学界和工业界之间还是不太相互理解的因为比如说您的一些成果我可能跟一些工业界的人交流就他们有的人会觉得这是故事会啊

或者说他觉得这是刷存在感是啊 是一样对吧甚至还没有存在感对不对 30 年没有任何存在感对不对所以学术界你想我们的训练 We get paid to do 就是我们的目的是我们也没有什么太多的这个死心要去做什么我们做任何事情的出发点是把一件事情搞明

我们不像工业界的人他可能带着立场或者利益来学术界实际上我们可能会犯错或者甚至学术界很多人会突明但是大部分我们做很多事情本质的出发点是把这件事情搞明白

搞清楚把正确的东西方向找到这是我们往往我们做这样的事情而且很多东西我们的 confidence 也来在这里就是说有时候不是很多新的东西出来包括 Hinton 他的 confidence 来自于哪里他未必说他就找到了正确的结但他知道这个问题是对的这个方向是对的他研究的这个机制是对的就跟早期的先贤们一样对动物智能的研究他看到这些机制他知道它是对的但他并

并不知道这些机制是如何即使他那个时候也不知道它是如何整合在一起但是他们知道这些东西是对的所以科学有科学的方法如果我们去验证包括我们对现在的智能的这些理解对不对所以你看我们在最近做的过去几年做的东西那是一定要找到完全是可实现的不是说谈谈概念而已

不是说去讲讲什么原理讲讲故事不是大量的非常痛苦的过程是把我们从一个概念到原理到在原理指导下设计出来的框架算法去实现去验证去 Apple to Apple 的比较去真正找到证据

来 convince 首先 convince 自己我马亦对吧或者我的同学生都 convince 我们这件事情做对了然后剩下很长的路要走是去如何 convince 你的同事 convince 甚至跟你有不同观点的人甚至是 convince 整个产业界已经投入了很多的在已有的方向上投了很多钱的人对吧带着很多的其他的因素

这个过程很痛苦并不那么容易不是说你找到了一些正确的东西人家就马上要把你得账了对吧就跟 Hinton 年神经网络有道理那你要等到多少年肯定要等到最终一定的条件要成熟他要得到一定的可能让大家更加幸福的一些验证大家才能够接受这也是我们现在在走的这个历程吧

那说回来就是现在在一些机制的理解还缺失的情况下就是您觉得工业界这样我们不停的靠经验趋势它能持续的带来进展能持续多长时间我个人认为如果方法没有本质改变的话现在基本上你看得到的都是 diminishing return 了这个已经到了这个英文里面叫 diminishing return 就是到了你的回报越来越少回报越低了已经几乎没有你看这个 Crock 对吧 20 万张卡我相信为什么那个 GPT-5 一直没出来有它的道理对不对就是基础模型对吧

Grok 基本上是用了基本上 20 万张卡基本上你知道它提高了多少吗机座模型一个 percent 都还不到所以他们在后来展示的时候把那个重坐标走无穷的放大对不对对吧就是玩这些实际上它整个的分数提高实际上是不到一个 percent 所以你说这个就跟自然界一样靠自然选择生命也在逐渐进步

但是永远到不了韩武纪都会是早期出的那种靠 DNA 自然选择不断走走了 31 年也就到了单细胞动物因为其实去年 90 月份的时候我觉得大家就已经在讨论 Skating Law 撞墙的这个问题但是因为 O1 出来好像缓解了大家这种焦虑的心情所以这就是很糟糕的一个事情对不对所以这就是跟炒作欧系列对不对我觉得 OpenAI 过去去年因为他们的公司遇到很多内部的

我觉得过去一年 OpenAI 从技术上并没有把他们的优势保持住并没有真正本质上在往前走他们的方法那么到年底的时候有点过度的炒作这个 OCD 但它这个效果确实是有提升的对啊 刷题是有提升的呀

对吧 举个简单例子我经常拿我自己做举例子 对不对我们出国考 TOEFL GRE 对不对我 GR 也能基本上刷到快满分了但是并不代表我英文就很好到 Berkeley 的时候一下飞机又是聋子又是哑巴 写也写不出来写的第一篇文章老师把我痛骂一顿所以这是两个不同的事情包括甚至我们考数学题也一样刷刷分 对不对包括奥林匹克数学竞赛 对吧刷过题的跟没刷过题的这是完全两回事

但并不说谁的数学水平就更高就是在您的智能观里像 OE 这样的模型还有 DeepSeq RE 这样的模型它是真的在做推理在做 reasoning 吗很好这个问题今天下午在清华给 talk 的时候正好有同学就问到这个事情对吧我们是当老师的我们从老师的角度来回答这个问题好吧比如我们老师会教学生们比方我教数学会教老师学生们去做数学问题

当然我们是希望同学们是把真正的数学证明的逻辑真的是严谨的逻辑是学会然后通过推理去得到正确的答案那么关于逻辑和推理这里你至少是能分出三个层次来学生们有小聪明很多人就说我类似的题把数学的证明或者一些相关的逻辑的题范例记住很多刷很多题例子记住很多

他的一些 pattern 也记住但他可能并不是完全理解甚至并不具备严格的逻辑推理的能力但他能把题做得非常好甚至考试成绩还可以做得很好的这是一种身搬硬套就是考这个

这个天涯式的刷题的方式靠这个归纳甚至是记忆来完成这些题目这是一类还有一类学习成功处理员就是他确实是学明白他是掌握了严谨的这个逻辑推理掌握了这些方法然后当他遇到一个新的问题的时候他是用这些方法本身而且他知道自己做对没做对正确不正确他是每一步他是很清楚的

这类学生是学懂了这是第二层关于逻辑和推理第三层实际上是当你一个系统它没有逻辑之前包括我们人在早期完全靠经验后来一些数学家可能是灵光一闪发现了新的逻辑规律推理规律像欧几里德对不对发现数学公理发现这种推理的三段论等等

所以发现逻辑规律发现因果规律这件事情跟学习这些规律去用这又是不一样的第三个层次就是发现新的知识发现新的规律所以这是分三层一种是模仿对吧一种是一葫芦画瓢做

一种是真的把别人学到的老师传授的这些英国规律逻辑规律学懂学明白能够严谨的去用还有一种是能够自己去根据一些经验的总结能够去升华抽象处找到以前人未知的逻辑也好或者是英国的或者一些规律所以这三层当然牢牢把这三种东西混在一起所以现在我们要做的很多东西像过去我们的很多科研就是要把

对智能的认识它的问题它的本质不同的东西给它界定清楚而不是笼统的讲什么是智能什么是有逻辑有推理所以现在 O1 和 R1 它更多是您刚刚说的第一层我个人的理解是这样子的

比如现在对于提升一个基础模型现在基本上做的时候没有太多的秘密就是说基本上你如果有个不错的基础模型比如通过预训练语言模型在大量的语料训练完以后你要想提升它在某些问题上比如说编程或者解数学对推理有一定要求的

这些任务上要提升在这些任务上的性能的话往往一般是两种比较重要的方法一种就是叫 supervised fine tuning 就是通过一些例子让机器模型再根据这些例子去把它记住就是 SFT 监督微调对监督去微调一下然后用一些范例让他去学习一下然后他能模仿那么要么就是再通过 reinforced learning 强化学习因为这样这种任务它的正确不正确是很清楚的

做错了我就扣分做对了加分通过这种比较粗暴的方法让系统逐渐去学习这些任务到底要干什么当然在实际的过程中到底是哪种方法用的多一点哪种方法用的少一点现在有很多 debate 包括早期的 O1 还有时候我们先做做 fantuning 然后再做做

reinforced learning 那么 DeepSeq 呢又觉得说好像我就直接做 reinforced learning 也能行但实际上那有夸张的成分在里面因为它的前提是基础模型本身就已经不错了而且基础模型要好本身应该是前期要做一些根据这些例子做一些 funtuning 的我们最近的一个工作专门就是在有个工作叫做 supervised funtuningrememorizereinforced learning generalize

这两种方法就是在提升一个模型的推理能力的所扮演的不同的角色对就是 SFT 和强化学习扮演的不同角色相关但是不同的角色而且我们也解释了是光靠一样实际上是不对的是不够的强化学习有它的优势有它不足的地方正确的方法是应该是先微调一下然后再强化学习那么这样的效果 general speaking 是这样子可能更好一点

那我们现在看到的就是这种推理模型里面它有一个长思维链它展现出好像像人一样 step by step 一步一步去思考的这个过程它实际上是什么这个长思维链是要人去帮它生成的或者是通过已有的一个模型去筛选出来的就是说你要一个 star with 一个不错的语言模型所以机座模型本身要有一定的不错然后你在这个基础上再去提高它的推理能力所谓的思维链你有几种方法实际上思维链就有点像是

老师我把解题的步骤 he idea 交给你告诉你这些类似的题先做什么第一步第二步在什么想这就是思维链的意思那么但是这种思维链怎么产生呢当然有两种方法一种是就是我就找研究生解题解的足够多把这些步骤梳理出来让机器去模仿这是一种

另外一种呢就是说如果我已经有一个不错的基础模型我可以让他先尝试的去解决问题然后给他一些 prompt 一步步问他给他一些提示让他自己相对半自动的生成一些点条生成一些这个给他一些提示吧当这个基础模型本身可能有学到一些类似的 pattern 的话

在一些提示下他也说不定也能结结巴巴的把这些题做得成功率高一点所以通过这个方法你可以大概半自动的生成一些自为力但是这个成本肯定比人去从头到尾写要好一些对不对所以很多的你看基本上我可以通过也有的不错的一些模型

让它这个半自动的生成一些思维链然后再把这些作为范例而且选出高效的选出不错的做对了的然后再让这些机器再去 fantune 或者通过这些范例学习一些你这个题对不对的 reward 就学习一个判别你做对的做得好还是不好

有些像学一个老师打分就说看你这个题做的好不好做的快不快不走简不简洁最后答案对不对好老师来打分如果他也可以通过这些例子先学一个打分的机制那么有了打分的机制之后他就可以用强化学习了比如你叫给了一些题你去解我就通过这种打分的我就通过一些范例或者其他学到的这种打分机制我再来去优化这个机器让他去尽量的得分越来越高反正大家只要这里面有很多的这些工程的就是不同的 ingredients 不同的层面

有点像中药一样大家尝试一下对不对看看这个先做一点多多少对吧所以说现在像炼丹王对所以它带有这种比较经验的东西在里面所以不同团队它不同的技术路线然后它如果做的超过其他团队它可能会更觉得某一些硬硅链子这个更重要从它的经验来看但是我们学术界都会比较相对客观的去研究一下那么这些不同的做法

方法它在里面扮演的一些角色是怎么回事所以弄得比更清楚一点但工程反正它是还是以最终的效果为王所以总结一下就是目前的推理模型我们只是方便起来把它叫推理模型但它可能跟我们人的推理和逻辑还不是一回事现在我至少从来没有看到真正严格的证据就是这些大模型就是即使通过微调也好通过这个强化学习也好

他真的是通过理解在解决这些问题结果现在包括陶泽轩也在用就是说他在评价你会发现他在他训练过的问题上他甚至记忆能力或者是甚至在解决一些什么很难的数学问题上好像都能做得还不错但是他也会在非常是初等的甚至于小学初中的一些数学问题上

他会犯一些地基错误所以就很难知道他如果真的是有严谨的思维严谨的这个逻辑推理能力的话应该不会出现这样的现象所以这是我们做学问的时候有时候就会不只是去看看在一些问题上的刷分和经验的分而且会去比较相当严谨的看到他是不是真正具有这样的能力

所以我们把这些事情分开看有些东西甚至是常识性的问题但 somehow 我们现在会把一些东西过分去炒作甚至 OOI 为什么我觉得为什么 Deep Seek 对对有些实际上就是我举个例子它有点像是《皇帝心》里面那个小孩子因为 OOI 在过度的炒作他们甚至把 OOI 系列这种通过

通过微调也好通过 reinforced learning 也好改进他的推理能力这件事情发现了通向 AGI 的这个秘密对不对是在发布会之前各种媒体里面这个在暗示嘛因为他要融钱嘛可能是这个原因好像我们已经找到了通向 AGI 的秘密了这个后来发现并不是什么

而且他最后做的这个事情做的这些出来之后对学界我们并不是很 surprise 甚至可能对某些公司像 Google 这样的公司都不是很吃惊就是说很多的这些方法包括我们刚才提到的这种微调 reinforced learning 甚至都是学界我们都一直在研究的东西甚至一直都知道它们会有效这种方法本身都完全没有任何 lobality 不像当时最早 GPT 出来这样子大家觉得还是比较 surprise 他做的那些事情实际上并不太 surprise

那么 DeepSync 就是说就验证了这件事情里面没有什么多的东西同时还能做得更便宜做得更高效一点那么当然 DeepSync 也有一些因为你只算最后一个实际上大模型最多的是试错成本是试错成本而不是你最后一次成功的成本对不对大家都知道我们做作业都有第一遍很累的对吧但做完把这个题做完以后再抄一遍整理一遍

可以做得很简洁的所以这是一个很简单的问题所以你不要说我第一次做的就花很多的时间但往往都是最后一次我们可以做得很干净包括我也只了解包括 Google 他们一些最后的模型最后一次训练可能也就是千万万美元

就是稍微高一点就也没有比 DeepSeek 高那么多但只是这些他也不是来自己来说的对不是他自己说的我觉得是舆论会放大大家会把一些点抓出来去过度的去放大这些东西您在去年的时候有想到过中国会有 DeepSeek 这样的团队冒出来吗

是这样你看我在过去可能两三年了不管在互联网上或者是在这个视角媒体上我一直是坚决认为第一我们认为人工智能的发展这个现在方法还比较早期所以一定是要我们是非常的鼓励和宣扬开源

而且另外一点我们一直是坚定的认为过去几年我有多次的这叫开源一定会迟早而且很快会超过这种必源的这种公司因为从我们对这些技术的理解我个人认为方法上技术上没有附层盒没有什么秘密这个唯一的可能附层盒它是几乎就是数据算力资源的成本

是错时间和是错成本所以它是迟早的我甚至说过即使没有 DeepSeek 在中国出现那也会可能就是法国很可能是英国中国美国其他的小公司就是说出现这样的团队接近或者超越这件事情是绝对会发只是出现在哪里 where and when 而不是 whether or if or not

所以这是一个我早就有这个判断包括杨洋昆每次很战争虽然杨洋昆可能有点失望 Meta 没有做得更接近更便宜一点但是这只是大家也不要过度的去解读因为这更多是不同团队之间的一种竞争

这方面各自团队有各自的一些经验或者试错过程中不管是机会也好运气也好对吧他会找到更有效的实现方式所以 DeepSync 只是就是说告诉他你看你一个不错的基础模型然后在这上面做了一些就像我们刚才提到的一些方法他的性能就可以提高的不错甚至能接近对不对实际上是从模式上就是揭示了你实际上是 OpenID 想炒作的这些东西并没有太高的负成果

我觉得这个跟我们后面想聊到一个话题就是这个大众怎么来认识 AI 的通识教育也是有关的现在就是我觉得除了他自己炒作之外还是确实有一个原因是因为大家非常关注 OpenAI 的一举一动就舆论上也会去放大他的一些做法带来的影响我个人认为就是说当吃瓜群众无所谓反正就是看一看对吧但是我觉得学术界实际上过去这么多年

做的并不好就是说我们并没有比这些企划群众好到多少你想公司嘛它是有它的理解因为它不然它有自己的利益它有自己的立场所以它在做很多事情的时候有它的努力它完全可以是比较 bias 的哪怕夸张一些但是呢学术界应该更加严谨一点希望能够把这些问题啊那些方法啊

他们在做什么做得更加严谨的不要让这些宣传也好炒作也好去误导至少不会遇到我们的学生他们对这些技术的本质要有比较客观科学的认识而不是他们关于人工智能的认识不是只来于这些自媒体

来自于甚至公司的这种宣传和报道所以这也是为什么同时现在我觉得这件事情也会越来越重要尤其不光是对大众甚至像我们的这些科技政策的制定者政府因为现在这些人工智能带有大量的资源政府社会的投资带有很多的利益在里面

如果他们对这种技术的本质有误解的话那问题就大了所以我们也是觉得现在所以很大程度上要做更多的这样的科普也好或者是把一些事情正本清远我觉得从历史这个话题正好可以延展聊到品位的问题因为我确实这一年和很多人聊我是觉得品位对你探索一个比较未知的领域是很重要的因为其实有很多东西你没有办法去跟随别人你就是要靠自己的相信

而且别人来挑战你的时候你还要继续相信下去这个实际上是这样我觉得科学探索本身也是一个很多 uncertain 的东西我觉得而且大家所以我这个年轻人讲就是说科学探索就是你的心态要好心理要素质要好比如你十个想法很可能九个都不靠谱对不对所以失败是常态成功是实际上是偶然有这么一个过程但是科学的发现的正确并不是偶然

他只要找到正确的东西他的验证是很严谨的所以要相信就是说我们在做科学过程中他的方法是相对严谨的尤其是对在探索原理探索规律这件事情上那么科学有一套自己对严谨的方法所以当你找到觉得是找到了正确的东西的时候你会去非常的自信知道这个问题是对的

或者你知道这个方向是对的虽然你不一定还有找到了在这个方向上最优的解喇叭是完整的解但你知道这个问题重要方向对的而且你现在的解至少它的解的这个你的 approach 你的去去 tackle 这个问题的 approach

是正确的这里有很多的 evidence 不管是实验的或者是数学的或者是逻辑的 evidence 你遵循你是个可以得到非常能让你自己幸福的这样的反馈这些证据是不是对别人有同样的幸福或者别人能理解有这个层次有这个逻辑有这个对这些实验

本质能看到那是另外再说所以很多人是自己看到了不管是经验的证据还是看到了数学上真正理解它的机制才得来的这个自信才得来的这个哪怕别人还一时还不懂哪怕别人一时还不了解哪怕别人对这些证据也好或者这个已有的理论的理解还不到位会产生各种的质疑但是这对我们来说没有任何的

不会太受他的影响那我理解你刚才描述的其实是一个品位已经形成的状态对吧就你知道自己的问题和方向是对的你也知道自己的证据通过一些验证就自我的验证我们是很 convinced 的这是一个已经形成的状态那这个形成的过程是怎样的比如说哪些经历会塑造一个人的技术 taste 我觉得这个跟

两件事情有关一个是文化和价值观尤其是在学术的价值观对吧我们科学也好或者我们做学问也好一定是要去探索未知一定要与众不同一定要去破局一定要去找到不对还不够的地方

不够好的地方这是我们实际上是整个做科学的 mission 这是我们的使命这是我们的任务 we get paid to do that 所以去随大六去从众不是我们的工作本但很多人并不意识到这件事情这是一点所以你也可以看到真正成功的往往是特立独行的人

就是看到了主流的东西不足的他才会去做这个事情但是这种人往往刚开始会很难得到认可得到主流认可比如说您自己有这个想法它是来自于什么了我觉得这是第一你先要有这个动机就是说你先要知道就是说

这个世界上一种信仰吧就是说你甚至有时候说科学家他信仰倒不一定有宗教但他有信仰因为这个世界上第一一定是有值得你去发现的新的规律的现在的知识一定是有局限的现在理解这是一种甚至是一种文化带来的不管你的年轻的时候

了解对科学的历史科学的发展的规律的这种渲染也好但我觉得我们中国这方面做的比较不太好就是科普等等这方面做的并不是足够好就是保持你对一些未知的东西的兴趣探索的兴趣这是一个整个文化价值而且整个社会要有做这样的人做这样的事情的他要非常好的认可那么另外一个事情就是说你的自信来自于哪里就是说你就说要有比较好的科学的训练不管你做实验也好

还有比如说你真的数学的基础逻辑推理的基础你严不严谨这个是来自于培养你有没有比较好的训练包括我们从小学习数学你的逻辑思维严不严谨你知不知道自己做东西对还是不对

就跟我的原来数学的老师我在读数学硕士的时候他就告诉我他说马亦你做个数学家的要做数学家的第一条是你把自己训练成世界上最难 convince 的人最难被说服对你要把自己训练成一个最难说服你自己的人

为什么当你找到一个证明你能说服自己的时候说明这个证明是足够严谨能说服所有人你就要训练自己对自己的这种逻辑思维能力的严密性思考问题的逻辑链条是不是严谨的这件事情要做到第二就是实验实验也是非常严谨的一件事情原来我们在伯克利当时做机器人的时候对不对做视觉的时候对数据采集对整个过程算法的验证等等

这个也是一个很科学的就跟生物物理对吧做实验一样对数据对报告对这些现象的判断对一个假设的验证等等你是不是严谨而不是 jump to conclusion 甚至会犯很多错所以这个有了这两点我觉得就是第一要有去探索的这样的一个勇气或者这种价值观第二呢你要有能力很多人

也愿意对吧想去做些特定读型的但是如果你的训练不到位你最后就变成个民科对不对对我刚才也想到自己都不知道自己是错的所以这是非常糟糕的就是说做科研的时候很多人他不知道自己是错他不知道自己的哪些地方会有漏洞他的数学证明是不对的他没有这个意思或者他的实验是不严谨的还有其他的 option 他认为这就是唯一的一个 conclusion 所以这些都是我们要在避免的这两者是相辅相成的

你这样才会至少你才有有这个价值观新的这个品位的这个本钱吧你是在清华上本科的时候就立志想做科学家吗就是有了你刚才说的第一点就是我要探索未知的这个想法那倒未必我的心怀实际上是有点按部就班的就是当时就是想把学习搞好然后呢对数学比较感兴趣然后一直就自己喜欢读点课外书我一直到了 Berkeley 都没有都没有一定决定要去做科研那个

只是到了后来都快毕业的时候我老师他觉得反正他都满意你可能去考虑一下学术界的位置那个时候当时觉得去个大公司找个好工作那个时候互联网也很热对吧去公司还有那个 Quocom 我一个师兄也是 Quocom 的 CEO 当时觉得去到 Quocom 去挣点钱是挺好的当时一直没有太那个

要去规划但后来只是觉得就是比较好奇觉得就是老师觉得反正学术界的工作比较适合我这样子也是无打无撞就去让我去申请一下所以也是一个并不是那么去一直要去做这个事情所以反正也是一个伴随机的这样子一个过程但确实我这人对有些东西比较好奇喜欢把一些东西弄明白

后来我去伊利诺一教书他们都知道我有一个坏习惯就是说后来我比较喜欢写书就是我发现这些事情只要我们自己不明白我不敢教所以他们都知道我一般的这些教什么我都自己要把它自己从头到尾推一遍自己要弄得清楚以后我才敢去教这个课所以后来就慢慢想成把整个知识体系一个 subject 要把它整理清楚也有这么一个习惯就养成了习惯要把一些事情搞明白

对一些尤其是大家都不明白的或者未知的东西有这么一个好奇心伯克利的氛围是怎么样的因为你刚才也提到李泽湘是您师兄我以前也采访过他他说他在卡莱基梅隆读本科的时候他也是说他觉得他那会转就是考试

没有特别学会学习他觉得伯克利还是对他的世界观对他的整个做科研的方法有很大的影响他觉得那儿的氛围非常的平等自由然后大家也很喜欢讨论争论也没有权威这是非常了不起的实际上你可以看到这也是为什么我们后来到港大或者到其他

很多的我原来没有体会到后来在伯克利我做学生的时候确实是同学们我老师手下有 18 个同学然后来自 13 个不同的国家非常的也是当时也是种 culture shock 对不对就完全没有任何的等级这种观念大家都是都是本来很淳朴的就是把这些事情搞明白

大家把事情做好大家倒是有时候想一想我们做点什么事能跟别人不一样前进 the world 有这样但是做事都很踏实大家而且后来我在 Burley 做了教授大了剪教授后来培养一些学生后来他们这些学生又去了其他学校后来包括

本科毕业啊 待了以后还有一些硕士毕业啊去其他学校读博士啊包括去 Stanford 他当时和这个学校后来回来跟我聊的时候他说他们特别怀疑 Berkley 我说为什么怀疑 Berkley 我说这玩意儿也是平平常常 稀稀松松的对吧他说 Berkley 这边同学之间那种交流啊非常的好就说甚至完全跨组我带的每个博士生他都有 coadvisor 这不是形式上指上的他真是他们都会去其他教授的主会我们是完全 open 的

我的组里面经常每天开会对吧有时候你看我就七八个研究生六七个研究生再带两个硕士生但是有时候开会都是三四号人我都不认识很多人都不认识他们就来听一听我们都是 open 的没有什么秘密然后我的这些学生他也会去他的 co-advisor 的这些都是他们自己找的而且

他们都不是说我们同一组都是找到可能跟我的知识能力互补的然后大家去参加每天都有这种 Seminar 大家都会修啊这种文化我后来发现在其他地方很少对我觉得这也是对品味的一种培养对吧就是可能是能力层面的你有一个更广阔的视角对

他就这种大家同乎相互交流合作然后互补学习实际上我后来你会发现在伯克利你同学之间学到东西比你老师那儿学的更多至少这种很多的技能了比如大家都在住在一起写文章对不对你会这个你帮我我会

我会这个我帮你它就变成完全就是相互对吧你实验做的好你帮我画图对吧你画图画的好你帮我弄这个你看会发现 Berkeley 你看发现 Bear 的那些这个学生这个 co-author 的就是它是跨组的合作很多学生是来自于不同组

很有趣你看老师完全不是我们 plan 的不是我们老师之间要合作他是自组织的他就是自己的学生之间他就自己就相互去帮助这种文化在其他地方是比较少很多的其他地方包括我的同学去其他美国的其他尤其是东部的学校他觉得这些组非常比较 isolated 有可能组的就跟自己老师做就没有这种文化没有这种氛围嗯

甚至斯坦福都没有到伯克利这种程度所以我觉得就科学的这种交流相互互助是让你人的整个综合素质变得很好对吧你可以学到很多东西这一点我是很希望在港大在中国的大学能看到

不是那么就是很 silo 的伯克利的很多教授之间完全不是竞争关系大家自己做好自己的事情但是很 courage 学生之间相互去交流你当那个老师我这玩我不懂你去问问他往往是这种文化所以非常非常好

其实我看您最近几年也是有一些跨学科的研究的方式就是您和曹颖合作我们之前也聊过这个生物科学上的一些东西是啊尤其现在智能越来越它是个集成的东西对不对你看包括我的组也很痛苦因为如果我们只做学问的话只是做做理论对不对把一些东西搞清楚就好了小的验证小规模验证但后来你发现智能发展的阶段你把有些验证不做到足够的规模不做到足够的深入别人也不信你的

所以你看我的组里面现在过去几年的学生就又有做理论的又做算法的还有做实现所以就比较 integrated 各种学生都有了所以这个就是也保持他们之间也是相互交流但是在智能这件事情本身它从理论到算法到实现

就要求有而且这些能力不是某一个学生能所有都具备的很少没有人理论也好实现也好算法也好对不对还能干脏活累活又能解数学题这种人很少

但是他就需要团队甚至是不同的学校你可以看到我最近几个工作的这个 affiliation 至少是来自五六个不同的学校就是学校资源有限能力也不一样所以你这就变成一个很要去一向去组织而且就全是 organic 不是说什么要去 top down 去 organize 那就是完全自愿的你对这个感兴趣好我们需要帮这个忙他有这个资源他会让这个实验他自然语言做得好他视觉做得好对不对我们这边有这个

理论有这个框架所以大家都是这样逐渐形成这样的合作没有这种文化你很难做出我个人认为你很难做出比较 significance 的工作同时这也给我们带来自信因为你想这么多的不同的学校年轻老师学生都认为这个东西有道理都愿意花时间去做这个事情

那我还有什么我们肯定会 do something right 就是我们做东西一定是有它的可信度的这么多聪明的人这么多不同的团队的人顶尖学校的都愿意为这件事情去都已经有很大程度的 convince 在你自己的学术经历中你有经历过那种你其实觉得一个方向是很对的我研究的也是正确的问题但可能在一段时间里大家是不理解这个事情不看好这个事情

很多你看现在很多学生的压力很大对不对就是说好像一个我们现在有些年轻老师也是一个工作被 reject 掉的我说你这个我能记得到的都做过了对吧对我们已经是至少是两次了我们有些文章基本是全部甚至在 CVPR 对不对有个工作是全部满分的工作 air chair 也被 reject 掉满分为什么会被 reject 掉 Happens

所以这个对吧所以这并不是所以你看他不光的他这些 air chair 也不一定 convinced 他在这个机制里满分他这个分是谁打的呀就是最开始 reviewer 打的呀 reviewer 但是 decision maker 并不一定是 reviewer 啊他可能是这个下面的 air chair 啊对吧那前一段时间包括我们的白河的一些理论也是啊这个药东啊他们有些工作也是这个也是这个几乎是全满分的啊应该是 ICML 吧这个也被四个 reviewer 都是给的 accept 啊

有点 Elanimous 但是后来 AirTag 也被 reject 了那你可以讲一个就是你一个正确的方向开始可能不为看好但是后来结果还不错的我觉得也可以缓解一些博士生的焦虑很多早期你看我们包括三位视觉方面的工作还有后来就是包括我们做压缩感知对不对这个早期的系数压缩感知在做在做用到一些视觉的问题

刚开始大家因为这些方法数学比较深一点优化的比较对视觉的很多人并不了解

那么我开始也是在做那么开始也是大家并不太接受因为他根本就不懂很多很多你们压缩感知的成果是那个 Rednet 还有那个不是就是在这个原来的人脸识别等等你知道对吧人脸识别那个现在是我们我基本上你看我的 citation 最高的几篇文章全部都是被 reject 都是被 reject 过的尤其是人脸识别的工作连一个 conference 文章都没有

对因为当时是很有趣对不对当时被 reject 的态度原因很有趣就是说大家都不相信这个结果会这么好对吧觉得你可能作弊了或者是根本不可能很有趣后来直接我们就去了那个就上面的一个 journal 最好的 journal

当时那个 reviewer 回来大家也是不相信就让我们跟其他的所有的方法比但我们花了一个暑假全部都比了后来就接受了所以很有趣的故事就是说你这些东西很多科学的东西很简单就是说你知道吗就是说你即使做对了尤其是少只要你东西跟主流的东西不太一样那么接受起来不是那么容易科学家也是人

而且整个 community 大家甚至也会有一种 echo 效应对不对主流的肯定是对的你怎么会来冒杂音呢对吧你怎么这个怎么呢对吧而且尤其是这些人并不一定花时间精进去去真正去了解理解这些东西新的东西哪怕是数学已经很严谨的哪怕实验是非常完善的他也不是那么一蹴而就的不然的话也不会我们也不会有 Hinton 这样的故事对不对你也看到去年的德鲁本尔讲的这些对啊

对 MRA 的发了两个诺贝尔奖这两个人一个那个女的原来是 U-Pen 被 fire 掉的对不对然后然后那个今年发的 MRA 的那个原来在在在哈佛也是没有拿到 tuner 的对不对对吧后来还流浪一段时间对不对

所以是这样子主流的总认为主流的是对的现在就可以说现在我也用这些故事来激励一些年轻人对吧尤其现在再去做同质化的现在人工智能觉得所有的一个模型这样现在的方法就是通向 AGI 的阳光大道完全不是这样在这阳光下很多没看到的东西会完全颠覆他们以后对这些事情的认识

关于品位我有两个我觉得对我们的听有比较实用的问题一个就是我发现现在其实有很多他不是经过非常系统的学术背景他可能是一个企业家一个创始人或者一个 AI 领域的从业者你觉得这些人他们通过像一些顶尖的 AI 研究者去学习他能获得一些类似技术品位的东西吗我是指他有那种坚持和笃定他能获得吗

比如说我们之前有一个报道里就有写到张一鸣因为字节最近也在做 AI 可能他就在新加坡他向冯嘉时学习一些 AI 知识我是说就比如张一鸣这种角色他没有经过系统的学术训练他能掌握这个类似 TESTV 的东西吗对 如果他要了解现在的这些 AI 技术在做什么我个人认为很多的至少对目前的很多的 AI 技术都在做什么有严谨的一些本科的这类的数学和这个

科学的知识就够了那进一步继续探索呢可能需要更深的一些知识啊所以正因为如此你看我们做了我们在港大做了一件事情也是跟科普有点关系港大去年我们也是遇到你刚才讲了张一鸣这个例子很重要我在港大这两年开始头一年很烦为什么每个周末几乎啊

原来我在 Berkeley 就有这个问题了 Berkeley 就经常就有一些企业家玩具都跑过来马老师了解一下 AI 很热对吧你对深度学习怎么看你对现在新出来的什么东西怎么看后来我跟他们讲我说第一我本人这个领域很广

我自己也只是了解很多其中一部分而且甚至我的 scope 也只是我很懂得那一点清楚至于这些其他的方面比如用到某一个用到生物用到医疗用到其他我说完全可能是外行用到什么蛋白质那我都不清楚后来就跟几个同事聊他们也有同样的困惑不光找我到港大找其他的罗平我们说那好我们既然有这个需求那我们能不能组织起来

好 所以我们就办了一个就像 EMBA 这样的专门对 CEO 为什么他们因为这些人你投资者企业家对不对

因为他们可能面临的问题不光只是吃瓜群众对他要投钱呢对他是要去或者他其他做决策的他用还是不用很多人很焦虑他不用他怕落后了对不对用了他怕砸钱又没有回报对不对所以他是很焦虑这种人又很 stressful 有些投资者又觉得很 exciting 对吧这机会来了就很什么人都有形式那么当然说好我们能不能组织起来我们也不是说是给去影响他们的决策

我们就给他们提供一个从技术的角度从我们数据学院计算学院我们给他一些科学系统的介绍一部分是比如说我们一线做科研的老师对这些技术的本质的一些了解提供一些证据当然前嫌一懂让他们能明白的方式去告诉他们这些技术在做什么本质是什么概念是什么

另外我们可以找比如在真正的一线的科技企业他在用 AI 技术在布局甚至犯过错误的至少过去十年在不断的探索的这些人比如我们也邀请比如上汤的大华或者王小刚不管成功的失败的你跟人家讲一讲你对他的

或者你们公司在布局的你对未来可能是错不管了就给他讲一讲所以他通过这种方式所以我们就成立了这样一个叫科学企业家这个班我们说先招 50 个 40 个对吧因为商学院的一般都是 60 个人结果一下子发现我们一报名就要报了最后第一届就招了 80 个而且都是国内的头部企业的上市公司的老总还有一部分是投资者还有一部分是传统企业要转型的都非常成功的

但是呢你会发现非常 diverse 但是它都有一个共同的我们都不知道会这么的大家对这件事情这么的关注啊这么的这么的这个有 passion 你觉得他们的科学素养怎么样都挺好啊但这些人他都是非常成功的企业家嗯啊甚至都是在科技领域啊或者传统企业都是技术的或者是带有一定的他不是纯粹的这个那个什么的都是跟技术相关的那么他们更想了解技术本质都是带着这个非常好的诚恳的学习的态度来的嗯

而不只是佼佼有而且我们的出群里我也帮商学院教过一些他们一般的一些出群里一个半六十个人可能每一次上课也就是百分之六七十的人能到我们上课头几个模块几乎百分之百甚至不来的人都很诚恳的请假第一次组织的给的空间都不够所以你可以看到大家对这件事情的关注度挺有意思也是无心插柳当时也是觉得我们就做一做结果发现这件事情还很可能做对了因为

很可能人工智能这件事情能够真的是触及各行各业那么我们每个门开去可以找不同的人对不对机器人 医疗 健康 金融等等就完全超过有马亦的这个认知能力了那么就让他们能够接触到那么这样的交流会非常系统全面然后他们看到现状人工智能的现状以及一些已经在尝试的一些探索他们带着这个回去

去对他们的企业在做布局也好是成熟不成熟什么时候做什么我相信他们的这个判断会好很多

我想他们可能也经常会问您一个问题就是因为很多 AI 的新成果比如说对这些人来说他去判断一个 AI 的新的成果到底靠不靠谱有些什么简单的原则或者 tips 吗有啊如果是真的有严格的证据对不对我们会给他们提供非常严谨的实验他们看不到的这部一期报的基本都是成功的例子 demo 都是对吧又蹦又跳的对吧但是你看看真实的情况是怎么样

负面的一些东西就是说客观的一些东西就正反面都有还有呢即使有些东西我没有证据呢但我们会从我们的角度去给出我们的一些判断给建议或者一些他们可能自己没有的一些角度去看这个问题这个是他们觉得非常有价值就是我们的这个最后让你让他们反馈回答的这个看这个就是感觉我感觉是出奇的好完全是一辈子没有的 experience 嗯

当然也对我们的教授也是 challenge 为什么我经常给我们老师讲因为我们老师从来没面对这样的 audience 虽然他们的素养肯定比大学生可能要好他们有很多的经验他有很多经验社会经验这些人的判断能力也很强所以他们接受一件事情的 bar 也很高

对吧那我就说我们的年轻老师这些很多老师你去讲那就好我觉得这是 challenge 他们一天自己溜冰轰轰的觉得自己要 change the world 对不对他做了一点什么事觉得我都马老师我做的东西了不起那行我说那好你下面对八十个你给他们讲明白你做的东西的价值在哪里如果这些人都不卖账觉得你东西一点用没有解决不了他工作那你在做什么呢

所以他们对我们的老师所以准备这些东西也是一个 challenge 你把你做的东西能不能讲清楚你的价值到底在哪里我们学员上次有个统计我们学员可能加起来的身价可能是好几千亿大家这样一个体谅吧所以这也很 influential 他对他的行业他可能的产业都是有很大的影响的我觉得这个还是挺有意义的因为其实他们和一些政策决策者肯定也是有一些表达的沟通他们是接触到整个社会对他们的产业都是代表性的

你看这是只是个例子所以现在你看对 AI 的教育可能都不只是针对我们的大学生或者我们的研究生开课开好甚至是对高中大众那么这企业家我相信以后可能是甚至政府这些真正的尤其是跟科技相关的 policy maker 他们应该要对这些技术要有比较客观系统的认识

正好从这个我觉得可以聊到更广泛的教育因为现在港大也是在做这个 AI 的通识教育其实去年我们聊到的时候是说当时计划要开课而且你们你也在写一个新的教材可能是给本科生用的让他知道智能是怎么回事让他理解机器因为未来我们肯定是要和机器共处的

可以讲讲这个东西的进展吗港大可能是第一个大学对学生要做通识教育然后我们有一个叫 AI literacy 的课程因为原来港大的学生要上两门英文课一门中文课我们现在把英文剪了一门然后把他相应的学分六个学分替换成 AI literacy 然后他基本上现在就是所有的本科生所有专业必须上但是这是他为他的 graduate 要求大概六个学分分两个学习差

头三个学分是所有的学生上一样的东西后三个学分是可能会是不同的 college 它会有一点 customization 比如说医疗 医学院或者是法学院或者它可以有一个相对朝着它的方向相关的一个门课是照明这么一个情况那么今年这个学期我们已经在 pilot 了春天我们已经做了 pilot 课程

现在有一百多学生选修就 volunteer 学这不是 manitory 的到秋天就是正式上课了今年九月就是所有人就上了今年九月就新生进入学新生就全部要求要上了那可以讲讲就是大家上课的一些反馈非常好我觉得现在就是这一百多都是志愿选小学生课程而且当然我们也是第一次来设计这个课程那么每一堂课程就要花很多精力

一般一门课程你就 100 多个学生对不对你即使上十几门课对吧十几个小时十几乘乘上 100 这是多少学生和 hour 你想想现在一门课就面对着 4000 到 5000 个学生所以它的影响每一节课的影响是不得了的它的总体量是远远超过一门课对学生的影响

你们第一节课比如说你们这个课是怎么设计的就教他们什么了有不同的模块就是说主要是当然这个课程也是一个因为是一个通识课主要是一个 overview 我们的目的很简单第一学生要对 AI 基本的概念要搞清楚的智能的一些基本概念第二历史我非常强调你连历史都没搞清楚对不对包括我们前面谈到的

你们这个历史是从机器智能从 40 年代开始还是更早的时候我知道这个课程我在教所以我给了一个包括从生命的智能也讲以后还会打磨另外还会对于就是说讲技术本身比如说现在的语言模型概念是什么基本的概念但不一定那么 technical 第二图像处理语言处理等等

好 有几个就是关于技术的他们所面对的这些工具生成模型也好 识别啊他们面对的人也是等于这些他的后面深度网络他们听到的这些耳熟能详的东西他的一些基本的概念和他在做什么本质给他一些浅显易懂的正本素颜的

一些介绍让他知道这些东西在做什么他的能力他的 limitation 当然还有机器人对不对我们怎么机器人对吧是不是会把人给毁灭了对吧另外后面还会有 ethics 伦理的问题对吧那么这涉及到从某种角度上学生们以后你们该怎么去正确的面对和使用这些工具

到个人那你用考试作弊抄袭是什么概念当然这些概念到底是怎么去理解涉及到以后的 copyright 隐私保护还有以后这个 privacy 等等那么还有安全因为港大的学生以后都会是这些社会的一些精英对吧会到一些 policy making 他们必须要对技术要很好了解所以所以说那么相关的法律规范你该怎么去理解这个问题怎么看这个问题还有这些模块

所以整个是会给学生们第一了解历史了解概念第二了解当前的技术第三了解现在这些技术对他们个人的乃至或者他们对他们的行业的影响甚至对社会的一些可能带来的一些影响

当然现在很多问题我也跟老师讲我们现在很多问题没有答案但是我们的课程要起到的作用是让他们去比较批判的去看就是他要想这个问题不要人予云云对不对看看自媒体上什么对不对别人说什么就是他要自己要找过学会去掌握证据找到自己的论据去形成自己的观点然后去接受这些东西而不是现在别人告诉他是什么这个东西什么都能干这个东西什么都能做这个是安全的这个是什么

对吧或者现在就要管开源不行对吧这个危险等等对吧所以他们必须要通过这样的课程是一方面了解他已经客观的东西系统的东西历史的东西那么另外就是说对将来他们要有这种能力去去判断所以你看传授知识到本身并不是很重要实际上最终我们目的通过这些历史通过这些看法主要是还让学生能提升他们的判断能力因为技术以后还会改进对不对

同样的炒作还会再出现我即使把现在的解释清楚了他自己没有自己独立的判断力他以后还是会被大家误导所以这一点是我希望通过这个通识课程不光是把 AI 讲清楚通过 AI 这个话题让同学们意识到它的独特性带来了很多实际上是蛮好的很丰富的一个话题让学生们学到很多综合的

甚至还有艺术对不对所以你看包括我们讲到的为什么要把历史你看光是生命那么多是学生命的学生学 neuroscience 的学生甚至学物理的学生他的专业跟智能这件事发生什么碰撞那么学到 ethics 这件事情那些学人文科学学法律的学艺术那么学 generative AI 那么学艺术的什么叫创造版权你怎么去看这些事情

那你以后音乐家画家你以后在这边扮演什么角色这个技术是帮你还是跟你竞争等等你自己去看所以整个这个课程就是让整个港大不管你是哪个专业的只要 AI 给你的专业有些信息对你个人也好对你这个领域也好那么帮助他们去思考怎么去做这个事情而且这个内容我也给我们老师讲每一节课都有一个团队在后面不是一个老师教

是每一节课每一个小时的课是好几个老师来设计来共同来打磨而且我说这个内容不是说这次教了拍了教以后就教同样的东西绝对不是每一年可能这个内容都要 update 它是一个完整的就让我们的学生每一期的学生都要了解最新的 AI 发展的现状然后对它的理解这样子是起到这个效果

所以它最后的授课形式是你们这个学院就是香港大学计算与数据科学研究院的好些老师一起来合作一起教的可能不同的课是不同的老师第一门课是我们主要在承接但是我们也会 involve 其他系的老师包括一些机器人我们还会有这个 WE 的老师其他系的老师我们都会 involve 主要是这个事情就是头三个学分这个基础的技术的介绍这个整个是我们

而且包括 ethics 我们还有这个来自于法律还来自于这个哲学的希德老师来传授所以它是只是整个我们是 host 一样但我们是在 coordinate 至于第二个三个学分第二个文科就会招业专业我们可能就我们学院要跟其他的各个学院共同来开发比如针对医学健康

那么这些我们要传授哪些这个课的第二部分就是比较各个 faculty 或者 college 就专门去 design 这个事情因为您已经在春季就是有世上这个课程有一百多人这一百多学生他们会提一些什么问题他们和您互动他们关心什么好奇什么困惑什么很多了但是第一年的学生因为他是自愿选的有一点 bias 对不对这些学生第一要么很可能就是对这个事情非常感兴趣的因为他他

不是必须要必修课还有呢很多大部分是可能比较偏技术 STEM 的人对不对好认为的少一点所以可能会有点 bias 所以我们会要等到秋天才可能比较一个完整的一个 sense 但目前为止现在是效果非常好他们往往会 follow up 就是说想更加深入的了解一些东西很多学生虽然已经都想跟老师做做一些 project 等等

反正打开他们的思路有些也不太现实他整个的反馈是蛮 positive 的有点像 CEO 的项目就是目前为止确实 AI 大家都比较关注而且大家确实理解的不深大家可能很多真正聪明的人都还是有这个体会他还是知道理解东西不够不系统不全面这样的课程他们都觉得比较 excited 知道他能开始一下子比较系统的看到 AI 的方方面面在不同领域的一些影响

在你们这个课程中间你们是怎么去描述 AI 和人的关系的样你怎么向本科生去讲述这个关系智能本身不是一个饭东西对不对具有不同能力功能的智能系统我们把他们本质讲清楚就好然后让他们学生自己去判断怎么去交互当然有些工具对不对比如说你是写作的工具你到底是真的就让他替代你写作业写论文实际上对我们老师也是一种挑战

现在面对这些工具 AI 的一些工具实际上包括我们很多老师包括学校也没有最终的定论因为这些技术它也在不断的发展它能力也不断提高改进等等但我相信这个过程中是去启发我们的学生去给他不同的 option 给他不同的看法

然后让他们自己去形成我希望这次他们自己去形成对这些事情的一些判断去引导他们而不是去把一些东西灌输给他们这个是可能是最好的方式对这个确实我觉得 AI 和人的关系就是有点复杂这可能跟哲学要伦理包括 AI 未来到底怎么发展都有关系比如说它有可不可能自己产生意识之类的对我们在包括我最近浩凯在讲这个事情所以至少不对目前的东西对吧我们知道他希望的就是把这个本质搞清楚

它实际上在做非常机械的压缩数据的压缩和生成对不对所以就是我们把本质搞清楚之后我相信现在的同学们知道如何跟现在的 AI 打交道知道它的本质这是我们能做的但因为对于未来我们可以展望当智能机制越来越被发现的更完整完善被实现的更完整完善那么这些系统比如说开始真正有自主学习的能力的时候

他们可以去思考有了这样的系统出现之后该怎么去作为一个个人或者作为一个社会去面对这样的事情现在可以把这些话题给讲给他们但是我们希望他们比较客观看这个问题而不是说现在就 worry about 对吧就现在的这就是现在的系统能做的事了对就是他首先理解现在系统能做什么不能做什么对我刚说那个产生意识这是一个比较未来的

所以我们也有哲学的老师在想这个事情那么意识到底是什么对不对那么或者是哪怕我们说到的 consciousness 对不对虽然我觉得我们可能还不知道我觉得至少目前的机制都是非常 mechanical 的这次采访之前我去看了一下维纳的人有人的用处但是我没有自己完成看完我也是让 AI 帮我速读了一下他那里面其实也讲到了就是他认为未来如果机器对人异化的这种环境之下你怎么去培养一个完整的人

他觉得审美是最后的堡垒他也讲到了就是批判性思维还有跨学科的这种综合的视角非常重要

我们也可以不严谨一点畅想一点如果就是想得更远的话关于 AI 和人的关系我觉得现在有两派有一派就是觉得人类文明是为规矩文明铺垫的然后有一派是比较人本主义的就是觉得我们还是要就是守住人类的堡垒就您自己如果感性上你是比较偏向什么我觉得人有人的用处机器有机器的用处对不对但是智能这个机制是我觉得不会是人所独特的

智能本身就是一种民主化的机制自然界早就把智能开源了对不对我们这个世界上不是人这种动物还有无数多其他的动物对不对

而且对吧人也是一个偶然变成了这个世界的主宰对吧在这之前实际上物竞天择逝者生存对吧有很多的共同竞争的过程所以智能这种机制对于这个自然界来说它不是一个谁会只是人目前处于一垄断时代那么可能在一些形态上比较高级而已我觉得智能你当我们把它机制搞清楚很

很可能就是一个共存而且你看我们每个人都有智能对不对我们也能学会去共存我相信对吧当机器有了智能以后我们也会有一定方式找到共存的方式这个很难这个也很这个可能是需要一些大家去思考的问题对吧到底这个机器智能发展到什么阶段如果真的现在的机智能实现以后不过我们经常讲到什么 scaling out 什么的现在我们还没有找到正确的该 scale 的

等这些机制实现就跟人的大脑皮层一样从小老鼠的大脑人的大脑它基本上就是在 scale 正确的东西了但你可以看到它能力大大大的提高它机制可能相似但是它的随着 scale 上去它的效率它的能力是不得了那么恒恐的机器规计也好什么机也好量子机也好不管它怎么着了它只要把同样的机制实现的话它可能是人的大脑的百倍千倍万倍

他记忆他的推理能力或者他获取新知识假设我们认为智能就是获取但他获取新知识的效率甚至通讯可以远远机器人之间可以远远超过人对不对那这种情况下我们该怎么办我也不知道对吧留给大家去想

该制定什么样的一些规则规范那么怎么让机器人能够或者我们还没有说到意思只是他能够有自主的学习能力的时候就已经可能会比较麻烦了就是您自己做这个事情的动力包括你们现在做白盒做闭环反馈自主纠错这些机制除了您觉得这是一个未知的东西您好奇想把它弄明白之外您会觉得这个东西研究出来之后它整体上来说是有好处的吗

还是这不是考虑的时候的问题我觉得从我们做科研也好很多东西还是从先把事情了解清楚对因为我刚刚在想这个东西的方向性就是如果它都是一个过程对时间还很长对不对在过程中我们还有很多的时间可以做可能这些知识还是有用的那么从我们说学问或者是我们还是希望把这些机制搞清楚搞明白

那么至于任何的东西相信我觉得任何一个技术任何一段知识都可以用来做好事也可以用来做坏事所以我们为什么要把智能技术搞清楚我们要把两件事情分开一个是这个技术是可以拿来做坏事

还是好事这个技术本身是中性的比如练钢你练钢当然有好处了造车对不对那你也可以做枪做刀不能因为这个技术最终会去拿去做坏事比如说我们就不能研究把这钢怎么练得越来越好这是两回事那么

你不该去限制对技术的发展你该去研究如何去 regulate 那个应用就跟互联网一样那么智能技术也是这样这是一种情况当然还有一些技术它本身就是有害的或者是危险比如说病毒或者是一些放射性元素对不对

本身这种技术或者是这种就带有危险性化学等等对吧那你就要小心了这就是技术本身的研究就要 regulate 所以为什么对生物实验化学实验有很多严格的这些安全要求对吧不是任何人都能去玩的所以这是要分清楚的那么所以现在对 AI 也是这样对现在智能技术就要它到底是哪一类

它本身是在干什么它的本质就是危险的吗目前做的游戏是本质是很清楚的就现在的是不危险的对了但以后我们再去判断它什么时候才变成危险但是我们知道现在的它的本质搞得很清楚但是到以后当真正技术当然技术本身可能也发展到危险光是做这个研究本

那就是要有严格的保护严格的规范了就如果回到你们现在的研究的话比如像白河然后闭环反馈这些相比去年我们聊的时候有些什么进展和突破应该是蛮多的实际上也是我们也是涉及到我们公司做了很多事情现在我们作为做这个做了一些产业化验是因为发现在学校做的东西验证一些方法验证的还是比较清楚那么同时也觉得这些机制跟现在的这些 AI 的都也不是很同质化那么

那我们现在就要搞清楚那么这些技术如何去在更大的规模更加的效率提高这些往往并不一定是学校愿意去做的比如说我要更多的数据去验证一些事情我要在更大的规模上做一些事情或者我要去改进效率我已经知道方法了我要把效率提高很多东西是比较工程化的所以我们过去这一年在这个方面就是很多的最近的一些工程在我们的公司网站上也有一些比较

那么也是跟学校在合作因为我们还是处在研发这个阶段那么你可以看到大部分的进展都是跟比如现有的这些白河或者是闭环这种系统的机制比如在怎么去如何去大规模的 scale 如何去大大的提高它的效率或者通过这些原理去把已有的比如说 transformer 以后里面的一些冗余的

效率不高的地方给取代掉过去这一年有不少的这样的东西而且通过原理你可以现在把一些比如说训练视觉的因为现在视觉模型非常糟糕原模型还好一点但视觉动模太糟糕因为训练非常不好做那么现在的很多的最好的一些方法 Dino 它就是完全工程化的系统那么现在这些原料指导下我们可以把这些系统大大的减化而且性能还反而会提高

所以这就是可以看到现在这些技术现在我们的新的一些原理已经在对这些真正的下一代的这个比较能改进现在的 practice 已经在开始产生很大的效果了因为我看了一些你们最近的成果的整理是不是你们接下来的一个方向是因为那个闭环它其实是要在就它的一个特点我觉得我理解它是在一个开放的真实的物理世界里面它是可以去运转或者它可以去学习的所以它这个未来是会更多的和巨声这个方向结合吗

是对所以我们现在确实是这个你讲的很对很自然的一个 killer app 的就是对吧就是我们的就跟人一样对吧一个真正的一个 agent 他应该是一个能够真正的物理世界打交道而且是一个开放的世界

我经常有一句话对吧 Open-ended systemis for a closed world 不管 however big it is 就是不管这个世界如果是 N2N 的这样开环的系统它只是能够记住一个封闭的世界不管这个世界有多大不管这个模型多大它都是一个封闭的

但是这个 a closed loop systemis for open worldno matter how small 哪怕小到一个蚂蚁它面对一个再大的世界它也是闭环的它能自己去学习所以它实际上是所以为什么现在 N2N 的它不管是多少的知识它都是 fixedfinite 它没有自己改进端到端就不能是闭环的是吗

端到端和闭环是互斥的吗我也不是完全不知道目前为止这种实现方法这种目前大模型这样子的 N2N 去翻 Tune 去训练它没有这种模型它没有自己改进的方法对其实端到端也是一个业界的非常火的可以认为很简单对吧就把它想成 DNA 对吧 DNA 就是个开发系统你爸爸妈妈给你什么就是什么完全靠 instinct 你改不了你这辈子已经注定了对不对你靠本能活着的

对不对 这就是开环世界输入你的 DNA 从你的细胞开始受精卵开始你就已经注定了但是很神奇的是在一定阶段这些 DNA 硬扣的一些信息可以让他们个体产生大脑产生视觉在这之前你就已经定了这就是开环系统那你怎么看现在巨声智能领域讲的很多的我不知道这个断道端跟你刚刚说断道端是不是一样的东西就断道端 VLA 模型什么这种东西

有点像吧他们这个现在技术路线还是通过很多的数据对吧从感知啊视觉到语言啊到这个 action 在整在一起到动作对现在反而还是蛮粗暴的对吧这个

就您觉得这可能不是个正确的方向对啊你可以至少是我你就跟坐大飞机一样你看什么叫正确对吧正确这件事情对吧比如说我们现在的飞机是不是按照正确所谓的正确的方向在飞未必对不对动物的从昆虫到鸟都不是这么飞的但它能飞但它也能飞对不对它甚至能宰客甚至能挣钱对不对所以看正确与否是怎么回事但是不是最高效的是不是跟自然界的更自然的高效的实现方法可能

肯定不是所以这个是我们可以肯定的但是至于说你砸很多的数据砸很多的算力对吧很简单的触发去实现让这些机器人性能有些提高这个可能还是可以的对因为其实去年我觉得白河我们是聊的比较多的我觉得那个概念可能是更相对容易理解一点其实就是

本来的 Transformer 这种结构里面它从高维的东西到低维的东西它这个压缩过程里有很多经验的是试出来的冗余的东西然后白河其实是找到它的一个更底层的数学解释可以把冗余的去掉可以让这个效率提高但是我觉得去年聊的时候其实闭环反馈自主纠错这个机制我觉得那个时候我感觉是比较模糊的就这一块有些什么进展吗这块我们现在在做不太一样的东西我们先是把这个模型的简化和效率提高了很多

那么现在我们实际上是已经不太具现于这个了我们现在是很持希望就是现在你发现现在这种游戏这种开环哪怕是现在这种单一的模型

来实现这种 in-coling decoding 来实现这种闭环可能都不是最优的方法那么至少不是自然的我们的大脑不是一个环而是多个环大量的对吧并行的我们的大脑皮层是几十万个 column 形态相似的这样的 column 在处理处理器

所以他们的可能每一个人都在做这种每一个都在做这个 auto encoding 都是一个闭环系统所以我们现在已经在探索就是说在朝着就是如何能够比较实现更接近于自然人的大脑形态的这样的构架这种构架其实就是它很早期对吧我理解就是它属于一个比较前沿方向的一个东西 You never know 对吧

你永远不知道对吧就说你这个人现在比如说你从概念很清楚但是真正的实现过程对吧比如说你有了 AlexNet 你有了 CNN 来实现这个就是工程到不到位实现正不正确很可能在这个过程中如果真的实现正确了可能很快找到 ResNet 很快你可以提高

Transformer 也可以对不对现在很多的改进现在这种就是科学的很多的进展你很难去预测很可能像 GPT 也花了八年但现在大家操作也很快对吧一年就可以操上去对不对有时候这个探索过程有可能也用不到那么长所以很多东西就是这样这个在不管是科学或者技术的探索过程中

你只要我觉得方向是对的你就已经很幸运了那么只要方向正确那么大家全力以赴那你们现在正在探索这个方向如果我可能理解的不对就如果笼统总结下它是很多这个模型组合在一起然后每一个都是闭环的对应该是这样至少我们大脑的形态是这样子的我们大脑处理不同的模态对不对我们的五官五种感知进到大脑都是并行的处理然后它在做汇总啊

而且大脑的区域功能非常清楚它是一个非常的并行分布然后 Hierarchical 的就是这种有层次的这样的结构因为我理解的闭环的定义就是你的输出是会影响你的输入的对不对那大脑的每一个就是它分块的部分它也自己知道它自己处理的结果对不对吗它也输出影响输入都有吧人类的大脑实际上神经网络的每一层基本上

都在做很多的预测和纠错很多的机制在做而且大脑里面很多的人到大脑处理的信号的 passing 很多机制现在跟神经网络根本就没有比如说我们的神经元之间的有这种 herb connection 有些不同神经元看到同样东西它同时 fire 的时候的

他说都同时发二的时候他会加强之间的 connection 帮助他去识别一些共同的东西那么有些神经元他对一件事情发二以后他会去限制其他周围的神经元不发二像这种计算机制现在的都还不清楚现在的神经网络没有这种机制

还有很多的机制就说大佬在做什么不清楚但是我是倒是觉得我们现在肯定是要向大佬学习而且现在我们从一些机制从一些原理的来看从原理来推到就发现这样的机制可能更有效

从我们知道大脑尤其是记忆该怎么形成保证它的压缩减渊和自洽的话从这个机制来看的话这种分布并行分布 Hierarchical 机制可能是更合理这是我们知道的

原理上本身也是在设计这件事情是可能更有道理所以有可能并不是说未来它是一个大统一的模型因为我感觉现在好像很多人都是想把很多功能放到一个模型里面是啊一个大模型在这折腾对吧把什么模态都把语言都砸在一起对不对实际上就是很

就是暴力的这样去弄标很多数据对就是当然你说提供从工程大家找到这条路大家慢慢觉得这样不断的还能提高一些效果得到一些效果之后不断的也还是可以的对有可能像您说的它就像飞机一样它也有可能是有商业价值的对啊但是就是可能性价比未必那么高对不对这个从人好的角度来说可能并不是那么

但是你大家能付得起机票钱也能挣钱因为益生还是一个商业公司你们做这些研究之外业务上有些什么样的进展和计划因为你知道智能技术实在很多点那么在有些技术点上那么我们在比如智能它本身比如说在视觉或者在理解推理这方面一些功能提升的话它本身可能应该就会在一些场景上就有一些用处你不用把整个完整的系统做到

那么另外一点我也是希望做点 mission driven 的一个公司因为很多事情并不一定在学校能做那么很多东西我也希望公司有一定的这些投资人有一定的耐心中国真的是还是缺少一些 mission driven 的东西这样一个好的方向一个 promising 方向大家希望有点耐心把它实现下去投资人实际上有耐心吗他们应该也不会催你什么我就看 open ai 对于这个事情他也是个公司虽然他开始不说盈利但是最终还是要产生价值对不对

而且对他的即使这样子他也做了七八年而且在这个过程中 Elon Musk 算厉害了吧看东西看准的吧他 GPT 出出来的时候他也觉得这玩意一点屁又没有他就把这退出去了他也觉得这个完全不靠谱所以你看这样像这么号称很经验很成功的人在对一些事情的看法上也没有那么准那么当然微软留下了觉得他做的还是比可能

自己的团队做得更好一点所以你看实际上很多的他决策他并不是一个科学的很科学的很逻辑化的决策尤其是这种带有一定未知的即使哪怕方向正确在阶段大家对不同阶段发展的认可都不一样埃拉马斯克他居然会犯那么大的错误对不对而且他早期还是投进去的了

而且但是也是会对中间的结果进展他到底是判断怎么回事另外呢还有很多的东西我们要有还是要有一点就是回到你刚才说的这个品位和信仰对不对那么我相信做学位要品位我觉得做公司也是要有点品位一个东西我觉得他们重要方向正确它肯定是有价值的啊

尤其是当他能够完成的时候那么像 Sam Atman 应该是在 3.0 3.5 的时候当时出来以后也有接受采访别人说你这个东西有什么用他当时回答也是很直接了当时他也不知道有什么用

但他说机器人理解自然语言非常重要这个事先如果做好了以后肯定有用所以我相信很多的技术当你没有达到临界点没有做到一定水平的时候它可能什么用都没有当它做到 4.0 的时候你都不用去想别人马上就会有几百万个对 用处就涌现了对了

这些事情肯定会有用但是而且它会很有很大的价值甚至是商业价值但是你在实现之前尤其在阶段的进行过程中很可能它还没有完成达到临界点之前或者性能还没性价比还没达到一定可能真的什么都没有

包括现在大毛鞋也是对不对大家在烧钱也可能大家也相信包括现在机器人也是你说在机器人这里有什么用呢好像也想不出来对不对但是大家希望人性这个机器人真做好了手做的足够灵巧了应该还是应该会有用的所以这也是一种信念我相信这也是不管是做学问也好还是做产业也好如果大家都看到已经看到能挣钱的

对不对才去做都已经看到具体的商业但这不应该是个科技公司对但它也可以是一个纯商业的对它是个商业公司这是纯商业的这不是一个科技的公司该做的事情或者是至少不是一个一个 mission driven 或者一个这样的公司来做

我觉得投资人可能有一个 concern 就是因为您要忙的事特别多因为还有学校的很多事对啊但是很多事情也是比较一致的因为我们在不管在学校做的这些科研啊这个包括这个实际上都是我们多段的加深对智能的技术还有是智能的方法的组建深入的认识这个过程中肯定要做到很好的平衡和协调另外呢还好我们还是有不错的团队我们港拉的其他几位这个有两位教授啊他们的这个这个这个也是非常的这个

在一线啊专门这个做这方面的技术的嗯而且大家也看到了对吧现在实际上真正的人工智能的前沿性的研发开发和研究是分不开的对不管是 open AI 也好啊

包括后来包括中国的 DeepSeek 也好包括中国的微软团队也好基本上这些包括 Google 实际上它们很多的团队核心构架它都是在现在在读的学生老师们参与这个实习都是一半这些团队一半都是在在读的学生或者刚刚毕业的博士生其实我看 DeepSeek 和你们团队也合作了去年底的时候你们也有发一个论文啊

对反正有些合作对我们还跟他们抢个人但我们抢不过抢不过是因为他钱太多对不对所以大家都在做可能他们的重点不一样他们可能是想把现有的技术先实现的非常高效我们不太一样我们不太想去重增之路第五其实我觉得 DeepSeek 他特别火这件事情就至少在创投权我觉得他带来一个

可以说是好事吧就是大家会认为现阶段最重要的还是技术能力的提升因为 23 年那个大模型的创业热潮开始之后其实有一段时间大家讲的很多的是叫双轮驱动就是模型和应用要一起做因为你只靠技术好像很难单独的成为一个商业上的壁垒

然后 DeepSeek 这个事之后我觉得是有很多人确实愿意相信说技术有一个进展之后有很多就像您刚刚说的很多事它自然是会有用的虽然这个在商业逻辑上不一定是持续成立我倒不觉得最终会怎么样我也不清楚但是它已经现在 AI 的这个领域的尤其是在哪怕是在学界

还产业界已经颠覆了很多以前的范式你发现没有对不对学业界该怎么做研究都已经有点乱了然后产业界这些公司最终这些公司是否成功我们也不好说但知道他在现在已经很成功的融资对吧不管是文本图像的这种生成公司都是非常小非常早非常年轻他已经没有什么资产甚至连专利都没有甚至全部都开源的都有对吧但他的估值像 Hugging Face 估值了好几十亿美金对

甚至他都不产生任何新的东西他就是说帮这个领域来组织这些开源的资源就已经价值很大了所以大家不知道就是说这些固执的本来大家也不知道很多东西不是直接马上就已经产生有很明确的商业模式就是说比如说包括这些机器人的这种东西商业模式在哪里呢

那么真的是用在哪里呢现在都不清楚但是大家有一个技术信仰它的创新已经在颠覆这个传统的这个投资要有非常明确的产品有非常明确的商业模式要非常明确的这个甚至盈利造血的这样的东西甚至市面上比较所谓比较成功的公司包括欧凯在一起对不对它是非常不清楚的机器人工事业也好人工智能公司也好包括这个大包新公司也好几乎是不清楚的

虽然不管什么大家吹牛的商业计划书是怎么回事但是在心里的心智度明他的很多东西都是还处在技术不断革新打造的阶段当然在过程中大家也在积极的探索哪些东西能落地哪些东西还不能落地有很多探索包括现在很多 agent 对吧早一步是先列晚一步是先驱对不对有时候就是很多的不断的尝试根据技术的成熟度

也会那些 agent 实际上也不是现在这些 Malus 也在 Malus 也在炒得也很热但是也可能是像类似的这些 agent 很早都有了很多东西都有了对不对那么只是说大家什么时候它真的成熟能够产生价值这个大家去判断这个可能都还不一定是我们很擅长的

但是我觉得还是要有一种技术信仰看到一个好的有机会创造出这种现象型的技术产业的这种机会我们还是要去努力去抓住的不然我们都不去抓或者不去做那谁去做呢像这样的机会我个人觉得反正为什么我们愿意出来我们几个老师也觉得实际上说真的

你用去实现现有的技术去做点事情我们不是我们的诉求但也是觉得这也是 one city lifetime 我们从学术和科研上看到了这样的可能性就是可能下一代更完整完善的智能系统该怎么去实现该具有什么样的特征而不是现有的系统而现有的这种方法的这种 approach 不管是先列也好先去也好我们肯定要去进行去推动了

对因为商业组织或者说公司的形式有可能能加速这个过程是的另外一个是加速这个过程另外它确实是很多事情可以对学校能做的事情很互补包括我们很多东西比如说学校要做一件事情即使你有个很好的想法但是你好要申请经费写个官还未必能拿到这个时机商业的动作很快另外还有你还要培养学生学生不 ready 怎么办好

好不容易培养好的又毕业了而且现在的很多东西需要持续性公司一部分他可能保证在技术上在一定的 push 一些东西的持续性团队也持续一些对从科研的资源来说在港大我们实际上是非常丰富的从研究的角度来讲

我们并不是需要我们是需要去做研究的经费不是这个那而是而是确实是觉得这个产业这边你有更多的算力更多的数据更多的规模化或者能培养比较对这种技术熟悉的工程团队啊

让这些技术达到的越来越成熟你看很多的科研做的突破或者是进步都在点上我们在每一点上视觉做得更好某一个做得更好但是现在智能系统是个集成的系统它要出多种功能在一起又能识别图又能是感知还有认知决策然后执行公司是比较适合做这样的事情的

你不可能让学生什么都去做所以我们在这些过程中也是个动态探索的过程也不是每个人都能认可这个所以这个都是一个动态的这个

探索的工程对因为你们现在在的这个方向就是你们想探索下一代的智能架构我觉得它是比较小众也需要一些理解的那你们在招人的时候你想去吸引一些比较 top 的 AI 人才的时候你遇到哪些反馈还是有些 challenge 倒是因为一方面正如你讲的对吧因为现在有些已有的一些技术路线看着比较热而且有很多的资源

然后给的工资也很吓人我们还是有信心的因为我们本身也有比较好的人才储备尤其是在我们的大学对吧我们的学生都还有而且这些学生本身就是大家知道尤其在前沿的东西反而是掌握在年轻学生手上

不是已经所谓的有多少年经验的工作经验但我们也需要一些对吧不同的人才所以我们也在看不断的努力的去打造我们的团队现在研究特别前沿的方向的博士生还会像您当时毕业的时候其实找不到研究方向的工作的情况吗现在好一点现在人工智能我们那个时候是这个方向是比较困难的我觉得你做比较冷门的东西是比较困难的

是需要一些勇气的但现在当然这个领域已经比较成熟了所以相对来要好一些甚至有点过热但是我也是觉得为什么要做这些产业公司也是希望把一些 talent 能够组建的聚在一起而不是都是毕业以后大家学生们都去做大公司去做一些同质化的东西

因为我也知道在公司待过对吧这些学生 individual 到一些尤其年轻人到这些公司他很难很难有自己的独立的事情能做你应该有不少学生是去了这种大公司的是啊我在那个对我在 Google 都有四个学生苹果还有一个微软有好几个对

包括中国一些大公司也有还有自己创业的对像那个明可瑞他就自己创业所以确实有一些去大公司的学生他会反馈说其实去了大公司之后你的这个空间探索空间就比较收现了是肯定的的

你想做的事情的独立性或者是至少是想做一些不一样的东西很难尤其是年轻人基本上没有很少有这种自由度但是在这些出创公司也确实有它的风险就是要看这件事情要大家如何去认可这个事情

以及看你想要的是什么反正我之前跟一些谷歌的还是比较核心的做他们 AI 的人聊他们讲的有一个想法有一个诉求是他们想成为第一批看到 AGI 到来的人但是先把 AGI 先定义清楚什么是 AGI 我在推特上还有杨乐坤我们都还有包括李飞飞在问到底什么是 AGI 对不对

连个科学的定义都没有所以大家不要去谈这种虚无的东西尤其是造作一些用术语造作这些概念所以我们现在做的很多人工智能的过去就是你把这些科学的问题智能的不同能力定义清楚 界定清楚而不是笼统的去谈一件事情自然界的智能都还分好多个阶段而且它后面的机制都相似它又不同对不对大家把这些问题搞清楚而不是笼统的去

其实您自己不怎么体会一下这个概念对还是智能的机制的那些阶段我觉得智能的机制搞清楚和智能的机制是同一回事

没有什么通用不通用的你就是只有对和不对完整不完整的在你包括早期的这些我相信这些比纳提出来的框架他当时就已经说出来了你看看 Cybernetics 文章的书的副标题就是 Uncomplication Control in Animals and Machines 你把这些机制搞清楚你不管是你只要在通过机器实现以后动物和机器是分不开的

你这个何必去谈谈这通用不通用呢你关心的是应该把机制人后面的原理机制搞起搞明白这才是关键然后最后一个问题是我想问您当您身边的一些非 AI 研究者的人他们因为 AI 感到焦虑或者特别兴奋或者困惑时你会和他们说什么呀

很简单焦虑就是来自于不懂兴奋你要至少知道为什么兴奋读这些事项可能很奇怪包括我们学术界的人经常遇到一些同事我想了解智能的本质我想了解我想理解人工智能我想理解深度学习好 那好 那就问你你去认证区看过几篇文章你去坐下来好好地读过一些东西把这些梳理出来没有曾经在自媒体上说好

每天就是这个推来推去的对不对都是一些肤浅的东西当然吃瓜群众无所谓但如果你是这个领域的人有几个认认真真地去把这些事情梳理清楚比较客观所以有时候我比较喜欢写书对不对你教一个课我这样在讲你只有自己去把梳理出来以后你会发现哪些是有 gap 哪些是有你不明白的地方你不去做你连意思都没有搞清楚就稀里糊涂的就觉得就开始焦虑了

所以总结下就是少看电视媒体然后多去看一些系统性的东西你要明白以后你不会焦虑所以我们为什么在做 AI literacy 也是给大家提供让学生知道有这些钱你应该做出哪些努力之后再去形成你的判断形成你的结论这个 critical thinking 的过程你走过没有你的结论可能不对但你只要用这个方法不断地用这种方法去理解形成你的概念那么你的焦虑会少很多

错误判断的概率会大大降低就这么简单所以你看正因为很多人也说这个黑盒子对吧就不愿意搞明白所以你看任何东西一个黑盒子大家就会利用这因为大家会焦虑他不懂他就会产生焦虑或者甚至恐惧所以这些所谓的权威说什么他就视之为是什么说是原子弹说是病毒他就信了他也不知道他为什么为什么是原子弹为什么是病毒他不是自己建立的是别人灌输给他的对不对所以那么很多人就会利用这种恐惧

这种恐惧焦虑迷信也是这么产生的权力也是这么产生的本期的连点呈现分享三个和之前节目的关联一是这期开头不久我们在聊智能的诞生时马老师就提到他很喜欢的一句淫语就像上增是宇宙的基本法则生命的基本法则是不断变得更结构化和对抗上增这和第 107 中王小川提到他为什么在 2000 年做基因测序时开始对生命和生物科学非常感兴趣是同一个想法

当时王小川说我们从父母的 DNA 结合的受精卵变成一个人还长得很像爸妈这在数学上是一件非常不可思议的事物理世界很精确但走向了商增生命看起来不精确但走向了商见不过王小川认为宇宙是不是一直在商增是一个未知数因为我们尚不清楚这是否是一个封闭系统

总之这是对智能的一个很有趣的观察和定义第二个联想是在本期和第 103 期用注意力机制串起大模型优化史中我们都讨论了生物的智能机制是否是智能机制的最优解这确实是一个上代发现的问题但有共识的一点是生物确实是用了一种比目前的机器智能高效的多的方式实现了智能如果我们把智能定义为能够学习能够发现新的知识和规律

就像这期中马老师说的一个开环的系统能应对封闭世界不管它多大就像现在的大模型一个闭环的系统才能应对开放世界不管它多小哪怕小如一只蚂蚁

第三个联想是上一期中我们与戴宇森聊 Agent 他在最后分享的两本书都与智能的历史有关一本是 A Brave History of Intelligence 智能简史这个还没有中文版另一本是第一只眼讲韩武纪物种大爆发中感光细胞和后来眼睛的诞生如何促进了智能的发展这是在五亿年前而我们今天在讨论智能在地球的起源时也提到了一个关键的转折点

是在 5.5 亿年前神经系统的诞生又过了 5000 万年开始了韩武纪大爆发

这一次我们开头和 JW 的 BGM 用了《银翼杀手》里的《Tears in Rain》如果说智能是在学习可学习的规律那么根据我们现在对宇宙的观测随着商增世界中有一天会变得无规律可学就像《银翼杀手》里的那句台词 All those moments will be lost in time, like tears in rain 智能可能只是宇宙中的一个过程但它是一个无比神奇令人着迷的过程

本期节目就到这里欢迎收听如果你对今天聊的话题有观察好奇或疑问欢迎在评论区分享想法这也会成为我们节目的一部分让整个讨论更完整你也可以把我们的节目分享给对这个话题感兴趣的朋友欢迎推荐更多你想听的主题和嘉宾你可以从小宇宙苹果 podcast 等渠道关注晚点聊 Late Talk 也欢迎关注我们的公众号晚点 Late Post 下期再见