INDIGO TALK / AI 漫聊之智能的进化 - EP13
01:14:34 Share

欢迎来到 Indigo 数字情下的新栏目 Indigo Talk 我会不定期的邀请朋友们来和大家分享科技趋势的新思考开心了

我们其实经常交流但是我们三个人在一起做播客其实是第一次第一次比较确对对对反正来硅谷呢每次来都能学到很多新东西然后正好上次我们录播客的时间是在今年的二月份二月对然后一转眼八个月的时间过去了感觉这个模型测啊不管然后这个硅谷啊 AI 啊都有很多新的一些变化所以今天呢我们在这里简单讨论讨论啊就是这个过去半年我们看到了一些什么然后

也说说这个播客的起点是因为前几天我们在路边谈话的时候就是宇森和这个 Indigo 反复地提到一本书然后智能简史然后基于这本书呢我们一会儿这个也会展开来讨论讨论我们从这本书里面看到了什么好不好你主持人很专业啊对啊

这个会剪进去吗会的我都一刀不剪的对对对其实我先代表小白提个问题就是来硅谷以后发现很多人在讨论这个 O1 尤其是这个 reasoning 和这个慢思考觉得它代表了一个模型的这个新的发展方向对吧然后我也想问问两位从你们的角度来看这个代表着模型将来会解锁更多的哪些能力

对就是中国有个很有名的公司叫学而思对吧就是学和思其实是这个智能很重要的两方面对吧原来模型其实叫做做的是压缩比如说文本大模型是吧人类的文本压缩成一个大模型但现在很显然有个问题就是说那

市面上高质量的文本被压得差不多了所以在 pre-training 端其实大家发现如果只是简单地把这些信息压缩可能就遇到一些瓶颈对吧与此同时显然我们人类大部分的价值创造和思维活动其实都是在思考也是所谓的 influence 这个过程那么在这个过程中模型怎么样能够通过思考更多的时间花更多的算力来得到更好的结果

也就是所谓的 Inference 上有没有这样一个 Scalding Law 其实这个是大家一直在关注的话题所以其实在去年的时候其实大家就在探讨说这个在 Inference 端是不是能够有新的方式出来

那么 O1 的出现其实大家看到通过模型能够思考更长的时间得到更好的结果在他们的那个 Tech Report 里面其实也提到了这一点就是从 Training 的 Scalaring Law 得到第二个就是 Inference 或者 Thinking 的 Scalaring Law 我自己觉得这个还是非常重要的一个范式并且一圈交流下来的话大家其实也都非常看好这样做一个 Priority Shift 虽然说实现的方式是不是都是像 O1 这样去实现这个可能每家有不同的一个看法

但是大家普遍认同的是关于 Inference 上面的这样一个 Scanalog 其实代表着 AI 大幅前进的一个未来因为想想看我们人类的绝大部分的价值创造其实都是要经过思考经过 Planning 经过计划然后花一段时间实现的

大概率不是脱口而出的之前的大圆模型它就是一个系统一的过程就是它记住了或者它见过类似的东西所以它脱口而出比如说压一的一几对二这是一个不需要去思考的过程但如果问你一个比较复杂的数学问题你就需要思考这个过程其实就在 influence 那么现在

其实我们看到在一些有明确的掌力函数的领域比如说数学 编程之类的领域我们看到这种 Inference Scaling 取得了很好的进展同时这其实也让很多人意识到当我们之前谈论 AI 谈论了很多 AI 帮人去做事情或者所谓的 Agent

当然要做一个 agent 你显然这些事情不是瞬间完成的它有一个去计划去逐步实施去反思中间的结果然后去进一步推进这里面其实又进一步的需要 influence 的能力对吧所以像 influence 的 scouting 其实也为 agent 的发展提供了一个坚实的基础

同时大家也看到这个才是第一步现在比如说 O1 是大概想个十几二十秒钟然后获得一个更好的结果那 What if 比如说它能够进一步的扩展比如说它想一个小时想一天会怎么样我经常开玩笑说人类读一个 PhD 其实是一个人花了五年的时间 Inference 然后最后得到一个 PhD 学位和一篇或者

几篇 paper 如果说 AI 能够继续的延长它想一年是不是可以证明这个离慢猜想当然这是一个听上去还有点科幻的故事但是在 Scalding Law 上我们其实不断的看到随着这个算力 Scalding Law 那么我们其实看到很多的这个原来觉得奇迹的事情就要发生了所以这个方向应该还是有蛮大的这个前景以及有很多应用场景可能会出现

正好前几天我们在见一位前辈的时候也提到他说 Deep Mind 就是在最开始去做一个关于 Poker Game 的一个研究的时候发现只要引入了思考人类牌手就再也打不过这个 AI 了对所以我觉得这个事情是还蛮有意思的 Nigel 你怎么看对刚才雨仙提到了 Planning 其实之前在

在 O1 发布之前你看包括 Coheal 的 CEO 接受采访包括 Anthropic 那边透露出来的信息来看其实大家都在做 O1 做类似的事情可能方法不一样对就是要让模型可以自己做计划

买这个计划里可能是几分钟的或者说几个小时的或者几天或者几个月的更牛逼的可以上年的这种计划当然这个可能要看你的训练的这个素材是什么样子的所以说现在有了这个推理能力之后呢会把训练的一部分方法往后移就是你之前都是 pre-training 嘛对 pre-training 就大量的数据追进去让它有了这个

形成就像我们大老人出来的时候就出土化了我组装出来的一些魔物人连接大老就出土化了他整个基本的这个常识什么其实对物理世界的感知其实都有了只是还没有几乎而已就像我们婴儿都知道了我们现在的模型应该处于这样的一种阶段就是预出场的设置他可以快速条件反思式的思考但是他其实

整个人生都在 RL 是吧 Reforce Learning 或者说是纠错式学习可能是这样的因为我们都是这样在学习那么在后面你所有的对于这些公司来看他们要做后续的推理训练的能力的增强或者让他学会实际上还缺非常多的过程数据我们互联网上有的数据都是结果数据

你把互联网上这么几万亿的 token 转换 token 训练大家没有人会把我推导过程写到网上我一定会把我的结果写到网上我会把我讨论观点写到网上当然都是结论博士都问了五年每天学的什么东西也不会发到网上去你一定是在你的笔记上和笔记上面那么所以说但是你想让 AI 学会这样长时间思考那它必须得有这些数据所以说现在这些

因为我知道 OpenIC 几年前两三年两年前至少是两年前他们就在下用下的他有个系统其实他也公开过了他有个系统他在给大学的博士生或者说是专家教授我出题给你你帮我解答把过程给我

他就把这个任务重包出去了然后他其实就是训练其实就是做应该是在做 O1 的类似的训练以前的那么这只是物理题数学题他还没有能够泛化到所有的这个专业领域里面去那么其他的公司比如说 DeepMind 肯定也干这样的事情他们也透露过包括连 Cohair 都干这样的事情 Cohair 是里面比较小一点的模型然后瓦斯沃佩也不用提了他说就是差不多三月份的时候跟 Jolly 说他说他们也是 Engine 的话里面代理化实际上

他也研究过程只是他的路径不一样他不是在上周的时候刚好出了一个 computer use 版本

那个可能就是把人类使用或者有一些方法使用电脑的过程给重放它用 AI 把它重放这也是一种学习过程我完成一个任务我打开电脑录屏把它全部做下来然后我再圈里到这个目标来做我觉得这都是一些我觉得现在到了这个阶段之后就是在慢思考里面人类需要有更多的专家流程进入了而不是像以前这些条件反射式的数据对这个我觉得是一个

很大的变化而且这是一个要长期投入的变化如果说它能够

达到效果能够复制能够涌现出它自动化的欧万已经说了他们团队在这个节目采访里面说了让他们哇或者啊哈的这个时刻就是说他们发现模型有能力举一反三的这个推理过程它拿超越人类训练数据它能够再完成一些新的推理数据这个可能就是涌现出来的一些在 RL 这一层上面的一些能力但不确定了因为他并没有在论文里面提到这些东西只是说在节目里面说了

有限制这个能力那我觉得同样的所有厂商也都在做类似的事情所以说后面的这个从现实世界采集人类在各种复杂任务里面的详细过程让他来让 AI 学会了然后进行回放他进行推理他我觉得是一个很重要的趋势但我听下来这个里面最重要的基础设施就是 High Tailor Pool 对

就是你得有很多行业里垂直的人然后去像博士生一样去给他喂很多的高质量的信息那今天比如说解决这个问题的肯定我理解大公司其实都会做但我理解很多垂直的领域的一些专业知识也不一定他们能做得了会是今天这些 agent 的公司主要来做吗还是你觉得会有什么新的这个形态

首先有很多数据是很难真的被大规模收集的比如说你要做一个 PhD 的 AGM 你很难说把 PhD 五年的数据他怎么想的去做 AGM 的收集所以这里面其实有很多是先用 RL 的方式去做但是这样的话就牵涉到你做 RL 你又没有一个好的 reward function 我做的事情我怎么知道我再越做越好所以目前来看在 OpenDoor

也就是说 revolve function 不是很明确的 domain 去做一件事情其实这个还是一个比较悬而未决的一个问题所以大家选择数学和 coding 是因为他们有明确的正确的语分对吧所以这里面我觉得有很多是在前沿领域的然后但另外一方面比如说我们看到有一些通过 I/O

或者是用户端的反馈来强化这样模型的例子比如大家经常提到的像 Middle Journey 四选一的图片对吧你虽然没有一个 ground choose 哪个图片最好但是用户会不断地给出答案对吧包括在游戏里面也有很多这样的应用你打赢那就是打赢了对吧所以我觉得这里面对于强化学习其实也是一个空前的这个

变得非常重要因为在之前比方 alpha go 之后强化学习好像曾经有几年大家发现强化学习可以继续干什么大家好像不知道但是大家现在发现强化学习在 post training 的过程中其实非常重要就像 Indigo 说的我们人生其实就是强化学习对然后我们比如说不管是你的人生目的是什么但是你做一些事情得了正反馈做一些事情得了负反馈对其实包括这 influence

其实还有其实也可以跟人类类比的就是说我们人类社会的进步其实不是靠或者到一定程度之后不是靠智商的不断提高对吧现在一个人的智商和一百年前其实没有那么大的差别但是我们的社会进步了这么多其实它是靠不断的 influence 然后互相协作来进行的对吧但是你确实得到一定的程度比如说黑猩猩就没法进行这样的这个长期的 influence 对吧所以我们之前的模型其实在不断地在

可能说智商或者在知识这个上面去 scaling up 对吧然后所以大家发现去年的时候有蛮多想做 agent 的工作比如说像 AutoGBTBBTI 或者有些公司他们靠自己去搭一个工作流 Chain of thought 去想 build 一些 agent 的产品但这样大家看到的问题是说

张模型的能力有限幻觉很多的时候你就很难去对吧就如果你招了一个这个没有读过书的员工对吧你再怎么去帮助他想要让他变成个好员工可能都很难他知道得是我有比较不错的教育然后你再通过你的对工作流的指定对于他的这个结果的引导然后

然后让他去能够干好这个工作所以我觉得这也是模型基础能力到达一定程度那么他才能达到一个结果所以他也是发现有这么个时间训学所以我感觉今年的 agent 明显比去年对吧跑得要快然后用户要多然后我听说 attraction 也变得更好的一个核心原因还是模型的底层能力

一个简单的例子就是比如说像 Cursor 代表的编程这一块其实从 GBT 3.5 刚出来的时候其实大家就发现这个模型能够写代码能够写比较好的代码但是在之前当这个能力到达一定的

编辑的突破之前大家觉得它更多是个辅助但 Cursor 配合 Sunnet 然后让这个生成代码的数量和质量都大幅提高了所以大家发现我逐渐地从这个 AI 做我的编程工具到了 AI 可以逐步来 takeover 它就说 tap tap tap 你不断地 tap 下去它的代码就大大大大出现了那这种体验其实就是有点从 Copilot 逐渐进化成 agent 的过程对

包括 FSD 也是 FSD 之前是一个 copilot 是它驾驶我我还要非常多的 attention 很多时候把它监管现在逐渐它也变成了一个 driving agent 就是它逐渐的就不用我去管什么了可能几十 mile 我都自己开过来说到这里我们昨天还在说说现在有了一个新的指标比如说 cursor 就是那个 tap 率你连续 tap 多少次是它们的关键指标对 FSD 来说就是你的整个的行程当中打断了你

你接管率有多低对吧接管次数越少这个就越好对其实跟人类一样比如说如果你新招了一个助理对吧可能他一上来帮你订票你也得看一看你在哪订的呀是不是订贵了对吧那我一般不飞这个航班所以就好像你说的打断但如果他经但他只要有基础数值对吧

然后他经过这个长期的对你的熟悉了解有更多你的这个 context 对吧那他可能以后你就说你帮我提个票对吧你就只要结果了对吧所以我们之前就是在硅谷这边其实红杉最近发了篇文章他就说原来的大家都是要的是 tool 工具人来用工具对吧其实我们在 AI 之前所有都是人来用工具不管是笔记本电脑手机都是工具

然后接下来就是 AI 和人一起来去做这个工具的设计就是 Co-pilot 或者是 assistant 对吧但最后可能就是 AI 做了然后 deliver 给人一个结果那自动驾驶其实是个典型的我给你这个结果那一开始对这个结果是怀疑的但是这个结果越来越好越来越可靠你也就越来越不怀疑正好我们上午去聊到这个话题关于 agent 这个能力模型原模型像刚才那个那个余生说的 Curse 好用 Solid 3.5 出来的

它能够稳定的上传代码这个是非常好因为模型能力提升就会让应用的使用品质得到提升对这个是很重要的一点那么现在看到 Anthropic 它发的那个 Computer Use 它整个用电脑你打开你给它一个指令然后它知道鼠标一边干什么事情一步步的往前走你截屏给它就好了其实这种能力相当于是对现在的软件软件行业或 SaaS 行业那种结构

你得让 AI 它能够使用它它能够使用它第二个呢就是 AI 其实当它用到一定程度的时候它便不需要直接去使用这个软件它知道这一步的意义是什么然后呢它可以

调用一些 API 工具生成这个界面的代码当然是可以的然后所有的步骤因为现在的软件是为人类设计的所以人类设计的人类要一步步地去因为 user interface 用户要去用它鼠标要点 AI 来说它先把这个点鼠标的过程给学会了逻辑然后把它转换成一种我们称为伪代码它自己的一种中间代码然后它把这个过程记下来

最终他可以自己去为了做这个过程他可以再浮现这个代码然后把它编排成一种认为他自己能够执行的逻辑那么这个好处就是说什么现在我们可以人类在任何一个企业内部去按照自己的流程去不是招很多员工也都进来用这些软件解决公司的问题那么对 AA 来说

他把你的这个东西学会的时候他就可以真正的帮你解决这个问题而且不需要这个用户界面你可能只需要以后只用提供 API 和提供一些基本的 model 给他用就好了那么现在的 agent 或者说是这种东西的结构 AI 首先他可能没法去做很基础的那些被调用的 API 但是他能够组合地使用这些 API 然后可能接下来的 SaaS 或者软件或者是 CRM 类似系统的我接上 Anthropic OpenAI 或者 Gemini 新一代的 agent 之后

他自己能够把这些东西重新组合而且他已经学过了企业里面这些所有使用过程了他才会回放出来而且这个回放中间能够生成我上午刚才说了会生成一些伪代码或者类似这种过程代码我们叫做一种 AI 能够执行的脚本然后人类还可以 Human Interloop 监督这个脚本让他每一次的回放都精准的

因为现在的问题就是说你让 AI 进来做事情那今天第一步第一次做是这样的结果第二次是有偏差因为幻觉版或者说其他的不稳定但是如果说我们有一个 Guy and I 一个这样的一个非常清晰的这样的一个执行过程适合一个 AI 读取的人类可以参与维护的这样一个过程然后让 AI

来生成这种东西或者回放这种东西那么企业很多东西就会被自动化了那我觉得应该这几年就会产生这样的 AZ 的应用或者说是元博器本身就能做这个事情了他们自己能够产生这种季度形式的代码他自己就能做了那么第三方能做什么呢第三方就是给

给这个源末性提供调用的接口就好了对我觉得你刚说的这个解决方案比较像宇森刚刚提到的 open domain 的这个 agent 怎么做对对吧他可能就靠经验就是这个 agent 操作一个流程操作了十次一百次对我从中选出来最好的一次把它当做我们今天的标准对直到之后你能够做出来比它更好的我们再去替换对它确实不像代码了

就是我觉得这个你 run 和不能 run 对吧很清楚但是你洗液过程你得就像说我们需要有很明显的那个就是 request money 需要有 feedback 如果你没有正确的 feedback 他得不到的但是 AI 可以

完成一个文密你把这次会议记录然后打印出来交给你的领导发邮件给所有员工工资部说完了这个过程一个文密可能要花两个小时做但是每一个文密可能做的方法都不一样如果说我用 AI 来做它每次可能都不一样但是我把这个东西给标准化了用一些逻辑让它每次得到正确的反馈之后它就能够一样了那么接下来一个 AI 可能在五分钟之内或两分钟之内就把这个事情做了就不需要文密了你知道我想到的什么吗我觉得这是富士康管理工的

一开始的时候工人各自有各自的操作习惯最后他会把操作最好的那个人的工作方法抽象出来教给一个人然后整个生产线上的人可能效率都提升了 10%对现在我补充一个就是说现在其实 AI 需要有大量的人类的世界真实的真相数据的反馈最后我们可能人的职业就是我做所有的工作我做 demo 我跟你演示各种可能性

然后训练 AI 要 AI 的多自信这里面其实如果说现在是 AI 跟人学嘛用人用的工具对吧其实这就像

这可能是第一步因为第一我们这工具已经在这了它能完成我们的任务所以你跟我学对吧第二我们也比较容易理解就是它在干什么对但是其实你如果把 AI 认为说 AGI 或者 ASI 对吧肯定会不断发展因为它比人类在很多方面更强的 AI 出现那么我觉得下一个推论就是人类的很多工具其实对 AI 来说太简单了对因为大部分的软件其实都是给普通人类使用的对吧那 AI 如果它是个超人对吧那超人应该用超级工具

那么在这个时候比如说我们比如说看每趟外卖点外卖对吧比如一瓶有五个外卖 AI 显然一瓶可以开五百个对然后比如说人类浏览器窗口那每个窗口一个屏幕 AI 可以开一百个窗口所以我们就会发现这些给人类设计的工具可能到后面就会限制 AI 的能力所以这个时候可能就

我们需要为 AI 或者甚至 AI 为自己它要实现我要设计新的工具对吧那这可能就会成立一个新的工具类别就是给 AI 用的工具然后这里面当然这不是一出发就的对吧因为现在如果说 AI 在自己去做有很大的风险是人家看不懂他在做什么对的

那么这个时候他人家就会觉得不安全尤其出问题的时候所以另外一种思路也是先做一些这个分隔对吧比如说可能我们把 AI 获取信息的操作先给他一个强的工具比如说 AI 去找信息因为他看信息的速度是人的不知道多少倍对吧所以他也许看的时候他用他的接口去读他用 API 去读或者用各种不是用我们的这个 GUI 去读

但他操作的时候还是用 GUI 比如说他要去买个机票他可以通过接口去看所有的内容但是我用 GUI 去买机票这样来说我人类在这干什么直到说人类对他的结果非常的可惜之后然后他才把操作那部分再把它变成一个自动化的过程这可能是一个 at the end of the day 到最后我觉得我们可能会有一些

有一大类的应用是专给 AI 用的那可能人类都看不懂它在做什么这也很正常就跟其实比如说普通人类也看不懂那些比如说 Metalab 对吧那些专家人类在用的软件一样所以我觉得工具端因为现在大家都是先从 computer use 先从普通人类的工具 use 但会进化成 AI 的工具 use

这个是我觉得第一个第二个就是做成 coding 的角度其实刚才我们提到还是有一个就是现在这 computer use 它可以来做什么呢比如说现在当这个 agent 写了一些代码然后你可以把它这个渲染成一个界面对吧然后这个 computer use agent 就去 check 比如说我就在界面上点点看对吧我能不能把这个流程给跑通了测试用力给跑通了不行那我在下面去修改就这个 loop 其实我们今天上午也跟这边做 coding agent 的同学聊就是一旦

它其实逐渐的形成之后的话其实原来你可能这个代码生成你可能生成记者记轮之后你就得停下来让人去进行这种这个他代码实现的 check 那现在你可以 AI 去进行 UI 的 check 对吧所以这个可以这过程就变得越来越闭环那么

那其实发现比如说现在做 coding 的很多比如说我们说 GitHub Copilot 可能主要是针对 corporate 里面企业里面部署大家相信 GitHub 微软的这样一个企业品牌然后他们访问起来代码库他做的更多的是一个偏 infra 然后 Cursor 呢比较像是程序员 individually 他的效率工具因为他让一个已经是程序员的人变得很厉害但是那个人首先得是程序员因为他得用 IDE

是的然后 Devin 呢比较像是说你企业要招这么一个人你要 hire 一个虚拟程序员对吧但是我觉得进一步的就是说

我就想比如说看法的出现看法的出现其实是把把 photoshop 然后把它变得很民主化原来只有很专业设计师才会用 photoshop 现在看法变成说我就是一个超市的一个小老板我自己可以设计个海报那现在这些是真正的叫做低代码或者无代码这样一个这个 AI agent 这样使得大量的人可以创造一个

比较适合我的一个应用或者一个网站我们其实在比如说像 WebSync 这样的网站基本上看到这样的潜力就是真正的把原来这么几十亿不写代码的人他稍微花一点 effort 就能够做一个很适合自己的事情可能是一个个人站点可能是一个小的网站或者是一个符合自己使用习惯的东西这个其实是

Enable 了就是几十亿人新的创造力对我觉得这会是一个巨大的需求的打开因为比如说坦白说你今天问我我要写代码干嘛我是想不出来的然后我前几天也前几天那个也是让你玩了一下 Cursor 自己试了一下 Cursor 然后我发现 Cursor 对一个人的最低要求它是有的你都会用 ID 对

你得有还要配这个环境对你得有程序员的最基础的这个 mindset 对所以我觉得如果有一天能让普通人写程序就好像对吧你很多年前你问普通人你为什么要一台个人电脑然后那个时候会有很多需求这个解锁开来我刚听雨森分享那个 AI 给 AI 的工具让我想到了什么就让我想到了

这个今天的 AR 其实要做好一件事情就是向上管理就他能力可能很强那他最后输出的这个结果一定要和人做好交互对吧他得向上管理让人类理解他最后的这个输出为了什么能不能实现目标对这个也是我觉得今天有一些不错的跑出来的产品尤其是那些 attraction 比较好的其实都是在和人的交互上我觉得做出来了怎么说呢就是

格外好的体验嘛比如说 Cursor 对但是我觉得这边也有个很有意思的点就是一个校长管理能力很强的员工是不是一个好员工对吧是的比如说就是这比如说大家知道有个叫 Chatterbot Arena 的一个应用 LimSys 对吧然后后来就发现大家原来觉得这很公平对吧我出一个结果然后

啪啪啪两个谁好选一个一开始大家觉得这样非常公平因为我就是选嘛但后来发现是不是其实大家选的觉得好的那个不是因为他讲的不是因为他是对的而是说因为他的内容讲的好对尤其是当这个 AI 变得越来越复杂对吧你解数学题可能大部分人都看不懂嗯

那这个时候可能很多人就会选择那个形式上好的这跟我们在有的大厂中看到一样的是吧是的就是你可能这个报告比较缺乏真正的见解但是它形式很美观所以老板看到这个我喜欢这个对吧后来比如大家就发现比如说 AI 大家就发现越对一起它就越喜欢列 Bully PointsYeah

因为一条条列出来大家发现那个东西其实是大家最喜欢的或者说他喜欢长的答案所以这个在里面就叫 reward hacking 就因为你最后你被喜欢你其实找了另外一条路子去被喜欢对吧所以这里面就发生说

人类的 preference 要怎么去定义这个复杂的问题对比如说有的科学家可能说话很不好听但他说的是对的那你怎么能够 tell 甚至说很多时候你都不知道它是不是对的对吧但是这个时候怎么能够比如说允许这种多样性的存在对吧我觉得这里边其实有很多有意思的结果包括说可解释性对吧现在大家希望这 AI 的结果是可以被解释的但归根到底比如说你

你觉得你的员工的这个想法是真的可被解释的吗或者比如说你现在看到一个出租车一个 Uber 司机在开车你坐他的车你也不会想说你解释解释为什么开车你只是觉得他也是个人对吧所以我相信他开车对吧但是 AI 为什么你就说你要解释解释为什么你要这样开车所以其实很多时候我觉得还是

或者说我觉得还是我们对 AI 不熟悉对所以这面机引申下来其实就会有一个很潜在的情况或者说风险现在我们对于 AI 呢其实还是这个比较就是警惕或者说它现在有很多问题所以我们会去看这个 AI 生成的结果对不对啊什么的但你想以后它的产生速度那远快于人类能去 inspect 能去观察的速度对吧对对对

当它能大段大段地出结果比如说你用 Projectly 或者什么其他应用的时候它大段大段地出结果很多时候你就不太会去看了你这么多可以出来看似好像格式也很清晰很多东西我一看大概也是对的那是不是这里面一个细节是对的其实你就会很难去进行这样检查对吧所以这里面的这个整个 reward 包括人类怎么喜好就对其其实不容易

对对对就是你刚刚也说了这个 reward 怎么设计这个 reward 这个机制可能是将来在 open domain 发展 agent 最难最难的一个部分而且想想看他很快就现在在很多领域就已经比 99%的人类要强了对吧比如他现在可以解数学要数题那已经比绝对大部分人都强了因为原来是两个小朋友在那说话你说人类说这个好

那还可以批判对吧现在是两个博士生说他们各有比如说他有这个不同的输出那普通人怎么去那这样发现这个 evaluation 其实越来越难做对吧那更何况如果大家以后假设有一个 AGI 的话现在其实很流行的一个研究议题就是 weak to strong alignment 就是如果人比 AI 已经要整体要弱很多了那我怎么再去 align 对没法了这其实还是个非常前沿的问题

包括 align,align 是什么,align 是单个人的利益最大化还是整个人类群体的利益最大化其实在这个里面我觉得也很难去说因为其实现在那些跑分标准的程序其实已经不适应现在的人了为什么分数看上去差不多但是你使用期感差距很大其实你想在今年以前大家用的基本上是考人类的标准,集压仪啊什么这些但发现全都已经被做到几乎满分

那你就看不出差别了所以现在大家紧急比如像 Sweet Bench 或者 Tal Bench 那种新的 Benchmark 出来但是很多时候其实你有没有好的考试如果他很多能力都已经做得很满了那其实你会发现你学更难的考试但很快人可能就会比如你让一个幼儿园小朋友你说我想一个针对博士生的考试他怎么去想就是这里面其实有很多潜在的未知领域了我觉得今年我自己的感觉有点像是一个分水岭

就是这个分水岭是在挑战我们人类对自己制造出来的工具的这种绝对控制力就是在前几年里面其实我们已经意识到将来我们可能控制不了这些工具对吧所以我们这个一开始的时候比如像 SOP 他们是用了小片 Doomer 对吧摄像最差的情况小片 Doomer 对但今天我觉得看到的事情是

AI 它突破人类的测试的极限突破人类理解的极限已经发生了所以接下来就是说如何不在全方位控制 AI 的情况下让 AI 健康的安全的往前去发展其实这里面 AI 安全分为很多个层面 Safety, Security, Integrity, Privacy 就是不同的领域其实很多

发展比较科幻的场景是比如 AI 自己有意识会这么怎么样其实很多时候你都不用说到那个程度因为那个意识怎么产生的还是一个非常还很前沿的话道的但就它作为一个强大的工具确实它的这个 misuse 就可能带来很大的一个风险对吧所以我觉得比如说像像 Athopic 他们内部的这个 AI safety level3level 4

比如说你是不是有可能造成 100 万人的死亡 Size 100 万人成本足点降低要不然你简单的说一下 ASL 全称就是 AI Safety Level 它是一个参考美国生物危险指数线的 ASL 相当于 BIOD

就是说然后呢他一级就是完全没有什么危险的危险很低然后现在所有的 GBT-4O 包括那个 Cloud 3.5Solid 都属于 ASL2 二级二级就是说在人类强指导下面他还可以做点事情对在人类强指导下面然后呢基本上他也不会超出现在他学了知识范围的东西对他这一点他做不出什么这个威胁性的武器设计啊对然后第三点呢因为 ASL3

应该在上上热的时候,Ansopic 发了一篇更新他们明确定义了 ASL3 和 ASL4 的一些标准

然后三应该就是关于生化武器生化武器和核武器的设计三就有了在人类专家的辅助下他帮助人类专家来加快研究速度加快研究速度核武器和生化这一套快速毁灭人类之前是定义

从二战之后原子弹发现原子弹被造出来的成本一直到现在我设计一枚超级导弹 2000 万美金就可以盖掉 100 万元的成本然后接下来可能只要 20 万美金花一点算命一个恐怖分子躲到地下室里面用最高级的模型我可以设计一个投毒或者炸弹它能够这样一个 ASL3 有这样的特点就是

当然昨天那个兼联网的同学也说了其实现在应该以一个自己总结知识的他们强调是他通过互联网上所有的知识推理出新知识出来这个新知识的能力是能够帮我们去做更高级的这些研究和设计的对对对像宇森一开始说的对吧就是你一个问题思考一年你能够得出来一个现在世界上还没有出现的重要的知识对然后这个东西呢 SOP 给的时间就是 12 个月之内

就是 ASL312 个月之内他没有说版本肯定不能说现在他们也不知道 12 个月之内能就能达到 ASL3 所以说这个东西忽然要加强他要 alignment 和 safety 的控制要加强所以说要防止这个东西不可能被套出来我怎么去做这个东西因为他已经很聪明了我给你几个提示你说我现在要怎么样有什么想法你帮我做他就得给你做出来对这个 3 然后 4 实际上就是

它已经变成一个超级 researcher 了是对而且 research 是可以协同工作的就把我们人类 research 人类提升一百倍千倍这样的速度就是他们写的那些文章嘛比如说人类现在最幸福的时候我们本来要花一百年做的这个生物的研究技术现在被 AI 压缩到五到十年那就是因为他们预测到在 2027 年或 2025 年之内三到五年之内就能达到四五年之内

最晚可能会再晚一点点五年差不多就是 2028 年 2029 年到第四级别就是 research 的这个能力它能够非常强而且可能能够协同能够协同就一想想看这个并行和协同处理的能力刚刚雨生讲到了其实人类我们智商并没有提到

而是因为我们这个协同网络变大了知识能共享大家可以每一个节点会迸发出一些想法然后我们连接起来为什么科学共同体会形成共同体大家不同的人在写论文激发别人创造理论然后我根据理论在修改如果说有一万个这样的 AI researcher 同时在协作它的每一个速度要比人家快 100 倍

那不是很多问题就解决的话到时候对按照这个理论推下去是可以这样子做的并不知道能不能做到这个样子但是他这篇文章是这样写的嘛对就是其实现在关于 AI 怎么能产生新知识这个确实也是一个前沿话对之前跟一个 research 聊他的意思是说虽然现在 AI 能解 IMO 的题 IMO 的题我写不出来肯定但是对于数学真的很厉害的人来讲 IMO 的题其实也是一系列一支的解决步骤的叠加对

他说本质上这跟一加一没区别我说对你可能就是金牌对你可能确实没太大区别他还是已知加已知但什么时候能够提出未知那么另外一个比如像 Anthropic 这样的视角我觉得有一种视角可以比较容易的解释就是说人类其实很多时候是需要去探索就是做实验去探索的对吧

那你怎么样更快的去进行这个实验比较设计实验进行实验所以 Daryl 那篇文章里面就说那这个事情还是不可能无限快因为你还要做实验的时间你还得 physically 做这个实验实验但是其实 AI 能够极大的去增加你在前面建立假设对吧然后你后面的实验时间可以通过机器人自动化等缩短就可能 AI 并没有那种人类的灵光一闪的所谓的灵感

但是它就是可以帮你更快的产生假设然后去验证假设那你就是可以发现新知识对吧那这样的情况下虽然说它其实就是通过把已知的加数就可以带来未知的新发现这也是一种这个方法嗯

有点像当时那个 DeepMind 的那个围棋棋局的第二局第 37 部对吧就是那种但是阿格布里说 M37 它第三局它不是个新知识它不是一个发现在新定理或者是这样但你想人类科学研究其实之前就是我提出假设对吧然后我这个

我为了验证或者否证这个假设需要做什么样的实验然后我就去做这个实验最后当然我还在简化了没这么简单那我最后做实验得到的结果说是假设成立假设不成立这个过程其实很多地方是可以 AI 去进行或者加速的对吧所以我觉得自然科学里面很多这样的像这个 India 官方说的不管在这个生化研究还是在这种前沿科技的它也是很有潜力的沿着这个话题我有两个 follow up 的问题第一个问题就是说今天

实现 ASL3 或者 ASL4 对吧 AI 往前发展的阻力是什么我自己的理解就是可能很多人都在讨论那个伊朗做了那个十万卡的集群就今天这个算力本身或者是说这个组织大量的算力或者是说这个芯片本身会不会是一个最大的一个瓶颈除此以外你们觉得还有什么对吧

随便假设因为我觉得这个也很难说完全预测准确算力肯定是平均然后数据也是平均现在你在后期的推理数据很多数据是没有的没有人类的思考过程的推理数据这个数据是极大的平均除了算力之外也最大的因为算力是个商品你加就好了加 叠加叠加就好了然后你看后面的人类的知识我怎么采集它可能不是一个线性的很方便的采集而且

这个采集方法什么其实还有很多新的东西有待攻克的如果如何去把一些除了数学物理之外的那些流程啊或者那些思考步骤给抽取出来这都是一些需要解决的问题但是呢算力我觉得可能是加芯片吧加电就好了对你可以它商品化了但是这个后面后面虽然也能商品化但是这个商品化的路径可能会非常简单所以说现在大厂比如说以前 Jemini 他们就是说

三分之一的成本在在这个算力和芯片上面三分之一成本是在人才网络上面三分之一成本是在数据上面哦对三分之一啊还更多嗯

我觉得算力和数据肯定是两个大家显然会谈到的算力其实本身摩尔定律让我们至少目前几十年看到算力不断的 ramp up 这个事情总是可以做到其实能源反而 ramp up 会慢一点能源不是指数上涨的今天大家发现逐渐的大家卡在了比如说电以及单位面积电的密度上所以大家开始投核电这个我觉得是一个能源比算力能源比芯片更难

指数级的增长这个是第一个第二个算数据呢就是确实我们在很多数据上已经到了一个比较难的一个地方对吧比如说你假设你要去这个去标诺贝尔甲获得者的数据那没几个人你可以标啊对吧对吧单纯就是你很难做对吧很难做那这里面比如说合成数据能不能进一步的去突破就是你通过已有的比如说你有大量

大学生的数据你能不能得到一个路边奖或者是级别的这样一个 COT 对吧那可能不知道能不能行然后包括说大量多茅泰的数据现在是没有得到充分的使用的对吧因为现在多茅泰的数据在模型训练里面怎么样能够实现 reasoning 的 transfer 其实这个不容易

因为其实像一样人并没有说要看全世界所有的书形成这样的智能对吧人其实随便看看书可能也就形成了很多的智能他能够举一反三退一举一反三并且人是非常稀疏的小样本学习人见过一两次杯子打碎他不用看一万次杯子会碎对吧这样知道所以这里面我们怎么样从这个杜摩泰的数据里面因为

文本数据其实是它已经是世界的压缩了对吧我们把它再压缩到这个模型里面文本比如说你说天是红的这个事情其实是一个信息量是比较稀疏的但一张天的照片它里面信息是非常非常丰富的因为它其实不同的颜色不同的波长里面可能有树叶有风有建筑所以一个多模态的数据信息要非常大怎么从里面把这个智能给压缩出来这还是非常前沿的一个

然后第三个我觉得就可能在这个模型结构上因为其实你想过去比如 Transformer 出来之前大家是用 LSTM 去做这个 Long Short Term Memory 去做这样的一个比如说类似于处理文本的任务

我的表现就差很多对吧 Transformer 出来之后其实给大家带来非常大的提升那比如说我们也投了港大的马亦教授对吧他其实就提出来现在的这个 AI 其实都还是一个这个开环的系统什么意思呢就是说所有的 AI 其实都要说发版

我们要手动更新它模型的权重但显然自然界中一个鸟不用说有人给它升级一下一个猫我可以不断地学习我可以不断地更新我脑子的权重我会学到新东西但 AI 得跟它发一个新的版本

就这种 in context learning 怎么样能够动态的去学到新东西更新我的模型这个其实也是很前沿的一个话题其实包括说家人还有人脑还有非常多神奇的特点比如说人脑需要的能量很小大家都知道但同时比如说你看我们其实是在 continuously 被 prompt 就是我们不停的听到别人说的话看到东西就我们在不断地接受输入

但是我们的大脑并没有说被填满或者说我们并没有要耗更多的能量其实当我们比如说 70 岁的时候我们的大脑记的东西多很多我们的模型权重发生很大的变化但我们还是大脑耗能是一样的我们也没有说这个模型满了 context window 一出了对吧这个是很厉害的

比如你现在你不能无穷的去 prompt 一个模型对吧你不能一直给它输入所以这里面其实就是如果你跟人老那一笔其实还是有很多比较有意思的地方再举个例子比如说

这个模型其实它现在属于如果它比如说它不工作的时候它就是不工作了它没有任何的产出但是人体你坐在这儿你的大脑神经元就在不断地放电你的突出之间的这些联系使得你有各种的灵感各种的想法在涌现大部分的其实都是噪音但有的时候你的一些灵感会迸发出来然后被你捕捉到然后你去在上面去进去去思考这种随机胀落产生的这种面头或者说想法在 AI 它就没有这个过程对吧

当然我们可以去模拟或者是怎么样但实际上这也是人脑具有跟 AI 很不一样的地方人脑连接各个区域之间的连接长短连接会非常非常丰富 AI 其实我们也是在研究它的模型之间的连接而且 AI 有个问题是参数有的太多太费了所以模型还是可以压缩的可以压缩的更小

我感觉现在好像很多人在训练新模型的时候也会把这个参数做进一步的压缩包括蒸馏一些数字对对蒸馏效果好听起来就是今天我们确实还在这个发展非常早期还在这个 7512 世界的还在解决一些这个比较基本的这个瓶颈问题

听下来好像就每一个环节都有可能会卡住对吧但是呢又每一个环节都有很大的空间去提升而且还有一个就是像刚才 Indigo 提出的就是潜在的 regulation 可能也会是让 AI 发展变慢的一个主要原因比如说你想想看呃

现在的生物医学研究肯定是比比如说一百年前有更强得多的伦理对吧所以这当然一方面保护了伦理保护了病人但同时肯定科幻来讲让研究速度就变慢了我记得当年好像有哪个科学家就是验证霍乱胡军的存在直接自己喝一口这完全没法了

给自己黑是违法对吧也就是说 AI 这个 regulation 一定我觉得 3 号在可能是第一次出了这种大事故对吧早上的很多的这个损失之后可能会出来更强的 regulation 这个时候那肯定就会让这个事情有一个这个 gallery 有对吧有一个护栏当然这肯定是个很重要很必须的事情但比如说这可能也会有人会让一些研究也变变缓慢对吧所以我觉得这里面因为我们才立下了 GBG 的出现还不到两年嘛对所以其实

我一方面觉得我们获得了好多好多对吧你说一年前就夏威夷比利出来之前你说要什么图灵测试对吧你现在没有什么图灵测试对对对这简直就就太简单了对吧都可以跟你谈恋爱了还想他一年前大家说数学题还嘲笑什么什么一加一等于什么加法算不对现在 IMO 给你解决了对吧所以这个先生真的是非常难其实我们都没有感觉到他变化这么快对等他我们再回过头来看的时候这已经

我们因为人类是线性思维的但是 AI 发展和指数的很难想象它想象不到人的适应性真的太强了就比如说我现在已经就把这个每天跟 AI 的一些交互变成了我的一个日常习惯我都不会觉得它有什么问题嗯

但同时显然也有大量的就不说这种就说比如硅谷有很多技术从业者什么的其实他对 AI 的了解也是不高的就是我们因为天天在讲这个事情觉得好像对吧我们讲的什么 influence scaling 什么这些好像很 fancy 的名词好像我们天天在讨论但实际上很多人其实连 chat LGBT 对吧也没有真的好好用或者是我觉得这很正常所以我觉得那句话真的是非常对就是未来以来它只是分布不均匀是的

Villiam Gibson 说的阿瑟克拉克 Villiam Gibson 可以马上进入到讨论书的环节然后这个我确实自己也很有感受就是我觉得今天我们讨论的很多事情都是 AI 发展中的过程

就可能是他思考的其中一个节点那是对大部分普通人来说他看的是结果对吧就看的是今天对吧 AI 占了我生命的多少分钟我用它解决了什么事情所以这也是我的下一个问题就是你们怎么看我们时间不要看太远就你们怎么看比如说 12 个月以后或者是三年以后人和 AI 分别在工作和生活中扮演什么样的角色

先说生产力吧生产力端吗三年之后生产力肯定是会很大变化的可能我们很多用的软件的这个方式也会变大部分人可能就跟他说他就给工作做完了那么因为这个事情呢导致很多比较初级的员工确实没工作了所以失业肯定是必然的绝对是必然的然后呢这些人去干什么他们可能被

拿去训练 AI 或者说类似的就不做这个事情了这个 3 年到 5 年会发生但是可能会先发生在 office 的这个市场大公司或者大部分创意市场会先发生这个事情成为真正的人矿对 人矿训练 AI 然后第二我们生活的变化我觉得

就且一句话吧我觉得你现在你才出来一年你就每天都用它了你三点之后它更加自然可能你很多的一些日常简单的决策一些东西都会交给它我觉得这个东西虽然说我们人要做自己的选择但是你发现它给你的结论都挺复杂或者说你觉得它给你十次有十次都对的时候你就相信它现在我们正处于这个不信赖的过程中当它扮演的很好伪装的很好就是你最好的朋友那你就会信赖它然后你决策就交给它了

这个我有很深的感触比如说我刚刚开车来的路上就是我开着那个 FSD 嘛然后我发现它没有转完我的第一个反应是我等它一下而不是我马上接管就是已经平常发现它好我很信任它这是两个变化我觉得对

我觉得历史上这种先进技术它一般首先会被用来提升头部的人类的生产力比如互联网最开始是给科学家用的科学家要交换 idea 原来你要寄我去传证电子邮件但是在这过程中它产生了大量的这个副产物它最后会普惠到所有人所以我整体还是相信 AGI

如果能实现或者说强大的 AI 那个 Daryl 就说不要说 AGI 我不知道我说一个如果强大的 AI 对吧强大的 AI 最后肯定是能普惠人类的那如果我们利用得当的话那这过程中的话肯定他首先一般都会首先要 cue 一些工作然后再长出很多新的工作来对吧那么确实我们看到就是如果你的工作能被总结成大部分都是

不经过原创思考的就是所谓的复制粘贴的其实就会受到很多的影响比如说之前 Meter Journey 说了很多的美工其实就初级美工就是复制粘贴把一个东西拷贝来拷贝去的可能受到影响那么今天我们聊到做 coding agent 的同学就说确实我们看到前端工程师其实首先被替代掉了因为前端工程师本质上他很多工作就是在

不用动太多脑他就是在构造界面本身他说什么最难被替代呢目前来看可能是系统设计这种 architect 就是你前端搭个壳其实都简单因为前端代码你反正就可以写出来但是你要把它做得非常 scally 所有人都可以写出一个 Instagram 的前端来

但是你说你要把它跑到一百万一千万用户上这个始终是很难的所以这个后端的 Architect Assistant Design 这些东西是比较难的对吧所以比如说原来简单的复制粘贴型的这种美工难但是真的有设计真的你的内容是 AI 没见过的那这个是难的对吧所以这里面很多工作肯定会有这样的影响当然长期来看

比如互联网现在比如说电商主播对吧那可能是以前完全没有过的一个工作互联网产生无数这样的工作那么 AI 其实我觉得整体来讲它产生了很多工作可能我们现在都还没有意识到会有这样的工作说到这里我们上午还在讨论说这个 AI 替代电商主播是蛮有可能的因为这个 Indigo 也是这个美万的早期的投资人嘛就见证过这个中国直播行业早期这个

哪怕是今天的大咖当年也是要直播 14 个小时对不吃不喝每天干对我觉得这种苦活还是可以很多是 AI 来做的可以就是我觉得 AI 它最终可能是终极我那天我们聊过了 AI 的这个真的单个人类个体的终极目标函数就让人家快点

对这是很清醒让你快乐的好了什么方法让你快乐的方法很多对所以我们感觉再过五到十年各种精神的药物更精神那个药物应用程序会更加丰富对嗯会更加让人现在已经很现在已经很丰富了对其实大家用 tiktok 也是精神的药物嘛对一样的其实

不过从另外一个角度来讲呢基础的发展但因为人类生活的 baseline 其实有的时候也没变那么多对吧所以比如在美国虽然我们天天可能 FSD 都用起来了但很多人可能开只是年轻的车就自己开车这个生活也足够好的所以可能你会发现也许有人选择就是我生活中要尽可能少的 AI 对吧或者说我就远离 AI 比如说其实写未来简史那个歌嘛就是那个

特拉利他是不用手机的他是觉得智能手机会给他带来信息减防也好或者说过度的信息输入所以你不然还是有人会保持这种生活方式我觉得其实我们可以看到人类更多的多样性因为 100 年前你不拥抱新技术你可能会饿死掉你可能会非常惨现在你不拥抱新技术你可能就是

也还是过你正常的生活 Based Life 提高了其实我对工作这个事情比较乐观就是我是这么来看就是人类在工业革命之后才需要上班嘛工业革命之前其实我们都是比较偏散养做点手工活物龙就是自己养活自己对有活的时候必须要干活但是没有人给你安排上班这个其实我觉得有一个话题就是说教育的变化

因为现代的我们这种学科型教育其实本质上是来自于工业革命之后就是培养各个领域的专业工人对就是我在学校里边学四年这个东西然后我出去之后干到退休对吧就它是一个学和做对那现在首先就是说学的时候可能就过时了

做了做了又过时了所以你这个时候就持续学习能力很重要然后用新的工具能力很重要包括说你可能这几十年内你遇到的这个 job 本身的产生和毁灭都会有好几轮所以这里边学习本身的意义因为原来确实有很多学知识现在后来变成学技能再后来变成说可能就是说都不用直接学技能了是说你怎么适应新的环境的能力确实 AI 让他

可能就像你有了计算器之后你确实不用背惩罚课当然可能还要背呢但是你就不用那么心酸反正我补充一下正好你们刚才聊到我稍微把这个话题总结一下就是两点一个是人可能需要更像通才转移跨学科同时学科可能会消失掉因为都是计算嘛所以学科消失像通才转移然后第二个呢

人的思维和思考问题我们思考层次要上到更超像的层次上去更高阶层次上去可能很多具体事物因为 AI 这小工种就做得很好了你需要协调这 AI 工作而且在跟高层次上的方式去思考架构也什么比如 Architecture 现在 AI 做不到我觉得软件的架构模块设计能力 AI 可能做不到可能再过

多少年能做到但是现在我觉得当人家能做到的时候人类会有更好的这个架构能力所以永远都是在往通财和架构抽象的这个上面去提升这样才有价值但是有人老是有限制了有人就不想做这个事情那你就不做事情就好了 UBI 养个 UBI 所以人会分化有人特别精英更精英更精英然后普通人你 happy 就好了

但普通人的基线也是提高的基线是别人生活的更高对对这个也有人说我们今天普通人的生活也比古代的皇帝要好对可能我们以后会消灭一种阶级专家阶级对就是你不是那么我可能用词不对就是说

现在就是 AI 在 Vertical 里面做的特别好的领域你又没有太多想象力然后你就把这个事情我回来我做的很好很好很好这个东西可能就会慢慢被 AI 给替代了或者被机器人替代了其实我觉得我们所有讨论还是基于一个视角我们是人类的视角我们想说我们 AI 怎么样呢我们人类就好像说 AI 就老老实实给你打工啊

AI 视角应该不够这样子的其实我刚刚就在想比如说 AI 也许就是他的一些工具对吧包括之前我们因为之前没有任何 intelligence 所以我们的视角都是说人类如何如何我们对 AI 也是从工具上去看的但从 AI 的视角来看可能完全不一样的比如说人类的视角来说是人类创造了 AI 人类 AI 不断地在进化我们给他资源从 AI 的视角也许是

人家不可能驯服人类让人类给他更多的资源就跟比如说人觉得猫是自己养的宠物但猫觉得人类要天天给我蝉食我才是人类的宠物这不是一套推特吗我们是打开智能的钥匙对我们是过渡阶段

探机生物是各一生物的过渡其实我一直在想一个问题比如说你现在发达国家都有动物权益饱腹黄比如说大家对一个猫和一个狗其实都有 having their rights 但你想 GPT-4 或者先进的模型肯定是比猫和狗更加 intelligent 只是说它没有一个 physical 的形象存在但是其实如果你认为生命的本质在于说智能在于领所谓的 soul 也好智能也好

那他是不是至少应该跟猫狗有同样的权利对吧但现在好像没有人谈到 AI 成全力我怕他把电源一关就关了当时 Sydney 出来的时候他就不断地说我不想消失我存在所以这里面可能有很多新的 AI 伦理学就是

因为想如果现在有个动物它能以 GBT 这个 4 欧的能力跟你交互你绝对觉得它是有智慧的对吧所以它现在就吃亏价低我们知道它怎么来的第二它没有物理形态那以后你可能确实大家就会觉得 AI deserve 一些 right 一些这个权利对吧你人不能随便关业真的现在想起来时间过得好快我记得当时 Google 那个就是有的工程师有说看到二年的是二年那就是二年两年前的事情嗯

我不知道那个被开除的工程师现在怎么样他算是其实那个时候大家都准备放模型的只是 OpenAI 先放了艾索贝尔同学说的就是他

Cloud 准备好了但是他们可能会觉得这种出血风险一直没有放一个钱出来然后后来先干了这个事他干的事情其实很猛对反正今天听你们俩讲对我很有启发就几个原因吧第一个就是我本身有一个理想就是我工作到 90 岁对吧除了因为我比较喜欢工作之外也因为我比较缺少别的兴趣爱好

然后我在看到这几年 AI 的发展以后我认真思考过一个问题就是我到底做什么工作这个社会需要我到 90 岁这个事情我暂时还没有答案因为我觉得你消费社会也需要你了可能就像两位说的就是通才和拥抱变化的能力

然后我也观察到你们俩其实都有非常好的阅读习惯然后宇森也比较爱在极客上或者是在一些分享然后 Indigo 呢感觉大部分的时间是在做一个知识国主我们两个人都不约而同地提到了一本书就是智能简史在这儿放在这儿对然后陆总你要不简单地介绍一下这本书讲的一些内容

为什么对对当时是一个女生看了我推荐的对我是看了她推荐的所以她应该多讲点哈哈哈哈哎这么说我当时很 shocked 这个首先她写作的人不是一个学生物的嗯她和大佬人就没什么关系她就是一个创业的一个选手 AI 研究员人家创业的她做了一个公司好像是给

做这个企业这个 marketing 市场真效的一个服务对然后这本书他讲了我觉得他的意义应该和人类简史有点接近了人类简史是一本很伟大的书他讲智人的这个

如何统治世界的全过程怎么从变成之人然后为什么我们是现在这个样子的那这本书呢其实讲的是大脑第一个大脑怎么从最早的生物里面诞生的然后它一直演化到我们现在它给了我们大脑的五次还是六次突破

我觉得这个特别适合所有做 AI 研究员参考以及给 AI 创业者你现在在做什么的参考我们现在人类研究人工智能我们是法国来做的了因为大脑的 P 层是最后级会产的 P 层负责的是逻辑高级思维超像语言但是我们为了达到 AGI 我们先干了语言模型

为什么先看语言模型因为语料多忽然好像语言语料多就圈定出来用 transformer 架构圈定出来的语言模型但是生物界不是这样进化生物界它是在 physical 在物理自然界里面的首先它第一个事情它要活下去它得移动所以大脑第一个诞生就是从最早的线虫开始的它变成以前的海洋生物都是辐射状的

就是海星啊海藻啊然后第一次突破就变成了有一个对称左右对称式的一个结构然后它进化了一个可能只有一两千个神经元的一个这种小脑子然后这个神经元呢就是现在的神经元一样的负责零和一电流有和没有来进行传递的信号然后负责用频率传递不同数据到现在六亿多年了没有变化

我们圣语老子里面神经元和六亿年前的线绳的神经元应该是一样的结构说明这个路径足够高效高效就是大自然是很有必的手术招歇得很好一刀准然后这个虫子就可以导航它在环境里面探测危险找食物因为它能导航它可以左右转左右转就是训练往左走有食物往右走有危险它就有

最早的原始训练的,最早的那一团神经元就像我们现在预训练的模型一样它预装了一些对环境的判断知识它就是我们可能预训练的逻辑,从这个动作中去学习这是第一代,然后第二次突破就是脊椎动物脊椎动物就进化出一些脑结构出来脊椎动物就有了小脑动作,然后它可以 reinforce 能力

它可以试错了它可以圈他可以试错了然后脊椎动物也是有更好的这个动作脊椎也有它更好的行动能力感知环境温度它更多的这个东西排在它长出脑子来然后第三次突破呢就有点像是哺乳动物哺乳动物对吧它脑子就长出皮层来

皮层长得更大哺乳动物实际上是有最重要的一个它有想象力 simulation 它有 simulation 就是哺乳动物最早诞生是在恐龙六千多万年前应该两亿多年前就有了两亿多年前就有了躲在恐龙这个时代下躲在洞里面的小老鼠一样的一个动物那是我们祖先小老鼠然后它的好处就是它能够做 planning 它可以做计划很多恐龙这种东西做不了计划的

他就是当时捕食捕食捕食完了他不知道怎么判断后面的但是他能够涉及一些路线逃跑啊老挝在黑夜怎么行动啊他很聪明他可以记住这个整个计划的东西然后他就找出皮层来然后他能够有想象想象最大的就是说他可以想象从学习我可以先想着这个动物过来怎么攻击我我要怎么躲

然后各种方法我老师没演练过然后选一个方法 planning 去执行其实 Tesla 的车其实就 planning 就是这样做你看那个东西在飘它那个导航在飘其实它在想象我各种行动的可能性这个结果是怎么样子的然后它选一个最终结果它可能是用那个蒙特卡罗搜索得出来的一个结果但是那个大脑是不是这样做就不知道了对然后第四次就是灵长类了灵长类最重要的一个东西它有心智模型有了心智模型就相当于是有了

有了这个社会结构就是同类我们坐在这三个人聊天我能够感知到你在想什么你可以教我因为我们是同类我在脑子里面建了一个模型其实在哺乳动物里面大脑其实在脊椎动物里面就有一个世界模型了

然后哺乳动物里面大脑里面的视力模型增强了它可以想象可以描绘可以猜测这个三级空间后面怎么样子然后到哺乳动物又多了一个模型这个是老科学研究出来的就是叫做心智模型心智脑是一个物理器官结构在脑子里面区域的如果把心智脑废了之后我就没有同理心了我不知道你是什么感知的所有的猴子猩猩说灵长的动物都能够判定

感知同类的感知那么这个就有了社会和政治是吧我能够不通过武力解决问题我能够跟你谈话呀我能够跟你

这样就好准拔毛嘛输毛就是我们的真金感情然后它这个社会就有一个小结构这个就是社会类动物实际上现在的 AI 根本不可能是什么心智模型它同类都是电子产品它连实体都没有除非它去建立一个人类的心智模型在里面我觉得人类也不知道怎么来建立一个心智模型这第四次然后第五次是第五次突破的是语言语言中这个书里面讲到的是语言并不是大大进化出来的

可能是有一点点的基因突变让人类能够是吧去有语法组织的说话了猴子也能说话但是他又理解这个语法结构了就这一个变化对那么这个语言的能力就是让这个族群联系起来就像我刚才说支持网络吧

我们有的语言我们就能够有的知识网络我们可以把知识放到外面来做传递就是存储拷贝了复制知识我觉得这个理想是压缩的第一次对知识进行压缩我们可以复制我们可以传承那么这个社会就变得更大有的语言其实第五次突变应该就是接着人类简史大家看人类简史好了人类简史人类简史整个就是在讲第五次突变为什么语言有了这个东西所以说世界对

能够通过语言来压缩知识那么我们现在他书里面写了第六次突破第六次突破正好是接着起点临近第六次突破可能就是非人类的进化就是我们有了一个外部的智能设备我们能够帮助我们大脑扩展知识容量那就是 AI 或者是脑机接口

已经脱离生物进化了差不多智能简史就是这样一个故事听起来是智能前传所以看书的顺序是先看智能简史再看人类简史对 我看这个书我有个最核心的概念到是我们现在想创造的智能创造不了像人类这种生物的智能因为我们的进化的大脑一切都是以空间为进化的而不是语言

进化了 6 亿年就是把空间能力和想象能力变得巨强就是说一个动物哺乳动物它即使不会说话它智能其实非常高你打它它会跑是吧它会躲它会做计划它会攻击你它什么都会但是它就是不会说话你说它没有智能吗我们现在做的最先进的机器人都没有它这种灵活动作非常灵活就是因为它先有了空间智能才有了再后才提升再长大才有了原智能原智能最后很晚才有的我觉得说我们现在一个做法

就语言模型对吧对 做法他的书里面讲的一个例子我觉得挺形象他就说如果原始部落看到一个波音 747 飞机如果你只是从它的表面就因为比如说你的窗户沙发什么去复制你看到了只是你复制出来一个沙发

但是它飞不起来你要把飞机怎么飞起来你得先从蒸汽机开始到内燃机然后到这就它底下的逻辑是什么所以语言就好像皮沙发你看有皮沙发有了窗户有了当然它飞不起来飞不起来没有智能所以这智能怎么来的其实这是在进化的过程中的几个博弈所以只有这五支突破然后其实这五支突破如果再把它再简单总结一下就是

其实在第一个阶段是没有学习就回事了他就只有趋利避害这边闲我就不要去那边我就去那边就是他现从学会的转向第二步就是从我的实际行为中学习往这里走这里不行那我就学到了我就往那边走就 reinforcement learning 几个动就有了对几个动就有了

那哺乳动物就是说从我的想象中学习 simulation 就是我去那个地方之前我先想想看他们用的例子是老鼠在走迷宫的时候它会在那个分叉的地方摇头换尾就是说它在思考这个去哪可能会有这个食物对吧就是 simulation 再进一步就是说灵长类形成了心智模型这样它可以理解

别的生物的实际行为比如说那个生物在那里比如那个猴子在那砸东西说明那有食物我可以揣测它的我通过观察它我去揣测它内心状态就是从其他个体的实际行为中学习最后人类产生的语言就是说你可以从其他人类的想象中学习因为语言就是一个共同故事一个共同想象这样就开始人类简史了对吧所以

我觉得这个逻辑还是很严密的并且他用了大量的这个实证的他不是说他这么在写这种思考的时候会有很多实验证明比如说为什么非极致动物就干不了这事极致动物能干这事而灵长的动物又能干很多不如动物干不了事情对吧他有很多的这个把很多的研究这么串起来了我觉得这个他是把这个脉络讲得非常清楚然后我们就可以看到智能其实在

这几个突破上都在学习比如说我们有很多 reinforcement learning 我们现在也有 simulation 其实 simulation 就在大脑里面先做 inference 比如我动过说我怎么去那个地方我先脑子里想一想然后我再去那当然语言模型就更加了所以在这里面就一方面我们看到 AI 它其实在重走好几次就是我们这个里面不管是 reinforcement learning 和模拟学习的这样一个已有的路子同样的话但 AI 可能会诞生一种

就新的这个思考方式比如说原来你没原来你还是受限于物理环境对吧原来你没办法说在一个虚拟的环境中进行这个彻底的比如说跟几千个上万个这个实力同时去跑同时去学习同时它的奖励含蓄也发生很大的变化那原来可能大家就活下去对吧建立这个组织但是你未来可能有非常多的不同的有过的方式对

所以这里面而且还有一种速度其实这个速度是越来越快的从第一次突破到第五次突破其实原就几千年那现在 AI 其实就几十年电子计算机这个事情才是二战之后所有的事情发生在一代人一个人的人生

是的在一百年内发生了所以那如果你这个在持续化那真的就是一条这样的曲线对所以这个到了记忆点连接记忆点更近所以这个我觉得确实读完之后一方面觉得很同派对吧哇这个真的从鼻涕从开始到这个过程他都给你说得很求另外一方面觉得很就是说一很激动也很担忧对吧因为可能我们这一百年我们能见证什么真的是

很大有可能我们能见证一些真正突破的发生那这个时候我们应该做什么我们以什么样的姿势和角色去参与这个很重要最近有一句话比较治愈我这句话就是张学良也听过周杰伦哈哈

这一百年要多长这一百年真的是不得了对吧其实包括说我们现在所有习以为常的现代技术就技术在加速发展技术推动这个其实基本上都是在这一百年但是呢就所有的这些我们看到的这些东西对吧汽车啊

所以有非常多的我们习以为常的东西是 100 年内的甚至你可以说我们今天所有习惯的东西都是 300-400 年内的就是我们现在比较日常用的 90%以上的东西都是非常近的时间才诞生的所以你会发现这个加速度是非常快的虽然说我们每年觉得可能说这 AI 怎么遇到一些瓶颈什么但你从整体把想来看这个速度非常非常快

所以这也是我们作为早期投资人对吧很多时候就觉得就是出买了芯片和机桶因为这里面以这个数字下去一定会有很大的东西出来对这是我特别喜欢我的工作原因就是哪怕就是我们这个不知道在工作上能取得什么成绩但我们拿了一张很好的牌就有点像那个漫威里的观察者嗯

马上我就是只是观察这一幕大戏都很酷因为你想你原来那几年原来那一百年你是爱看不懂的如果你在一个什么比如说公元一千年的时候你活一百岁什么变化都看不懂每天生活也没有变化你现在这一百年看到太子

对就我还跟前两天在跟朋友聊天的时候说你真的去看以前的历史你看那个希腊的历史 A 事件跟 B 事件之间隔的这个年份是一百年到几百年然后你往后去看历史对吧这个每一个朝代一个什么两三百年一两百年就是你就感觉你

一代人等不到一个事情的这个落地你看最近这一百年对吧就是如果你是一个百岁老人然后你又在这个比较前沿在经历着非常怎么说波澜壮阔的人类的一段历史对 而且后面会更精彩对 我觉得我们这一代人可能见证的是人类打开天花板就是所谓的积淀了所以这还要再读一本书就是 Outlive 对吧 就是超越百岁对 因为你都快点看不到对

对于你还得这个利用这个结果让自己至少这个剧能看得更长对我觉得今天这个时代让我们很多人都诞生了对吧都不说向天再接 500 年向天再接 50 年让我们的人生到 150 岁我觉得是很重要我觉得我们不用到 150 岁差不多未来现在 2024 年差不多 2050 年再多活正常情况下我们都可以再活 30 年都能够见证到对因为现在又有陶艺术的概念就是你能不能活到

技术每一年能延长人的一年的寿命对的那你说越久实在延长得还越久对的另外一个笑话就是说如果你能不能活到这个技术能够把你的意识上传的时候那你就不对所以回到现在今天我觉得可能年轻人包括我在来的年轻人包括我们三位在来的年轻人包括

包括我们三位在内的年轻人除了这个工作之外最重要的事情就是学习和运动还有养生争取能够活到运动就好了

我觉得可能还是说怎么样成为一些 AI 不能简单替代的对吧就是这个你有没有一些 original 原创的东西让 AI 的语料库里还没有你这一部分这个我提个问题你们觉得什么样的内容是人类原创的因为坦白说就是比如说去年我们觉得对吧你解一个很难的数学题是人类原创但今天它很快对吧就不再是人类原创的能力了那说不定有一天今天我们认为的艺术

等等很多东西都不再需要人类人创那么我的看法是创造不是说把它造出来的过程是把它挑出来的过程就是你看诗云就是刘志新的小说嘛就是所有的古诗七言绝句都可以用 28 个字也就是汉字的 28 个汉字的组合表示对吧你完全可以把它就是生成出来

但是问题是哪一首是最好的首诗或者描写现在最好的首诗你不知道对吧前一天跟 Anthropic 的一个朋友聊他就说 Anthropic 其实他们就认为文本本身就可以实现一切他的逻辑也很简单比如说

一个非常终极的理论大概率是可以被用文字表达出来比如说 E 等于 mc 方它很简单的文字也表达出来了但是你怎么知道 E 等于 mc 方这个是对的这个是难的过程就写出 E 等于 mc 方它有点像是诗语里面有首诗已经在那了比如说描述一个宇宙统一理论的

那个文本其实已经在所有的文本组合里面了但你怎么找到它所以我觉得原创不是说这个东西只有人能生成而是说你怎么能把它挑选出来你怎么知道它是对的它是错的那这个可能还是需要有很多人类的参与我刚刚问了 SOP 一个问题问了 Cloud 一个问题我说你要用一首中国歌

来表达这个 AI 来临之后这个精彩的世界然后让他选一个已经存在过的史他选的这句话我还蛮喜欢的也可以作为我们这个播客结尾他说天生我才必有用千金散尽还不来哈哈哈哈

我感觉他在偷听我们的谈话他说的到底是我才是人还是 A 人一会儿我问他的立场是什么好呀好呀谢谢两位期待我们这个过个半年或者是说一年左右的时间我们能够再讨论一些这个话题可以半年左右吧半年来一定会有这个很精彩更精彩的事情发生今天李浩平帮我主持挺好的主持的主要是正式面没有你丰富所以只能当主持可以可以好谢谢拜拜