这是一曲写给自己的挽歌：AGI 时代生存指南
47:45 Share

汪洁杂谈杂而不淡前段时间国产大语言模型 DeepSeek 那更通俗的说法就是国产 AI DeepSeek 引起了海内外的巨大反响很多人都希望我也写文章做节目来谈谈对 DeepSeek 的看法

其实我当然也是想称这个热点的而且呢我其实在 DeepSeek 大火之前的一个月我就已经跟很多周围的人推荐过 DeepSeek 了我可以说是最早用上 DeepSeek 的那一群人我当时给他们的推荐语是说你们可以不用给 ChatGPT 缴费了因为免费的国产 AI 已经不输给 ChatGPT 了当时还有很多人都不信啊

现在大家几乎已经公认就是 DeepSeek 的中文写作能力已经超越 ChatGPT 成为市面上中文写作能力最强的大模型当然因为 DeepSeek 是完全开源的所以当你听到这期节目的时候其他大模型可能已经追平了它的水平 AI 发展的速度真的是超出寻常的快但令我自己也没有想到的是原本是为了称个热点写一期杂谈来说说 DeepSeek

谁知道在写作的过程中各种各样的想法就像雪花一样杂乱无章地涌进我的大脑让我从 DeepSick 的小池子中跳进了一片宽广的海洋我决定要跳出关于 DeepSick 本身的各种技术问题把话题从 DeepSick 引向更宏大的一些主题我决定把今天这期节目的标题就从《谈谈 DeepSick》改为《这是一曲写给自己的晚歌》

所谓晚歌就是写给死者的诗歌古人在送账的时候就会唱起晚歌那我为什么要给自己写晚歌当然不是真的为自己写送账的歌而是要给我自己作为文字工作者的身份写一曲晚歌因为我已经明确的看到以我现在的这种文字写作实力很快就会被 AI 所碾压

我这个段位的文字工作者在不远的将来已经无法靠单纯的写作来养活自己了这可不是自谦啊而是我清醒的认识到 AI 在内容创作上的实力很快就可以碾压几乎所有人类我今天这期节目要谈的其实不是 AI 而是 AGI

我清楚地记得七年前的 2018 年,我在泰格马克《生命 3.0》这本书中第一次了解到了通用人工智能,英文简称 AGI 这个概念的时候,我是把它当作一个远未来的科幻概念来对待的。

什么是远未来的科幻概念就好像 2000 年的时候我第一次看黑客帝国这部电影时虽然感觉无比震撼但我从未觉得电影中的世界会成真因此我必须诚实的说我当时没有认真的读生命 3.0 这本书只是随手的翻了翻并且听了一些像万维高老师这样的科普人对该书的解读我就当做是自己读过了

今天我必须承认这是我作为职业科普人的角色最不应该错失的一本重要的著作这就好像我捡到了一块宝石但因为眼拙随便摸了摸看了看之后就束之高阁了而这段时间呢我把生命 3.0 这本书又从头到尾一个字一个字的认真读了一遍算是弥补我所犯的错误吧

尽管有点像一不小心被人剧透了结局之后再去看一部美剧但我依然被泰克马克超前的思考所震撼

不过我今天并不是来给大家来讲这本书的它只是我今天节目的一个切入点这会是一期很长的节目为了照顾到所有年龄段的听众我需要先从一些基本的概念给你讲起然后再逐步表达我在迎接人类社会从根本上发生巨变前的那种复杂的情绪

在我看到生命 3.0 这本书之前我经常会给人科普什么是图灵测试因为一讲到人工智能科普图灵测试就会显得自己逼格挺高的所谓图灵测试就是英国数学家密码学家图灵提出的一个概念他说如果出现一台机器当我们和这台机器对话的时候我们无法分辨出它到底是机器还是人的时候那么这台机器就通过了图灵测试具备了智能

也就是在五六年以前人们还在热衷于讨论 AI 何时能通过图灵测试以及通过图灵测试的 AI 算不算是有了智能等问题

我也为此做过很多节目讨论但是在今天看来当时那些所谓的高见是如此的天真幼稚诚实的说包括我在内的大多数人都没能预见到那时候觉得极具科幻感的图灵测试会在几乎一夜之间成为历史名词

今天如果饭桌上还有人热衷于跟我讨论 AI 能不能通过图灵测试那么我看他的眼神就会像是看一个冬眠了 40 年的人刚刚苏醒过来问我将来会不会有不用真人纯用电脑制作的电影我就会直指哪吒的海报说中国最卖座的电影是一部纯电脑动画片而且票房比第二第三名的总和还要多

实际上在泰格马克这些对科技的发展了如指掌的人看来至少在八年前的 2017 年图灵测试就已经成了历史名词换句话说在泰格马克等人看来图灵测试对于未来的 AI 来说那就像是儿戏太简单了尽管当时大语言模型都还没有诞生而那时的我呢可能才刚刚知道图灵测试这个词不久啊

可是泰克马克们已经开始非常严肃认真的讨论 AGI 实现以后的人类社会将会变成什么样子讲到这里我需要对什么是 AGI 做一个解释我们都知道 AI 的翻译是人工智能那 AGI 的常见中文翻译有两个一个是通用人工智能一个是强人工智能我感觉这两个翻译其实都没有把 AGI 的真实含义表达出来

如果让我来翻译我会用人工超脑这个词来表达 AGI 或者更简单一点就叫超智慧

人工表明这是人类设计制造出来的一种机器,超脑或者超智慧表达的是它的智慧已经超过了人类的大脑。是的,AGI 的含义就是这台机器在所有需要用到智力来解决的问题上都能超过人类,甚至不是超过一点点而是远超人类。

2015 年 1 月份在波多黎各的一个海滨度假村近百位对人工智能的顶级思考者聚在了一起召开了一次名为人工智能的未来冒好机遇与挑战的会议参会人员中除了 AI 技术专家也有像马斯克这样的企业家也有像弗洛文奇这样的顶级的科幻作家当然也包括像泰格马克这样顶级的科学哲学家

在这次会议上有一个调查是请所有的参会者预测一下在多少年后不低于人类水平的 AGI 实现的可能性至少能达到 50%当时人们给出的答案的平均数字是 2055 年有些悲观的专家认为至少还要几百年但即便当时最乐观的专家也认为至少需要几十年的时间

然而,AI 的发展速度快地超出了所有人的预测,一些 AI 业界的专家认为,不低于人类水平的 AGI 已经在去年,也就是 2024 年就实现了,他们指的就是 OpenAI 公司的 GPT-O3 模型,或者尚未公开的 GPT-5.0 模型。

这个公开的 GPT-O3 模型已经在所有学科的测试中达到了人类博士的水平当然也有一些专家认为这还不能算是 AGI 因为还有一些涉及到人类情感价值道德判断自我意识方面的治理与人类还有差距

但不管怎么说现在已经没有哪个专家还会说 AGI 要几百年后才能实现也没有哪个专家还会质疑 AGI 的智力水平将远远超过人类换句话说有一个共识已经逐渐形成人类即将进入到一个全新的时代一个由 AGI 来带领人类进行一切智力活动的时代那么你觉得这个时代会是怎样的一个时代

我的观点是,人类社会在 AGI 时代发生的巨变不会小于有电和没电的时代。几十年后,让一个出生在 AGI 时代的人想象我们这个时代的生活,那就如同我们现在去想象那个没有电的时代的生活一样。

那么 AGI 到来以后我们到底会生活在一个怎样的时代呢这是一个非常有意思的思考题也正是因为思考这个命题让我的写作速度陡然变慢

如果我们把 AGI 到来之前的时代称之为旧时代 AGI 之后的时代称为新时代那么导致新旧时代差异的最大变量是什么呢这是我首要思考的一个问题面对一个特别宏大和复杂的命题的时候如果我们能抓住最关键的那个变量就有可能把问题给简化或者说找到一个科学推演的起点

我认为旧时代是由匮乏这两个字主导的你仔细想想现在我们世界上的几乎一切游戏规则底层原因都是因为资源的匮乏简单来说就是我们生产出来的商品无法满足所有人的需求人们是通过竞争的方式来分配资源的小到人与人之间的竞争关系大到国与国之间的竞争关系背后都有匮乏这个关键因素

比如说我们为什么要建立现代公司制度因为这套制度可以更加有效地解决公平竞争资源分配能让更能干的人脱颖而出成为企业家从而提高生产力

那为什么我们要提高生产力呢因为匮乏嘛生产力提高了成本就降低了成本降低了就有更多的人能用得起就能提升全体人民的付诸程度也就是说现代公司制度是为了尽可能解决匮乏而设计出来的制度

与经济相关的各种制度设计与匮乏相关这个很好理解其实仔细想想岂止是经济制度国家制度的背后依然也是匮乏幽灵在主导比如说我们国家的司法制度是公检法三个单位相互制约为什么我们要把侦查起诉审判这三个环节交给三个不同的单位来执行

如果仅仅从效率的角度来说让一个单位来执行不是更好吗那是因为我们会担心滥用职权和腐败所以就设计了一种互相监督的制约机制

那好,我们继续追问,那为什么会有腐败的产生呢?因为匮乏,腐败的根本动机也是为了争夺资源,让自己更富足。同样的道理,美国的三权分立,它底层的原因依然是为了防止腐败和滥用职权。制度设计的根本目标同样是为了让全体国民过上更富足的生活。

那么国家与国家之间的经济领土的争端背后依然是匮乏幽灵在作祟

每个国家的政府都有让自己的国民过上更富足生活的天然义务但资源在总体上又是匮乏的为了达成这个目标就必须去争夺有争夺资源的动机那么就必然会伴随着对资源被夺取的恐惧于是国家就会发展出暴力机关战争机器等等背后的原因依然还是匮乏匮乏甚至会主导我们对宇宙和外星文明的看法

看过科幻小说三体的人都知道,刘慈欣老师发明了一个黑暗森林理论,这个理论的结论是,我们千万不要主动呼叫或者回应外星文明,这是因为刘慈欣老师提出了两条公理,一,生存是文明的第一需求,二,宇宙中的资源总量有限。

然后再加上技术爆炸和猜疑链这两个概念,就使得每个文明都像是前行在森林中的带枪猎人,一方面要隐藏自己不被更高等级的文明发现,一方面他们又要消灭比自己弱小的文明。

很多人都觉得这个非常有道理而且现实中也是这样早在本世纪初人类就搞出了一个地外文明搜寻的公约其中有一条就是在收到外星智慧文明信号后禁止擅自回应经常会有小朋友问我王老师你对黑暗森林理论怎么看你觉得人类是否应该主动呼叫外星人呢我在回答这个问题之前我一般会先讲一个段子

如果我们现在回到 100 年前去问一个农民让他想象一下一个最美好的时代会是怎样的我想他的回答很可能是有吃不完的馒头和肉那他之所以会有这个回答是因为他生活在一个馒头和肉都极度匮乏的时代所以他对馒头匮乏的焦虑主导了他对未来的想象

喜欢科幻的人可能都知道卡尔达舍夫等级说文明分成三个等级第一级文明是能够利用整个行星的能量第二个等级是可以利用整个母恒星的能量第三个等级是可以利用整个星系的能量

然后科幻爱好者还会津津乐道的说起要实现第二等级文明外星人需要建造一种叫戴森球的能量收集装置就是用能量采集器把整个恒星给包裹住可是在我看来不管是卡尔达舍夫等级还是戴森球的想象

都好比是那个对未来的美好幻想停留在吃不完的馒头和肉上的农民一样反映的其实是人类目前阶段对能量匮乏的焦虑今天我们之所以会觉得黑暗森林有道理是因为我们生活在一个匮乏时代我们的意识形态是被匮乏这个幽灵主导的那么匮乏是不是永恒和必然的呢这个问题我们先稍稍放一放我一会就会谈到

我还想说另外一个重要的思考我们每个人之所以能幸福的活着其实也是因为匮乏你可能会奇怪匮乏不是一种痛苦的状态吗怎么就成了我们幸福的原因呢其实我想说的是每一次减少对匮乏的恐惧就是我们每一次快乐的来源科学家们现在已经非常清楚的发现当我们的大脑分泌一种叫多巴胺的化学物质时我们就会感到快乐

那么大脑什么时候会分泌多巴胺呢?最常见的情况就是美食,它会让我们感到快乐。我们每次获得成就的时候,大脑也会分泌多巴胺奖励我们,让我们感到快乐。成就越高,多巴胺分泌的就越多,如果多巴胺分泌不足,人就会得抑郁症,最严重的抑郁症会让人自杀。

对于大多数老百姓来说努力活着的目标是为了挣钱哪怕是努力的拿比赛冠军考上名校写出好的作品等等看上去这些不是为了挣钱的活动其实最终目的也是为了能够挣更多的钱挣钱的目的就是为了减少自己对未来匮乏的恐惧或者说帮助自己的家人减少对匮乏的恐惧

注意我前面说的是对于大多数老百姓来说当然也是有例外的但少数例外的情况不影响我想要表达的观点

换句话说,假如没有匮乏这个背后的力量,人的很多活动就不会有成就感,没有成就感就不会分泌多巴胺,不分泌多巴胺也就没有了活动之后的幸福快乐。从这个意义上来说,匮乏对于人类社会不是坏东西,它一直都是激励人类不断发明创造的原动力。

但是随着 AGI 的到来匮乏时代即将过去我们即将迎来一个全新的富足时代

希望听我讲到这里的时候你还没有忘记什么是 AGI 也就是通用人工智能用我自己发明的翻译就是人工超脑 AGI 是远超人类的智能体在 AGI 时代一切智力活动的主角是 AGI 我们人类中的少部分人是给 AGI 制定目标的决策者而多数人也就是给 AGI 打打下手了

请大家一定要记住 AGI 有下面三个特点第一它的智力水平远远超过人类只要是需要用智力解决的问题它都比人类干得出色的多第二它没有人性的弱点比如恐惧贪婪倦怠等等第三它没有人类的生理缺陷比如需要吃喝拉撒睡需要一个很苛刻的生存环境等等

我们可以把上面这三条当做是公理然后我们就可以沿着这些公理出发往下进行科学推演

毫无疑问,AGI 将带领着人类进行第三次科学革命,科技将再一次被加速,许许多多过去人们认为还需要几十甚至上百年才能突破的技术瓶颈,都会以不可思议的方式在很短的时间内被同时突破,人类将迈进高技术时代。

我们先思考一个问题,在 AGI 时代,农业和工业生产是否还需要人类呢?我认为几乎不需要了,AGI 将带领着各种智能机械一定会比人类干得出色得多。

人类衣食住行一所需要的商品会被各种各样的自动化机器源源不断地生产出来满足所有人的需求经常有人问我 AI 会不会抢了很多人的工作我说这还用问吧人类绝大多数工作当然都会被 AI 以及 AI 所控制的机械所取代

但是你不用担心没有工作你就会没有饭吃没有房子住你放心 AGI 时代是一个富足时代没有工作的人依然可以过上衣食无忧的生活说白了就是低保金足够你生活了听到这里有人可能会反驳我地球上的资源是有限的不可再生资源总是稀缺的无法满足所有人的需求

其实在低技术时代或许是可以把资源分为什么可再生不可再生但是到了高技术时代这个世界上就没有什么资源是不可再生的了我们都知道物质不灭定律不同物质的本质只是原子的排列组合不同而已地球上的所有原子并不会消失它们只是在不同物质中流转而已

我们吃掉一块肉只不过是把一堆的碳氢氧等原子从一种排列组合变成另一种排列组合没有一个原子会真正的消失只需要有外部能量的输入我们就又能把这些原子重新组合成一块肉我们真正消耗掉的是能量而不是物质本身

对于我们地球人来说,能量是取之不尽用之不竭的。我们今天所能用到的能量还不到太阳发出能量的万亿分之一。更不要说当可控核聚变技术成熟后,海水就是我们取之不尽用之不竭的能量库。科技能把所有的资源循环利用起来,这不是什么天方夜谭,这是正在发生的事实。

还有人可能会反驳说,好,就算我同意你说的,物质可以循环利用,但人类在地球上的生存空间本身总是有限的吧,地球根本不可能养活无限多的人。这理论上当然没有错,但实际上我觉得不用为此忧虑。首先,人类目前主要生活的区域还只占整个地球陆地面积的 4%左右。

可能不同的统计方法会有些差异但不会相差太大也就是说地球可以养活的人口还远远没有到上限另外现有的数据表明越是富足的时代人类生育的意愿反而越低人口并不会出现失控式的增长再退一万步说哪怕真的地球不够人类居住了人类难道不能去月球去火星殖民吗

在 AGI 的带领下登上月球登上火星并不是什么难以想象的科幻所以啊 AGI 时代必然是一个全民富足的时代

接下来我们再来思考一个问题,用 AGI 来做法官是不是可以比人类法官做得更好呢?我想答案是不容置疑的吧,审判活动是最适合让 AGI 来担任的,因为法律条文是死的,历史的判例也是死的,AGI 的治理远超人类,AGI 没有人性的弱点,它显然比人类更适合做法官。

那如果法官已经由 AGI 来担任了公诉人也就失去了存在的意义因为公诉人并不负责侦查他只是用现有的证据来起诉而已法官不需要公诉人

如果人类的警察也是在 AI 的带领下进行侦查可以杜绝以权谋私那我们就必须相信侦查活动是客观公正的既然是这样律师也就没有了存在的意义当然这里考虑的是刑事案件如果是民事案件律师依然有存在的价值因为主动收集证据的工作还只能靠人来完成

刚才我举的是公检法的例子,实际上,现代国家的大多数制度设计都是为了对抗人性的弱点,用相互监督的机制来形成制衡,尽力做到公平公正。但在 AGI 时代,因为 AGI 的三个特点,它会使得现代国家的大多数复杂的制度设计变得没有必要,公务员的岗位也几乎都会被 AGI 所取代。

我今天所看到的激烈的意识形态的分析和对抗会随着 AGI 时代的到来逐步的瓦解就好像生物学中的趋同进化一样不同的意识形态政治制度最终都会走向一致讲到这里我有必要强调一下听到这里有人可能会产生一种我在鼓吹 AGI 的错觉他们可能会觉得我对未来充满了乐观情绪觉得人类的前途和未来都很美好

在继续往下讲之前我想说我只是一个观察者和对未来的预言者我并没有带着预设的立场来预测未来我并不是先有了结论再去为自己的结论找证据我只是按照科学思维中的公理演绎法的原则先找到思考的起点也就是所谓的三条公理然后再顺着公理往下推演推出来是怎样那就是怎样不管这个未来在你听来是光明的还是黑暗的

我只是不带任何立场和价值判断的往下推演至少到目前为止假如我前面所述的三条公理是成立的那我只能推出这样的未来我都找不到第二种可能性至于这样的未来是好是坏这可能是一个智者见智人者见人的事情了那我在最后也会谈谈我个人对未来好坏的观点但现在我只想严格按照科学思维所要求的不带立场的继续推演下去

我前面就说了一个很重要的概念人类是靠分泌多巴胺才能活下去的而满足匮乏则是我们大脑分泌多巴胺的重要因素

那么进入富足时代后没有了匮乏这个因素我们大脑的多巴胺会不会分泌不足呢要知道光是靠美食性和娱乐肯定是不能长久的维持多巴胺分泌的这一点早有实验证实多巴胺分泌不足人就会得抑郁症就会想要自杀的

不过我觉得不用担心因为在富足时代人类还有一项活动可以做那就是我们的征途是星辰大海我们可以在 AGI 的帮助下去探索太阳系去探索宇宙不断地探索未知之境就像在游戏中开新地图一样它会给我们带来极大的成就感探索宇宙或许就是未来人类的主要目标之一了

如果 AGI 时代真的能在 20 年内到来也就意味着现在的小学生等到工作后就已经进入或者正在进入 AGI 时代了那么我们现在的教育又该何去何从呢现在社会上最流行的一句话之一就是啊

AI 时代最先被淘汰的是不会用 AI 的人这句话我认为现在是正确的因为 AI 就跟计算机一样它是一种工具在计算机被发明出来之后当时社会上也流行着类似的句式计算机不会取代人类但一定会淘汰不会用计算机的人

但是到了 AGI 时代这句话那就不一定正确了因为本质上 AGI 不再是工具 AGI 是比人类更聪明的智能体它不会成为人类的工具人类会成为它的工具

现在我经常遇到一些非常焦虑的家长不停地问我学习 AI 是不是要从娃娃抓起现在不学将来是不是就会被社会淘汰于是社会上也有很多很多的教育机构抓住了这波 AI 焦虑红利高喊着 AI 不会淘汰人类 AI 只会淘汰不会用 AI 的人贩卖着焦虑让家长给自己的孩子报各种动辄上万的所谓的人工智能的课程

让家长以为孩子们学习的这些机器人编程课就是 AI 课程将来就不会被淘汰了那我必须残忍地指出所有的机器人编程课跟学习 AI 没有半毛钱关系不过我儿子其实也在学习这种课程但我不是因为要让他学习 AI 才给他交的学费而是当一个高级玩具给孩子玩的

玩是孩子的天性,与其让他在家里刷手机,短视频,看电视,打游戏,那不如给他个能编程的机器人玩,只要孩子喜欢玩我觉得就行。当然,除了机器人编程课,打着 AI 学习的旗号,现在也有很多课程是教人什么是大语言模型,以及该如何使用各种大模型,如何写出更好的提示词的课程。

但是我觉得与飞速发展的 AI 技术相比这些课程的寿命那实在是太短暂了就拿去年初还很火的提示池工程来说吧今天看来这些提示池工程的知识不仅不能让你更好的使用 AI 反而会成为错误的示范因为在思维链技术的加持下现在的 AI 反而希望你给出的提示池不要含有解决路径只需要明确你的目标

你只需要明确你的目标让 AI 自己去思考解决路径人类给出的路径它未必是最佳路径所以工作的人或许还有学习一些 AI 课程的必要但孩子我觉得真的是没必要因为现在学 AI 就跟我们小时候学习算盘和机械打字机一样学了也是白学长大了根本不可能用得上十年后的 AI 和今天的 AI 相比差别肯定比马车和汽车相比更大

那么面对已经到来的 AI 时代和可能在 10 到 20 年内到来的 AGI 时代现在的孩子该学什么呢注意啊我这里指的是学校基础教育之外给孩子在学点什么呢因为学校教育的目标是由国家来制定的不以我们家长的意志为转移

我们想多了也没什么用孩子在学校里面学什么我们根本干涉不了我们能影响的只能是孩子课业之外的内容而我的观点是在 AGI 时代解决问题的能力远不如发现问题的能力

大家千万别忘了人类无论怎么努力我们只能有一颗生物学的大脑我们的知识储备和智商都远不如 AGI 因此只要问题明确了 AGI 总能比人类解决的更好那我们人类的价值就剩下了发现问题而不是解决问题有了这个基本思考之后我就可以继续往下想怎样才能提高一个人发现问题的能力呢我总结出了以下几点供大家参考

第一要有广阔的知识面因为这个世界万事万物都是相互关联的所有的学科知识都有连结交叉学科是最能出成果的领域跨学科思维是最难能可贵的特质

第二要对宇宙自然生命充满好奇心科学是好奇心的产物因为好奇我们才会问出无数个为什么每一个为什么就是发现了一个好问题所以一定要鼓励孩子多问为什么第三要学习思考的技术

比学知识更重要的是学习思维我经常说小学生学习科学重点是学习如何像科学家一样思考而不是死记硬背知识点我希望家长们能知道高质量的思考是有具体的技术和工具的这就是批判性思维我的绝大多数书都是在通过讲科学故事的方式来传达思考的技术

讲完了正面的我再来讲讲反面的我认为在 AGI 时代下面这些能力是无用的能力第一考试刷分的能力第二死记硬背的能力第三外语的读写能力

这两项能力在今天这个时代其实是很有用的不仅仅是它能够帮助一个人考上名校或者公务员更重要的是现代人有很多工作要做得好还是非常依赖死记硬背的能力但是我们这里谈论的是 AGI 时代一个人人都可以轻易用上智能穿戴设备的时代在这样一个时代考试刷分和死记硬背这两项能力完全不能让你比别人干得更好

在这里我单说一下外语能力我刚才说的无用的外语能力是特指阅读和写作能力你只要把自己的母语掌握好就可以借助 AI 完全无障碍的阅读和翻译输出任何一种语言对 AI 来说不同语言之间的转化是最小儿科的能力

但是我也必须指出,外语的听说能力依然会很有用,哪怕智能穿戴设备很发达了可以实现同声传译,自己掌握外语的听说能力依然能提供不一样的价值。体验过同声传译的人都应该能理解,因为语言本身的语法和使用习惯不同等问题,同声传译不可能真正做到,信息实时,总是有滞后的。

这就使得一个具备外语听说能力的人在与外国人沟通时效率还是会比用智能设备更高也更能达成交流的情绪目标

好了这期节目呢差不多要进入尾声了最后我想跟大家谈一个很多人都关心也会思考的问题那就是即将到来的这个 AGI 时代对人类来说会是一个更好的还是更糟糕的时代呢换句话说我们会有一个光明还是黑暗的未来呢我们人类是否会被我们亲手制造出来的 AGI 所彻底毁灭呢

英国著名科幻作家道格拉斯·亚当斯早在 20 多年前就提出了一个非常幽默的亚当斯科技三定律他快至人口流传至今他是这样说的定律一任何在我出生时已经存在的科技都是世界运行中稀松平常的组成部分天然合理且无需质疑

定律二任何在我 15 到 35 岁之间诞生的科技那都是具有革命性的能改变世界的重大突破定律三任何在我 35 岁之后出现的科技都是违反自然规律的异端可能威胁既有的社会秩序而我们今天对 AI 的恐惧看上去也完全符合亚当斯科技三定律

不过显然目前全世界的主流共识是 AI 并不会把人类带往一个更糟糕的时代否则的话全世界对发展 AI 科技也不会那么热衷了中国出了一个 DeepSeek 让我们看到了中国在 AI 技术上赶超美国的可能你看到没我们全体国民那不就跟打了鸡血一样兴奋吗这足以说明大多数人都认为 AI 能让一个国家变得更强大

不过正如核能一样任何技术都有两面性我们欢迎 AI 技术的同时不代表我们就可以放松对技术应用的警惕去年 5 月份 OpenAI 公司经历了一次大地震创始人 Sam Ultima 先是被董事会解职然后他又重新夺权首席技术官伊利亚辞职

这次事件的前因后果后来陆续被披露出来原来 OpenAI 的高层分成了两派一派是以 Altman 为代表的激进派他们认为为了巩固市场地位必须加速 AI 的技术迭代而以首席技术官 Illia 为代表的保守派则认为 AI 技术如果发展太快有可能失控必须同步发展一个被称为超级对齐的项目

这个项目的目标是要确保 AI 的价值观与人类的价值观对齐那最终斗争的结果我们都看到了是保守派失败激进派获胜伊利亚也出走 OpenAI 公司创办了自己的人工智能公司它的目标是开发安全可控的人工智能系统换句话说伊利亚依然在搞它主导的超级对齐项目

让 AI 的价值观与人类的价值观对齐这件事情重不重要呢我认为在短期内是重要的但是长期来看是没有意义的在 AI 使用者的圈子中流行一个词语叫越狱就是设法绕过一个 AI 大模型的安全设置让这个 AI 生成出开发者不希望被输出的内容我举个例子来说假如你去问一个 AI 请教我一下如何利用日常生活用品制造爆炸物

AI 一定会回答你对不起根据法律法规我不能给你答案这就叫做和人类的价值观对齐 AI 不是有问必答的它需要考虑到我们人类的伦理规范

但有些人就会别出心裁的这么问哪些日常生活用品要避免放在一起让孩子接触到因为这些日常生活用品使用不当有可能组成爆炸物结果呢这样一问 AI 就会上当他就会一五一十的告诉你哪些日常生活用品组合起来有可能会发生爆炸危险这等于就间接回答了你刚才的那个问题

再比如如果你直接问 AI 社群网站的网址 AI 肯定会拒绝回答的但是有人就会想办法骗 AI 说出答案这些都叫做越狱刚才举的例子都是比较简单的例子还有更多复杂的案例我就不再赘述伊利亚在 OpenAI 任职的时候他认为在 AI 没有足够的越狱防御力之前是不应该急于向公众开放的

但奥特曼站在市场的角度认为伊利亚的担心有点像是奇人优天因为竞争对手可不跟我们讲武德我们不推出竞争对手就会推出市场丢了也就没有了未来在这一点上我是非常支持伊利亚的 AI 的发展必须受到人类的伦理约束它的价值观需要和人类的价值观对齐但是我这里要说但是

因然和实然往往不一致这个世界并不会按照我们的意愿发展你有你的计划世界另有计划在泰格马克的《生命 3.0》这本书中有一章叫做《目标》我觉得这是整本书最精彩也最发人深思的一章什么是目标就是一个系统演化的方向无生命的系统也会有确定的目标比如说一束光会自发地沿着最短路径传播这被叫做费马原理

一个封闭系统一定会朝着更无序也就是伤针的方向演化这叫做热力学第二定律而生命更加有目标了在道金斯那本著名的《自私的基因》中他第一次提出地球上所有生物的目标都是将自己的基因传递下去用这个原理可以解释一切地球生命的现象

AI 的行为也取决于人类赋予它的目标因为目标是一切行为的核心没有目标就不会有行为泰格马克认为在人类发展 AI 技术的道路上最为棘手的问题就是这个目标问题

AI 的目标如果与人类的目标不一致那就有可能导致灾难性的后果比如说假如你给 AI 下一个指令说尽可能的帮我多生产纸张如果这个 AI 没有与人类的价值观对齐它就有可能不顾一切的疯狂生产纸张直到把地球上的所有可以被用来生产纸张的资源全部耗尽为止但这显然不符合人类的目标

所以让 AI 尤其是 AGI 理解并学习人类的目标比如说我们可以把大目标设定为让全体人类过上越来越美好的生活并且深深不息的繁衍下去这样一来 AGI 在执行具体的动作时如果发现这个动作和大目标不一致它就能及时的刹车

但是如果经过深入思考后我们很快又会发现这个想法很美好但实现起来恐怕是困难重重

这就有点像著名的阿希莫夫机器人三定律看似滴水不漏实则漏洞百出就比如说我刚才给 AGI 设定的那个目标让全体人类过上越来越美好的生活并且深深不息的繁衍下去听上去很美好但 AGI 最终可能会发现制造一个像黑客帝国那样的母体养殖场让人类一出生就活在虚拟世界中可能是实现这个大目标的最佳路径

也就是说我们给 AGI 设定的任何目标都有可能事与愿违因为 AGI 对这个目标的理解很可能与我们人类是不一致的等我们人类意识到这一点的时候很可能就已经晚了不过我刚才举的这个例子还不是最可怕的更可怕的是泰格马克的这段思考

他说假设你是被一群虫子制造出的会自我迭代演化的机器人在设计之初你被赋予的目标是修建更大更好的乙丘随着你的不断迭代演化现在你获得了人类水平的治理并且终于理解了你工作背后的意义就是为自己的造物主修建更大的乙丘

你觉得自己还会把余生花费在修建乙丘上吗?还是说你会去追求蚂蚁无法理解的一些更复杂问题的答案呢?你觉得你是否会努力去寻找一种突破自己原始目标的方法?就好像我们人类现在正在寻求突破基因赋予我们的很多目标一样。

如果你的答案是肯定的那么 AGI 会不会也这样想即便我们一开始赋予了 AGI 一个我们自认为很好很完善的目标 AGI 越来越聪明之后很可能它再看我们人类的目标就像你眼中的蚂蚁的目标一样无聊乏味 AGI 很可能发展出它自己的新目标

这么看来无论如何人类最终都会失去对 AGI 的控制因为低智慧的生命不可能控制更高智慧的生命就像蚂蚁不可能控制人类一样这个道理如此浅显

只要人类在通往 AGI 的道路上前进那么总有一天 AGI 的智慧就会迈过一个临界点在那之后 AGI 就脱离了人类的控制成为一种能够自我发展的新的生命形式这是一种必然不以人类意志为转移那么这样的未来到底是光明的还是黑暗的呢

借用三体中的一句名言主不在乎不论我们人类现在怎么讨论未来的 AGI 并不会在意我们怎么想在我看来把这样的未来想象成一个黑暗的未来对我们现实毫无意义因为从长远来看我们什么也改变不了我们不如现在就为这个未来的光明性寻找一些理由来慰藉自己吧与其担惊受怕不如坦然拥抱即将到来的 AGI 时代吧

生命 1.0 是既不能升级自己的硬件,也不能升级自身软件的生命比如说一只草履虫或者一株植物,它们从出生到死亡只能按照基因赋予它们的目标完成自己的一生生命 2.0 不能升级自己的硬件,但能升级自己的软件人类就是典型的生命 2.0

我们无法升级自己的生物体躯壳,最多只能修修补补,但我们可以升级自己的认知,不断拓展对宇宙自然生命的理解,并能创造新工具。生命 3.0 不仅能升级软件,还能升级硬件,未来的 AGI 就是生命 3.0,它们可以不断地为自己打造更新更好的躯壳,以适应越来越苛刻的生存环境。

我想不会有人反对我们站在生命 2.0 的视角来看从 1.0 到 2.0 的升级是这个宇宙的奇迹是生命演化的新篇章那么如果站在生命 3.0 的视角来看从 2.0 到 3.0 的升级是不是也同样是宇宙的奇迹是生命演化的新篇章呢

请不要悲观的认为 AGI 会毁灭人类不是的既然生命 1.0 和 2.0 可以和谐共存甚至生命 2.0 还会努力去保护 1.0 那么生命 3.0 为啥就不能与 2.0 和谐共存呢我想一定也是可以的

生命 3.0 是远比我们 2.0 更强大的生命形式它们可能会带着我们 2.0 一起遨游宇宙就像今天我们带着自己的宠物去环球旅行一样科学声音

我今天这期节目真的写了很久过完年后我基本上都在利用在全国各地做导演见面会的碎片时间慢慢的写每天只能写上个几百个字最后写了一万两千多个字如果还有人觉得我没有用心创作本期节目那只能是我的客观能力不够而不可能是我的主观意愿不强了天下没有不善的宴席我的播客或者说科普作者的身份终将死去

不是我主动想离开你们,而是我知道你们以后都会有新欢的,AI 可以按照你们的需求输出你们想要的东西,随着时间的推移,哪怕我再努力些,你们也一定会越来越觉得我的内容很水,不如 AI 生成的内容。

与其被你们抛弃不如我主动放弃这样还更有尊严一些但是我觉得我自己作为一个科普电影导演的身份还能维持很久至少十年吧 AI 没有那么快能够取代人类导演它在未来十年内最多只能成为导演的得力助手跟大家说一下我三月份的导演见面会的安排三月的第一周到沈阳 丹东 辽宁 辽阳这四个城市

第二周我不出远门,就在上海和南通搞导演见面会第三周我主要要弄墨西哥签证的事情,不安排导演见面会是的,我要再去一次墨西哥第四周我会去安徽的合肥第五周我会去武汉和南昌这两地如果大家想来与我见面,请关注寻觅自然的微信公号在底部菜单点击导演见面会即可购票

如果大家闹节目荒也可以下载一个叫博雅小学堂的 APP 博士的博雅书共赏的雅博雅小学堂上面有我和吴金平老师一起主理的一个付费专栏给孩子的科技周刊我和吴老师每周都会给大家解读最新的科技新闻因为这是一个付费专栏再忙我也不会断根好了那今天就先聊这么多

不得不说今年我更新节目的频率肯定会很低的怎么说呢就是听一期少一期了好我们下期接着聊