脆弱世界假说、核战疑云与人类的未来
01:18:03 Share

《超级智能》这本书可以说是很早的就预言了人工智能的快速发展以及人工智能可能会形成某种超越人类的能力和智力的一个综合体这本书在早年其实是启发了 Elon Musk 包括 OpenAI 的早期的创始人并且几乎成为了最早的一批研究超级人工智能和人工智能安全问题的人的一个启蒙的作品吧

派克乌斯的会议其实让我挺感动的就是我们可以看到在一个冷战期间这个双方阵营态度最尖锐和痛苦和脱钩的大时代仍然有一批科学家有一批反战人士和爱好和平和关心人类未来和文明演进的这些人们他们在做着努力在一个最艰难的条件下创造着条件去尝试让对话发生让和解有可能

总有人在不惜生命的代价去做出这样的正确但是又艰难的决定各位脆弱世界的听众朋友们大家好我是志玲欢迎来到最新一期的节目从这期节目开始呢我想做一个新的尝试因为我们播客呢是一个关注这个世界上很重要的社会问题以及我们能做些什么去改善它帮助我们的这个世界变得没有那么脆弱的这一档节目

所以在过去的很多期节目里呢,我们聊过中国的城乡差距,健康公平,教育,气候变化,动物保护,人工智能等等这样的问题以及请了很多专家学者和我们的好朋友们来聊我们怎么对这些事情发生进展,以及就是作为个人我们能做点什么

从这期节目开始呢我想做一个新的尝试由我自己来说跟大家系统性的介绍一些跟让这个世界变得更好相关的一些知识观念理念等等这个栏目是新开始所以它之后会演变成什么样我也不清楚但是我觉得平常呢我包括我们团队的很多小伙伴我们都会经常阅读各种各样的书籍然后非虚构的博客内容嗯

里面有非常多有意思的东西我们特别想和大家分享所以特别欢迎大家在评论区听完这期节目之后给我提供一些反馈比如你觉得这样的节目形式有没有意思包括我们怎么能做得更好当然我们对于学者和朋友们的访谈不会结束

我们目前也在策划一些新的几期节目吧所以感谢大家的耐心然后我们也希望在今年能够提高我们更新的频率今天呢我就当我在开始想准备这个新的栏目的时候我就在想从什么东西开始聊起呢好的出发点就是不忘初心吧回到我们最早在做这个播客的时候的对我们影响最大的一个观念其实你可以从我们的名字里看出来就是脆弱世界

之前其实我们在一些节目里零星的讲过这个名字是怎么来的但是今天我想跟大家系统的说一下脆弱世界这个名字背后它涉及到的我们关心的问题以及它的整个的演变历史是什么样的首先脆弱世界它其实是一个我们都很关注的哲学家在大概三四年前写了一篇论文这个论文叫 Vulnerable World Hypothesis

他在这篇论文里提出了为什么我们的世界非常脆弱非常容易毁灭这个论文呢我之后会细说但是基本上我们的名字就来自于这篇论文叫 Vulnerable World Hypothesis 其实就是脆弱世界假设

但是在介绍这篇论文之前呢我觉得可以先给大家介绍一下写这篇论文的哲学家他的名字呢叫 Nick Bostrom 他是牛津大学哲学系的教授然后也是这个人类未来研究院的创始人和主任他是 2008 年就成了这个牛津大学的正教授所以到今天已经有

14 年的历史了然后这个人为什么我要单独介绍呢因为他实在是经历非常的传奇他写了大概 200 多篇的论文然后出版了十几本二十几本很重要的书他研究的主要理论呢其实就是人类文明会不会灭绝以及有哪些技术可能会导致我们人类文明灭绝

他也是可能在全世界到目前为止对于就是这个末世论人类文明是否会灭绝以及技术的滥用和可能带来的潜在的大规模的风险最重要的一位分析哲学家吧他的传奇经历是什么呢就是他自己的成长经历非常独特如果我们点开他的履历去看的话他不是一个科班出身的哲学家他本科是读的哲学数学数理逻辑和人工智能

四个专业同时在三年读完了四个本科学位在一个大学在一个叫 University of Godboard 是瑞典的一所大学他后来研究生呢有读的哲学和物理不仅读了哲学物理研究生还读了这个天文学还有计算神经科学 computational neuroscience 然后到博士才在这个 LSE 读的哲学

所以就是你可以看到他的背景是杂揉了哲学数学人工智能计算机科学物理学神经科学就他全部都有学位而且整个的教育经历也就是在八年左右就是他读了两个硕士一个博士一个四个学位的本科

对当然他这么神奇呢也不是说他从小就是个天才他在自己的字述里曾经写过他自己是瑞典人他是在赫尔辛堡一个靠近瑞典南部的海岸的城市长大但是他在人生的前 15 年呢就没有什么特别他一直觉得他在浪费自己的生命

直到 1989 年他 15 岁的时候他走进了一家当地的图书馆偶然发现了一本 19 世纪德国的哲学选集里面收录了尼采和舒本华的作品从

从那开始他就开始疯狂地阅读尼采和舒本华然后他觉得这件事对他影响特别大包括这件事对他后来研究人类文明是否会灭绝和默示论都有很大的影响因为我们都知道尼采和舒本华他们的哲学包含着很多悲观主义的元素对于虚无主义和存在主义的探索包括对于人类的苦难和人生是否是没有意义的这里头非常非常多可以说是一个基于某种悲观和消极的底色就这个对他的启发

特别特别大他当时在这个回忆录里也写过就是他当时是小时候就发现了这尼赛尔舒本华的著作之后就去森林里读这些书感觉一下子就打开了他智识上的某种兴趣吧所以他 15 岁之后就开始非常非常认真的学习当然了他可能天然也是个天才

他在高中最后一年的时候就跟父母说我不想去学校了我只想在家然后他用十个星期就完成了可以说算是瑞典的高考吧就是他用十个星期开始自学然后就完成了瑞典的高考然后就去了这个本科在本科的时候就是他当时是我刚刚说了嘛他同时休息四个

本科学位在一个这个 program 里面在一个这个学校里同时学四个学科并且全部创造了瑞典就是这个大学生的这个国家的成绩记录拿的是国家的奖学金

他从瑞典读完他的这个哲学数学数理逻辑和人工智能的本科之后呢就去了伦敦他是在国王学院学的物理和神经科学比较有意思的是呢他在伦敦的时候还经常去酒吧和剧院里表演这个单口相声就是 stand up comedy 所以他也不是一个传统意义上的这个怪人啊他也很有幽默感

后来是到了在这个 LSE 就是伦敦政治经济学院读博的时候他慢慢的就找到了自己的一个这个思想流派吧就是这个叫超人类主义

所以 Nick Bostrom 他最著名的就是他是一个可能是在整个这个超人类主义运动和研究上发挥了最大作用的这样一个人当然超人类主义呢就是可以简单来说就是这些人他们非常希望开展人类增强比如说通过医学手段或者通过一些新兴的技术来让人类的体能智力情感和道德都变得更加的强悍

然后可以说是就如果说学术的定义化他就是说就是研究这种智慧生命进化以及怎么让智慧生命的进化变得更快

来超越当前人的这个状态和能做的事情的限度对然后所以他们最终导向的一个目标就是后人类就是希望把人类进化成到一个在道德 智力 情感和体能上都更强化的一个后人类的状态就 post human 的这个状态当然了他就是去走向这个方向其实跟他自己的研究和学术和思考经历都很有关系因为我说了他早年是受尼采和舒本华影响很大

然后慢慢的他可能就觉得也受尼采的这个超人哲学和超人类当然尼采的超人哲学和超人类可能不是一回事但是尼采的超人哲学对很多超人类主义者都形成了很大的影响其实就是算是超人类主义的一个重要的思想灵感就是当我们人面对巨大的苦难和无可避免的苦难例如死亡这样的状态的时候我们能做点什么

那尼采可能是说我们需要以强人的意志在苦难里去磨练自己但是相对于 Bothrom 他这样有数理科学物理和人工智能这样的背景他就觉得其实我们可能是需要去通过新兴的科技去加强和超越它

而不是人类一定要面对着像尼采那样的永无止境的悲剧或者说我们只能面向悲剧而生活他们是对于技术有一种更强的乐观是觉得我们需要通过一些手段来克服这样的人类的必然的悲剧所以他在 2005 年也是刚读安博几年吧 Bostrom 他几乎就成为了一个超人类主义的代表人物他成立了一个世界超人类主义协会然后开展非常多的学术之外的写作倡导和公开的演讲工作

然后他在 05 年曾经写下了这样的一个预言故事我觉得很好地代表了他的超人主义立场他就说有一个恶龙他每天需要人们提供一万个不幸的凡人作为贡品然后把他们吃掉但是痛苦的不仅仅是这些一万个受害者其实还有他们的母亲丈夫孩子和朋友他们都会为了被当成了贡品悲伤和哭泣那这个恶龙是什么呢就是死亡就是他用这个恶龙来隐喻死亡

那面对死亡的人们也许可以找到虚幻的安慰和胜利或者是像宗教一样给人的这种永恒的或者轮回的这种生命的承诺但 Bostrom 的意思就是说科学和技术的进步可以让我们这些不幸的凡人有可能战胜这个每天会杀死几万几十万的人的恶龙也就是死亡

所以他觉得死亡不应该只属于神话宗教和哲学领域也应该属于医学和生物学这样的领域这就是他最典型的表达了他这个人类增强的愿望的这样的他关心那个学术母题的这样的一则预言吧可以这么讲

所以很自然的就是在他读完博去了纽约大学之后他研究的问题也都是跟这些有关他曾经也有一个非常著名的表达他觉得他对传统的哲学没有兴趣为什么呢因为他觉得人类未来总会创造出一个超级的智慧而这个超级的智慧会使我们现在的这种

人类研究的这些问题变得非常的小儿科或者说跟这个超级的智慧比起来我们现在研究的问题不足为道所以他在 2012 年写了一本很著名的书叫 Super Intelligence 超级智能这本书可以说是很早的就预言了人工智能的快速发展以及人工智能可能会形成某种超越人类的能力和智力的一个综合体这本书在早年其实是启发了 Elon Musk 包括 OpenAI 的早期的创始人

并且几乎成为了最早的一批研究超级人工智能和人工智能安全问题的人的一个启蒙的作品所以他就觉得这样的超级智能是能够一方面我们要关注它的风险然后另一方面也要去思考它能够怎么帮助我们进行增强成为一个在各个方面都更加有能力的物种

所以面向这个超级智能 Bossstrom 他就说他有过这样一段话我觉得特别有意思他说假设你不得不建造一条新的地铁线路而这个地铁线路就是每个人都会有一把小铲子就像我们人类在研究一个问题一样我们都会去铲土为它做一点新的贡献为这条新的地铁线路但是如果你知道或者你相信明天会有一辆巨大的推土机到达现场

那么今天花时间用这个铲子挖这个大洞真的还有意义吗其实你可以有别的事情可以做比如说你可以为这个推土机竖起一个路标这样他明天就会在正确的地方开始挖掘了也就是说他觉得

如果说未来技术的发展会带来一个超强的智能它能够解决我们人类几乎所有的问题帮助我们人类变得更强那么很显然的我们现在不应该再花时间在一些在他看来很 trivial 很不重要的问题上而是应该去想在一个技术高度发达的一个超级智能面前我们应该怎么做怎么能够让它能够更有效率的去帮助人类变得更好所以对于他来说他想研究的哲学就不是传统的哲学而叫技术预测哲学

所以这是他最关心的问题就从你这里还是可以看出来 Bostrom 是一个非常硬核的技术主义者他认为技术对于人类对于文明是有非常显著的影响的或者说他对于一个在有很强的技术来增强人类帮助人类文明进入下一个阶段变得更好的这样的一个愿景是有非常非常强的向往的

但是呢他也意识到这会有另外一个问题就是如果我们非常向往一个高级的智慧的在各方面的得到增强的这样的一个智慧文明的话我们应该也意识到开展这样的技术会有巨大的风险这也是为什么他当时写了 Super Intelligence 那本书来探讨我们怎么避免这样的风险

因为他觉得人类如果未来面临着一个非常乐观的未来比如说大家的能力都增强了我们能把意识上传到电脑里或者是我们现在能够克服我们身体的限制来让我们获得更多的快乐和幸福的体验那么如果人类文明就这么灭绝了这是一个非常非常糟糕非常非常糟糕的事情所以因为我们向往一个技术乐观的未来那么我们应该意识到我们应该确保人类能走向那个未来而不是中途

半途而废了因为这样的话就是我们一切的努力都白费了嘛所以他说他研究人类文明就是除了研究这个怎么进行人类增强之外怎么避免人类文明过早的灭绝是他另外一个非常非常重要的问题因为整体来讲呢人类社会的未来是非常大的是有无限的潜力与可能性的我们可以简单看哈比如说哺乳动物一个地球上曾经出现过的哺乳动物它平均的生存年限是 50 万年而人类呢

智人出现其实仅仅就是人类现在这个物种的这个祖先就是我们这种种类叫智人它出现其实只有 30 万年那我们其实可以想一想即使你把人类当成一个普通的哺乳动物我们可能还有 20 万年的历史要走

但是如果你看过去几次工业革命仅仅发生在几百年内人类生产力带来了巨大的变化那么 20 万年足以让人类社会成长成一个我们现在都无法想象的高级的拥有更好的可能性的这样的一个文明但是如果你认为人类不仅仅是一个普通的哺乳动物不拿普通的哺乳动物在地球上的平均生存年限来看人类的话

那人类的生命就可能和人类社会文明可能延续的时间就会更久了我们可以以地球的未来来做一个比喻比如地球目前在太阳成为这个红巨星把这个地球吞没之前地球移居就是对于生命移居的未来可能还有 55 亿年如果人类仅仅有幸活过这个 55 亿年的 1%

那么未来可能还会有 4000 亿人出生也就是说人类文明真正的巨大的未来其实是在前方的

我们文明可能刚刚度过了一个青春期其实还没有到成熟的阶段如果在这个时候我们就彻底的灭绝了那 Bostrom 会觉得我们就是把人类未来的一个巨大的不错的一个文明的潜力给彻底的切断了他觉得这是不可接受的所以他很多研究都处于这个方向去研究一个技术怎么让人类文明变得更好

以及我们怎么防范技术的风险这是他整个这个研究的母题吧当然了就是人类文明是否能活得那么久其实这里也有很多的问题大家有可能听过一个很著名的理论叫 Fermi Paradox 叫费米假说其实就是 1938 年这个诺贝尔物理学家的得主他曾经提过一个非常简单的问题叫外星人在哪毕竟我们宇宙已经有 130 多亿年的历史了从逻辑上来说

其实早就应该运语发展出了你像 Bostrom 想象的那种一个能够进行星际旅行然后在整个宇宙发展文明的这样一个文明了如果说 Bostrom 的这个假设是对的那早就应该有这样的文明了对吧为什么至今都没有发现呢

或者说至今我们都没有任何扎实和确凿的证据来说明这个宇宙中还有别的智慧生命这就是这个费米假说也就是说很可能就没有这样的生命存在费米假说其实有很多种解答它和回答它的方式有一种理论也是跟 Bostrom 非常相关的理论叫大过滤器理论

叫 Great Filter Theory 这个是 1990 年由乔治梅森大学的一个算是经济学家提出来的吧他叫 Robin Hanson 他的意思是说呢文明是非常罕见的尤其是高等级的像 Bottom 说的那样的文明是非常非常罕见的

为什么呢是因为人类文明的发展至少需要经历九大关键的环节而如果有任何一个关键的环节这个缺失了文明就不可能发展或者说不可能发展到一个高度能够让它进行星际旅行这个九大环节有哪些呢比如说第一个需要有合适的行星系统在一个恒星系里面有一个不错的行星系统并且跟这个恒星保持一定的距离第二个呢是演化出可以自我复制的大分子像 RNA 这样的

然后第三个是要演化出相对简单的原核单细胞生命第四个是要演化出相对复杂的真核单细胞生命第五个是能演化出有性繁殖的生命第六个是多细胞生命第七个才是脑容量较大能使用工具的动物第八个是演化出像人类这样目前水平的文明然后第九个是能够开展宇宙和星际殖民的这样的文明所以这个九大环节每一步都是一次重大的升级可以看作一个大的过滤器

就是有无数的可能潜在的在宇宙其他地方的文明它没有办法通过这九关在任何一关只要失败了它就没有办法真正成为一个能够进行宇宙通讯和让我们被侦测到的这样的文明所以说其实就是说真正的高度发达的文明是极其罕见的所以我们人类呢到现在没有发现第九部文明的存在那有两种可能

第一种就是绝大多数的这个宇宙里的文明都在前八步就是到人类文明这样之前的前八步里都失败了那人类文明是文明的独苗是我们是非常非常罕见的演化到第八种这样文明的这样一个社会如果我们能通过第八层级进化到第九层级那我们可能就是宇宙第一个能开展星际殖民的文明所以那这个是什么意思呢就是这个大过滤器人类文明已经通过了

就我们已经通过了这个大过滤器我们很快将成为宇宙第一个或者极少数的这个能够开展星际殖民的文明第二个呢这个假设和可能性对费米悖论的回答就有点令人感到沮丧尤其是令 Bostrom 感到沮丧那什么呢

就是大过滤器我们还没有通过这个第九个发展到可以宇宙星际殖民的过滤器才是真正的大过滤器也就是说没有任何一个文明可以发展到星际宇宙殖民因为在它到达人类这种水平的文明之后会发生各种各样的危机比如说气候变化的危机核战生化物系和人工智能的科技发展摧毁自己文明的危机包括对这个星球的资源的过度滥用的危机等等

当然还有一些更意外的比如说小型撞击或者潮汽火山的奔发也就是说其实我们人类还没有通过大过滤器在我们最终能回答费米别论就是我们成为一个能够联系其他宇宙里智慧生命的文明之前我们自己会被自己给玩死

所以 Bostrom 觉得这种可能性也是很大的当然他也没有一定觉得就是这样但是他觉得我们应该谨慎这样的事情并且开始认真的对待我们人类文明可能面临的风险以及能够怎么最大可能的去减少它

我刚刚就基本回顾了一下 Bostrom 他的大概的学思历程当然了他还有在我今天马上要介绍的一个脆弱世界假设的文章之外还有写过一些非常有意思的文章比如说他还写过一个文章叫 Simulation Argument 那篇文章的原名叫 Are We Living in a Computer Simulation

这是他在 2001 年还是 2003 年在一个哲学杂志上发的就是他也是第一个提出了一个人类文明很可能生活在一个电脑一个高级外星文明的电脑模拟里面他是第一个提出这个理论的人和那个最早的这个

迪卡尔所说的这个刚中之脑其实是有一点关系但是 Bostrom 是用了一个非常简化的一个逻辑去论证了为什么我们很可能生活在一个电脑模拟里面当然这篇文章等我们之后有机会可以再去详细地跟大家展开但是我只是想说就是 Bostrom 是一个非常非常有意思的人他不是一个我们想象里的这个

这个硬核的不过问任何事情的哲学家他作为一个哲学家他思考的全部都是一些跟技术跟科学跟人类文明的发展演进相关的问题当然他自己也承认他在自己的字书里曾经写过他觉得他自己是个非常幸运的人

他没有教课的任务然后他在牛津也有助理团队和顶尖的研究人员给他提供各种各样的支持他想研究的领域也没有任何的限制而不是说你是哲学家你只能研究什么他完全不面对这样的问题然后他自己就说所以我必须非常努力才能对得起这样的特权我必须努力的为重要的是提出一些新的见解否则我是在浪费我身上的特权

这句话还让我挺感动的就是他在做研究的时候不完全是出于自己的一个非常个人化的学术兴趣而是他也意识到他非常特别他不是一个简简单单的哲学家就是他得到了太多的支持甚至包括他自己的天赋和他的学术能力都是他幸运得来的特权那他必须在一些更重要的问题上去创造一些新的知识和见解 which 他也确实做到了嗯

这就是一个简单的回顾那接下来呢我就跟大家介绍一下这一篇脆弱世界论文对这个我们的脆弱世界博客命名产生了重大影响的论文好那

好 那我们开始吧脆弱世界假设这篇文章叫 Vulnerable World Hypothesis 你可以从它字面意思去理解就是他认为人类文明是非常脆弱的他认为呢就是人类文明很有可能在一定时候因为自己的技术发展把自己彻底的摧毁了这基本就是这个假设就是这个意思就是世界非常脆弱我们很有可能不知道在什么时候就把自己摧毁了简单来说这个假设是这样的

那这个假设是怎么被提出来以及是怎么展开的呢简单来说就是他认为人类的创造力尤其是技术创造就像是把一个球从一个巨大的这个袋子里拿出来那这个球代表什么呢代表着我们的新的思想新的科学技术的发现和发明等等

在历史的过程里我们其实从这个袋子里拿出很多球我们创造了非常多的新的思想发现和技术比如说我们创造了疫苗的技术显著地减少了全球的死亡我们创造了蒸汽机内燃机开启了新的革命我们创造了灯我们创造了各种各样的通讯技术互联网包括现代的人工智能等等来促进人类文明迅速的发展当然了也有一些很不好的技术

比如说生化武器比如说华氏燃料对全世界大的污染但是大多数的这些球都是对人类有益的以及有一些灰色的球它是好与坏的混合就是这个静效果它到底是好还是坏难以估计

比如说像内燃机是吧这个化石燃料它都是一方面促进了人类的发展但另一方面呢我们又知道它有明显的危害但是呢幸运的是什么呢我们到现在还没有拿出来一个彻底的黑球就是一种能够直接摧毁发明它的文明的这样的一种技术也就是说

这种技术是什么呢就是它彻底能把人类文明给毁灭掉所以说这个脆弱世界的假设就是说如果我们的文明的创造和发明是继续的那这个袋子里应该至少有一个黑球哪天我们不注意就把它拿出来

来造成全球文明的毁灭这个黑球是什么呢我们可以回顾一下核武器的历史这个也是 Bostrom 在这篇文章里去回顾的当然核武器现在来看它还不是一个黑球因为在拥有核武器之后我们并没有直接的被摧毁但是这很可能并不是因为什么我们做了很好的事情很可能仅仅是因为我们很幸运或者是历史以一种比较偶然的方式展开没有让核武器成为那个我们从袋子里拿出来的黑球

Baltstrom 其实就让我们去想象一下核武器的历史以及假如这个事情发生的和真实的历史有一点偏差人类文明会是什么样所以他的整篇这个论文呢其实是基于核武器作为一个可能的黑球和它为什么没有成为黑球来展开的接下来就可以跟大家详细的介绍一下其实也蛮有意思的

我们可以先来看一下真实的核武器是怎么被研发出来的长话短说呢其实是 1993 年有一位物理化学家利奥希拉德正在阅读报纸当时他发现现代的核物理学之父罗瑟福勋爵在演讲他说从核反应中提取能量是挺扯的

然后这个事情就让希拉德非常恼火他就出去散步了结果正是在他散步期间他想到了这个核链式反应的可能性和方程式这个是建造核反应堆和开展核弹制造研究的基础然后他就发现呢制造一种原子弹大概需要几公斤的布或者高农素的釉这两种这个非常难以生产的化学元素

然后在他得到这个消息之后呢他其实很快就去找了他很信任的也是当时世界上最重要的这个学者爱因斯坦然后说服了他这个事情是非常有风险的并且要商量一下他们要做点什么

爱因斯坦就答应和希腊德一起然后给美国政府提供了这个信息美国政府很快就消化了这些信息并且发起了这个曼哈顿计划希望能够尽快把核雷片武器化并且让它不能让纳粹德国首先获得

而是他们要先获得后来历史我们也知道了美军用它来摧毁了日本的两座城市四年之后苏联引爆了自己的原子弹当然这个实际上是得到了我们后来也都知道得到了曼哈顿计划中的一些间谍的帮助但是其实即使没有间谍活动可能一两年之后苏联也能研发出自己的原子弹

在冷战期间最高峰的时候全世界有 7 万枚核弹头随时准备释放这一定是会造成全球毁灭的所以说人类文明其实就是被悬在原子弹的发射的红色按钮之上不过比较幸运的是就是在原子弹在光头长期发射之后其实当今为止全世界没有任何其他原子弹被在这种战争中引爆到如今由于一些国际条约和防止核扩散的努力全世界只有 9 个国家用核武器

并且任何的非国家的行动者应该都是没有核武器的这个其实就是核武器整个的真实的研发和使用的历史那问题就来了这个 Bostrom 就让我们想象为什么这个世界是脆弱的呢就假设利奥希拉德在当时听了卢瑟福的演讲之后散布得到的这个灵感

它不是需要几公斤的布和高浓缩的釉才能开展核链式反应而是我们需要两块玻璃和一块电池把它放在一起就能够发生核裂变这个接下来会发生什么假如核弹是很简单的就能被制导出来这个真实的世界历史是会什么样的我们可以做这样一个推演

那这个 Boss 就写到就是那很显然希拉德他也会非常担心他肯定会认为他需要不惜一切的保住他发现的这个秘密那怎么进行这样的保密呢他还是可以先去跟这个爱因斯坦聊一下并且说服爱因斯坦这件事情是有风险的然后可以让他们可以一起给这个洛斯福总统写信让美国政府去采取行动但是这个跟现实世界里最大的差别就是

这个事情太容易了制造核弹太容易了所以为了避免核武器给任何国家和人类文明带来的风险美国政府所需要做出的努力就远比真实历史中的要更多或者说要更紧迫

比如说他可能需要关闭所有大学的物理系并且开启这个安全检查让大量的老师和学生全部回家并且呢可能他不能告诉他们原因是什么因为你一旦告诉了这个危险的信息又被进一步传播了但是你不告诉他们呢大家你又没有任何合适的理由来关闭所有大学的物理系大家也都会开始猜测怎么有这么高等级的这个秘密啊有什么样的危险让我们所有物理系都要关闭呢

那这又带来一个新的风险就是这些聪明的学生们很有可能就能把这个秘密给猜到甚至会加速他们去发现这个核弹可以被很简单的制造可以用两块玻璃和一块电池造出来的这样的一个进程那很显然这件事情就会直接去关闭所有大学物理系这个事根本就不可行甚至我们都不知道它会不会带来额外的恶劣的影响

甚至包括比如说有些这个被关闭的物理老师直接把这个最高等级的机密或者他们发现的机密带到了国外的首都带到了苏联带到了这个敌对国家那这个时候呢很可能这个秘密就直接被对方掌握了那这又会发生什么我们也不知道了那更不用想象假如是在当今这个世界我们可以随意地在互联网上发布及时和匿名的消息那限制一个科学秘密一个重要的科学秘密的传播将会变得更加的困难

当然了这是一种美国总统和美国政府可以在当时采取的措施我们也已经看到它不可能当然它还有另外一种可能比如说它可以去把全世界所有的军事仓库以外的这个玻璃金属和电池全部给回收直接限制所有人拥有玻璃和这个电池

那你也可以想象这件事也不可能啊而且很可能会加剧这个社会上的一些虚无主义者或者是一些厌世的人的这个愤怒他们而且你也不可能确保到所有的玻璃金属电池全部被收来反而可能会有各种遗漏而这种遗漏呢很有可能带来更多的人的这个反噬他们就一定要把它造出来来对抗美国政府这个在他们眼里看来非常不合理的举动和决定

那在这种状况下我觉得我们的法律和秩序会完全的崩溃社会一定会分裂成各种都具有可以发起核战争的这样的能力的各种派系很有可能只有当世界被毁灭到无法制造更多炸弹就世界已经太因为核战发生过太多次直到这个人类可能再也没有剩余的玻璃和电源的时候

这种恐怖的状况才会停止但是我们也要知道核战争其实是很吓人的因为最可怕的还不仅仅是就数百万人可能会死于这个核弹的辐射更灾难性的后果是其实就是和这个超级火山奔发一样就核爆产生的这种黑色的烟雾会飘进地球的平流层就阻止雨水被回到地面就是把整个平流层给占据了

这就是我们俗称的核冬天就是因为雨水无法回到地面整个地球的这个水循环就会被阻止就会带来这个叫这个核冬天的气候巨变那有科学家就估计呢这种全面的核战争很可能让地球的表面温度下降 7 度然后我们现在的能感受到的这个夏季的温度会比现在降低 20 度

那你可以想象这就很恐怖了就绝大多数我们能吃的农作物其实可能都长不了然后那就几十亿人会陷入饥荒这就是核战争的风险和恐怖之处吧保持人们就感慨幸亏我们足够幸运这个知道核武器非常困难也可以说我们在这个过程里也是拿出了一个灰色的球

但是谁知道我们下一次就不会拿出一个黑色的球呢就不会拿出一个非常简单就能摧毁人类文明的这样一种技术呢那这种黑球就是脆弱世界的一个旁证这就是 Bostrom 为了解释这个脆弱世界假设给出的一个案例他把这种类型的风险就是人类直接取出一个可以摧毁所有文明的技术的黑球的这种

成为 type 1 第一型的脆弱世界风险他给它命了一个名叫 easy nukes 意思就是一个可以轻易制造的核武器这是第一种的脆弱世界的风险就是为什么让我们这个世界变得更脆弱就是因为我们完全不知道下一次有没有可能直接弄出来一个像可以被轻易制造的核武器这样一种新的技术因为你想象一下就是这种新的技术

假如这个被一个一个厌世的人或者是一个像基地组织这样的一个恐怖分子集团或者像日本的这种奥姆争利教这样的一些集团掌握了他们真的可能就是一个小小的团队就可以造成整个人类文明的灭绝比如说一种基因增强的这样的一种病毒他们可以把这个病毒给释放到

人口密集的地方让它具有极高的传染性和极高的致死性其实我们都不知道这样的病毒有没有在被制造和传播就完全有这种可能然后这种少数的厌世的集团和个人都有可能去尝试去制造这样的武器并且给世界带来的风险因为我们知道大部分人不是这样但是从这个大数定律我们都知道世界这么多人就完全有一些小的但是非常恐怖的可能性

就是会有这样的一部分人无论是出于意识形态的仇恨还是虚无主义的这个价值观还是就是为了报复一些不公正勒索一些人或者他就是有妄想或者精神疾病想看看这么做会发生什么就真的会有这么一群人有可能做这样的

这个事情那 Bostrom 把这些人称为叫 Doomsday Residual 大概意思就是我们不可避免的必须面对一个情况就是这个世界上可能会有这么一批人这批人可能会带来这种第一型的 Type 1 的这样的这个脆弱世界风险然后呢除了 Type 1 的这种简单制造的核武器这样的风险之外其实还有另外三种

这个让我们世界变得无比脆弱的这样的一个风险我们接下来就一一介绍但是在介绍之前呢我们还是回顾一下这个核战的历史其实就是在我们刚才说了嘛在原子弹发明之后美国和苏联之间就开始了军备竞赛两个国家呢其实是拥有很恐怖的这个核弹头的数量到 1980 年代末呢

就有两国加起来将近有 7 万枚核弹头就足以把人类文明摧毁很多次了然后为什么人类文明没有被摧毁呢就是有很多学者认为其实很可能是我们运气好

因为有学者去研究了冷战冷战期间美苏的这个军备竞赛的历程发现其实可能有 38 次人类差点就要爆发大规模的核战了他们叫 near misses 或者叫 close calls 就差一点点因为一些我们运气好这个核战没有发生但是完全有可能这个核战就已经发生了

不过呢绝大多数的战略科学家们都认为为什么核战争两国拥有那么多的核弹头没有把人类文明摧毁主要的原因就是因为两个大国都发展了相当安全的二次打击能力为战略稳定创造了条件也就是说任何一个国家只要开展第一次打击他们都没有能力能够直接摧毁对方而只要没有直接能够摧毁对方对方也就能给自己带来巨大的伤害和打击

这个就是 Second Strike 带来的核的战略稳定这个可能大家也很熟悉因为当我们现在在分析整个核战的历史的时候我们也都能会听到这一点就是包括中国的核弹研制也跟这个我们能尽快拥有二次打击能力来带来我们国力的提升有很大的关系嘛

那这个二次打击的能力呢其实也不是就是凭空出现的就是很多科学家都认为呢二次打击能力主要来自于比如说这个能挂在核潜艇上的洲际导弹那这就让对方没有办法直接把所有你的核弹头全部摧毁而是有些很隐蔽的这种临时的小的发射点让对方没有办法摧毁只要他没有把你全部摧毁他就会面临着被大规模摧毁的风险

主要是因为这个原因包括就是这种远程轰炸机上挂的核弹头也让一次性打击一次性的全面摧毁性打击变得不可能但是我们可以想象一下假如第一次打击可以直接摧毁对方所有的核武器和对方所有的二次打击能力那我们的世界文明就会变得

我们可以想象一下假如说我们任何一个国家当他用了核武器之后他都可以轻松地去找到所有的战略核潜艇或者是战略轰炸机并且能够定位到他们的位置然后把他们全部给摧毁了或者说假如一个更简单的说法就是一次核爆就足以摧毁一个国家和他所有的战略核武器那么

那我们也就是拥有了一次性摧毁对方的能力和一次性摧毁对方所有核武器的能力那在这种状况下 Bostrom 把它称之为叫 Safe First Strike 就是安全的第一次打击讲白了就是在这种状况下呢我们二次打击的这个核战略稳定的情况就会被消灭掉因为先发制人的一方永远都会毫发无损的生存而不那么激进的一方呢就会被完全摧毁

那在这种情况下呢双方的这个恐惧很容易直接引发一方开展这样的核打击因为只要你不打我我就会打你而一打我就几乎没有任何反击的能力了所以这就是 Bostrom 介绍的第二种脆弱世界的风险它称之为叫 Type II Saved First Strike

在这种风险下就是这个技术会比第一种这个 Easy Nuke 就是简单制造核武器要更难一点比如你也可以看到在上述的案例里是得有国家的能力才能制造出这种武器但是一旦制造出来这个武器足以直接消灭对方二次反击的能力那假如我们还是很幸运核弹不是这种技术那假如有另外一种技术出现了

比如说一个非常强的超级人工智能只要有一个国家直接掌握了就能够这个先发优势就能够直接让它彻底威慑其他国家没有办法开展出这样的技术并且占据这个能力那我们就不知道这会发生什么了那是不是就是它有这样的动机去直接开展这样的行为来把文明毁灭或者来把除了它之外的其他国家全部毁灭这个就是这个 type 2 的风险

那第三种保时捷我们介绍的脆弱世界风险它就不是一个即时性的战略打击了而是一种温水煮青蛙的风险它称之为叫 Wars Global Warming 就是假如这个气候变化变得更恶劣我们世界也可以变得很脆弱这个风险是什么情况呢呃

它先回顾了我们在当今这个世界上气候变化的情况因为我们这个温室气体这个氨烷化碳 甲烷其实是在急剧地增加我们整个地球的温度根据排放情景和我们建模使用的模型不同其实会有不同的预测目前我们大概会认为到了 2100 年和 2000 年相比

地球的温度大概会上升 3 摄氏度到 4.5 摄氏度在这种情况下无论是海平面还是我们整个的天气生态系统 农业其实都会对人类已经产生很大的影响了其实这个已经挺可怕了而且从目前人类社会的进展来看

我们的巴黎协定我们的可持续发展目标和全球主要国家和工业的行动方去遏制气候变化和温室纪律排放的努力其实都不太足够其实挺可怕的但是呢这个可怕还不至于到就是会摧毁

人类文明因为就算是一个升温三摄氏度或者 4.5 摄氏度的场景人类文明也不至于发生毁灭性的危机还不足够到 Balstrom 所假设要让整个世界文明完全摧毁的境地但是 Balstrom 就说有一种可能性就是气候变化是第三种类型的黑球就是比如说到 2100 年人类造成的温室气体排放不是让地球上升三度到四度而是直接升高 20 度

那我们可以想象一下这会发生什么为什么会有这种可能呢因为也许我们地球的这个气候敏感性参数我们对它的整个理解是完全错误的因为我们真的不知道这个升温到底是怎么直接系统性的发生的那也许比如说它第一个阶段是慢慢来

比如说过去几十年我们关注到的一个漫漫的升温场景但也许它是非线性的比如到了突破哪个临界点之后整个升温场景会突然加速一下子提高我们完全不知道所以这有可能是直接造成这种这个叫 Wars Global Warming 的一种可能性那再有一种可能比如说我们的化石燃料地球上的化石燃料比现在更加丰富开采它也比现在想象的要更容易那我们各个行动者无论是工业方还是国家

去开采它的这个动机和能力都会增强这会鼓励更多的这种化石燃料的消费与此同时假如说这个清洁能源的替代品在技术上更难比如说无论是风力发电水力发电还是这个核电厂都有限或者说能起到的作用有限

并且更昂贵并且这个技术门槛和带来的这个价格在短期之内呢不会有显著的下降那我们人类还会更加依赖化石能源那也有可能在这种场景下就是未来我们人类遏制气候变化的努力就不会带来什么真的影响因为我们真的很难去克服一个更贵的能源一直没法降价和一个更好用但更坏的能源非常容易获取的这样的一个场景

那在这种情况下呢就是人类文明会面临的情况就是我们会慢慢的梦游到一个最坏的变暖的场景并且由于我们不知道这个最坏的场景会突然发生我们完全没有办法做任何的方式去避免它或者是去预防它

所以这个跟刚刚提到的前两种发动手撕核打击或者是能够简易制造核弹的一个区别就是不是说有一到两个关键的行动者比如无论是恐怖分子或者是美国政府他就可以发起这个风险是一个个体的或者是一个少数个体发起的这个脆弱事件风险

但是对于第三种这个气候变化的角度来说是有大量的个别的微不足道的参与者和行动方但他们每个人都在一个不知情的情况下被激励采取某些行动去积累这个能够对人类文明造成毁灭的这样一个风险那这样的情况下呢就是我们每个人无足轻重啊比如说我们每个人都在使用电力都在消耗能源我们都有动机去做一些事情并且这些事情都对

对一个全球性的我们无法知道会不会带来毁灭的问题做出了微不足道的贡献但只要加总起来我们都有可能一起在不知情地摧毁我们整个的文明

而且这个事情我们也是不知道的无论是从气候变化的角度来讲还是比如说人工智能我们所有的机构都在投入巨量的资源去发展一个我们完全不知道它会带来什么样影响的技术这个一和也聊过很多期他们都有相对的共同之处就是参与者变得更多了每个人的造成的危害被减少了但是合起来造成的危害很可能和一个一到两个恐怖的行动方法发动核打击的这个危害是一样的这就是第三种

的这个脆弱世界风险还有最后一种也挺有意思的 Bostrom 把它称之为叫 Surprising Strangelets 什么意思呢就是有一些我们完全不知道的不像气候变化我们还是知道它有这个升温场景并且能够做一些准备就是到了一些阶段它会突然加速这都是我们能想象的但还有一种情况就是我们完全不知道的一下子就把文明摧毁了的

我们还是回到核战争来说这件事情其实在第一颗核弹在 1945 年被这个

点燃之前呢曼哈顿的有一位科学家在 1942 年他叫爱德华特勒他就意识到核爆炸很有可能创造地球历史上前所未有的一种温度这个会造成地球上就像拥有了太阳中心的这样的一个温度条件一样然后触发周围的空气和水中的热和反应也就是说它很可能会直接点燃我们的大气层短时间内就让全球陷入这个火海

然后洛斯阿拉莫斯实验室的负责人著名的奥本海默先生他立刻就意识到了担忧它是非常重要的然后奥本海默就通知他的上司并且要下令进一步计算和调查这种可能性然后奥本海默他就委托撰写了一份报告然后报告就论证大气点火不会发生但实际上后来人在研究他的时候发现奥本海默的论证是非常缺乏实验基础

和复杂性的考虑的其实他们这个报告写得也非常仓促甚至是并不扎实的这个其实让人心思极恐因为这是一个非常复杂的模型没有人知道除非你真的把核弹点燃了而实际上是科加群体即使到 1945 年点燃核弹之前他们都没有完全排除这个可能性然后费米在第一次核炸弹的实验之前还在和同事一起验算

这个到底有没有可能点燃大气那好在呢我们都知道在 1945 年的这个 Trinity Test 这个三一实验里这个世界上被引爆的第一颗核弹并没有造成大气被直接点燃我们所以说这个奥班海默和当时做了这个研究的这个意见被证明是正确的但是这一点呢就是比较恐怖的是什么呢就是我们完全不知道嗯

有没有别的技术我们也在进行这样很不可靠的计算再举一个例子在点燃了第一次这个核炸弹之后呢其实美国还进行了第二次很重要的核实验就是 1954 年他们开展了一个叫 Castle Bravo 的实验叫普拉沃城堡实验这个是要基于这个锂基锂这种元素来设计这个热核弹那锂和钾一样它有两种重要的同位素叫锂 6 和锂 7

那在开展这个布拉沃城堡实验之前和科学家们计算出这个当量需要在 600 万吨然后他们认为只有锂 6 会促进这个核弹的裂变反应

但实际上呢他们错了就是李七这种同位素比李六贡献了更多的能量然后原子弹爆炸的当量呢其实是 1500 万吨比他们当时计算的这个 600 万吨要多得多相当于 1000 枚广导原子弹造成的影响那这种意想不到的强大爆炸呢直接摧毁了当时大部分的测试设备然后放射性的这个沉降物呢毒害了整个这个下风岛屿的居民和一艘日本渔船的船员还引起了一场这个国际实验

不过呢还是比较幸运啊就是因为这个布拉沃城堡实验它的计算虽然是不正确的但也没有造成太大的这个危险但是假如我们再考虑一下这个李七在这个测试中的我们对他当量和他的反应的估计又是大大低估了那假如这种能量又是这个他们计算能量的这个 20 倍而不是两倍或者 200 或者 2000 倍那会对人类文明造成什么样的风险呢

我们不知道如果是那种情况人类文明很有可能在 1954 年就直接结束了所以大家看到我们整个核试验和核弹的研发和测试历程是一个可以说是草台班子式的历程就是我们的计算完全是基于不可靠的假设和错误和各种意想不到的意外直接发生了这就是保持出我们想总结的第四种风险

就是有一些黑球当我们拉出来的时候它可能发生意外的巨大的破坏它带有这种隐藏的风险以至于只要你发现它的时候它的默认结果就是文明灭绝

核战是一个我们考虑了一个反事实情况带来的例子现在有哪些例子呢比如说一些高能的物理实验做这种高速的粒子对撞和粒子加速的这样的一些实验有些你可能就会造成普通的物质转化成奇怪的物质比如说直接造成了一个稳定的黑洞

那我们整个文明就被也可能直接被毁灭了但是这件事情在它真的发生前我们完全不知道这就是第四种叫 surprising strangelets 的脆弱世界的风险

那到这里呢就是我们对脆弱世界假设的绝大多数的介绍就完成了也就是说 Bostrom 在这篇文章里呢就大概总结了人类文明为什么脆弱因为我们面临着四种风险第一种就是如果有一种能够摧毁文明的技术

被简单的制造出来假如下一个这样的技术可以被非常简单的制造那人类文明很快就会遭遇到毁灭和耽搁的行动者的威胁那第二种呢就是假如这个技术没有那么容易被简单制造但是一旦制造出来它就能够摧毁任何另外一个大规模的行动方开展回击的能力

那人类文明也很危险然后第三种可能是绝大多数目前我们面对的我们能感知到的全球性的风险比如说这个气候变化它带来的这样一个问题就是我们对于它对于人类文明的长期影响一无所知而我们每个人都在梦游的一点点的贡献进去所以我们人类文明非常危险然后第四种就是假如有一种技术它

带有一种隐藏的风险在我们真正应用它之前完全不知道而一旦应用了我们默认的结果就是人类文明的毁灭这是第四种的风险所以总的来说就是这个人类文明时代还是太脆弱了我们能走到今天在这个工业化和技术革命之后走到今天完全都是运气但是我们完全没有办法保证我们下一个拿出来的球不是以上四种的任何一种黑球

所以这个 Bottstrom 做了这么多的假设他都觉得这个人类文明还是挺脆弱的而实际上呢这一点也有其他学者去研究过就是人类文明到底有多脆弱就是我们到底有多大可能去面临一个灾难性的风险那这里呢有一个我觉得就是挺

挺重要的书也是由这个 Bostrom 在牛丁大学的同事叫 Toby Ward 所写的叫《威牙》叫《The Precipice》这本书呢就是去系统性地讨论了人类的生存性风险有多高英文叫《Existential Risk》

这种风险呢不是我们简简单单想的这种人类灭绝 Existential Rigs 的定义呢成那种能够摧毁人类长期发展潜力也就是让一个后人类的未来不可能的这样的一些事件比如说如果一场大的灾难它直接让大部分的人口都消失了但不是全部的所有人

同时也让人类没有办法再去重建我们自己的文明的技术制度或者整个的文化那实际上这也是一种生存性风险也就是说让人类文明系统性的走向一个新的未来的能力消失了也可以被定义为生存性的风险 TopGuard 研究可以说是补充了 Bostrom 提出的这个假设他就是让人们去思考我们究竟会面临哪些生存性风险以及各种风险加起来大概会多大

那先说结论啊 Toby War 的结论呢是在大概未来一百年之内吧人类文明遭遇生存性风险的概率大概是六分之一也就是说和我们制骰子制出一个特定的数字是差不多的

那这个其实挺高的甚至如果你真的把它想象成人类文明灭绝的可能性的话实在是有点高的离谱了就是我们随便吃一个骰子要知道 6 人类文明就灭绝了我想我们谁都不会就轻易的把这个问题放过去而是应该认真地看一看

那 Toby Warne 确实也基于 Bottstrom 这篇论文去做了一些延展的工作比如说他把人类可能面临的几种风险分成了三大类分别是自然风险现有的人造风险和未来的风险

那自然的风险呢也是我们最熟悉的你能想象的一个末日场景的大概率发生的那个画面包括你在网飞前两年一个很著名的剧那个 Don't Look Up 那个不要抬头的一大野都看到过比如说一个小行星或者彗星的撞击一个

一个超级的火山喷发或者是一个什么一个恒星爆炸一个超行星爆发造成这个大规模的灭绝这是一种自然风险那整体来看呢托比奥尔觉得这种造成比如恐龙灭绝的这个小行星啊或者这种彗星啊

撞地球在未来一百年内就可能性很小包括人类现在已经有很强的这个能力去监测它们是否会发生了所以他觉得这个不是特别重要那第二类风险呢这个现有的人造风险其实是 Toby Ward 主要去讨论的一共大概有三种吧

第一种就是我们刚刚介绍了蛮多的核武器的风险实际上他这本书叫做《Precipice》威牙说的就是说人类文明开始拥有了自造生存性风险的能力是从什么时候开始呢就是三一实验的日子 1945 年 7 月 16 日人类历史上第一次核弹被施暴的日子也就是说人类文明真的走上了悬崖峭壁边上的一条小道

我们就在这条路上走着随时可能面临着这个坠崖的风险这个我们刚刚已经介绍了很多了我们就不多说了气候变化呢也是这个最大的人造风险之一吧我们刚刚也介绍了这一点尤其是一个极端的升温场景而不是一个普通的几度的升温场景当然几度的升温场景不重要其实也已经非常恐怖了但是如果是一个十几度甚至几十度的升温场景那我们几乎就不太有可能这个

在生存下来以及即使生存下来也只是很小的一部分人生存下来而绝大多数人类的文明我们的创造我们的文化我们的制度和科技都会被毁灭掉然后环境破坏呢也类似就是我们的整个的这个环境变得不再宜居由于我们自己的创伤和错误所以也是让我们需要特别谨慎的

托比奥觉得这个在未来一百年之内吧就是这种核战啊气候变化带来的这个生存性风险呢也就是千分之几的这样一个概率就是已经算挺高了但是还没有最后他要介绍的几种未来的风险也算是人造风险吧

相比就是现在的这个核战和气候变化的风险还不是最大的而这个未来的很可能就象征着 Boltram 所说的我们可能会从袋子里取出来的黑球我觉得是一个很好的补充那第一种呢就是我们刚少数论及了一些但没有完全展开的就是超级人工智能这也是这个 Boltram 最早写超级智能的时候的一个最大的一个担心吧

就是因为人工智能虽然我们现在还没有感觉到它能够直接毁灭人类但是很有种可能就是人工智能它

一旦具有了这种能力的时候我们就完全抵挡不了了比如说他很可能会为了优化自己的一个生存的目标而首先去抹除掉人类的各种限制比如说很多人会说人工智能你只要单身了我们把它电拔了就好了但是很显然的是如果人工智能真的有了想要毁灭世界的自我意识的时候他想做的第一件事就是不能让它断电他可能会想尽所有的办法去做到这一点甚至包括摧毁人类比如生存是他的第一目标

然后再比如人物智能它超级智能它具有比人类更强的某种道德属性它觉得如果要征服世界探机生命是非常低效的那它就会把 R

这个超级智能要征服宇宙的这个愿景和雄心是需要非常多的生产力和劳力的那它很可能就会系统性的来奴役人类并且把人类的所有工厂工作都转化为为它提供能量的这样一些工作就是有非常多的很大的可能性就是我们的人工智能会背离人类的价值观

然后来做一些我们不想看到的事情这个呢就是之前一和和初日世界我们也聊过很多次大家可以去看就是为什么人工智能对齐会成为一个非常非常重要的问题甚至有些学者认为它是人类的最后的一个最大的问题

托比尔觉得人工智能造成这个深层性风险的概率可能高达 10%也就是说这个就挺吓人了从整体人类来看的话它已经占到了总体风险的六成了然后这是一个大的风险也是 Boltstrom 可能面临的下一个黑球

然后第二个很大的风险是什么呢前面也简单论及是人工基因工程改造的这个病毒的传播也就是一个大流行病这一点其实也比较有意思因为在 Bothrom 和 Tobior 他们开始思考这些问题的时候新冠还没有发生所以也就证明了就是这些人他们是真的有一些预见力的他们的对未来的一些预测判断不是凭空虚空想象的而是直接做出了一些预言性质的判断我觉得这个是非常非常厉害的

其实你从新话就可以看到就是一个普通的从自然演化而来的未经过增强的大流行病它就可能给人类文明带来这么大的一个 disruption 一个冲击造成三年的一个经济衰退和全世界巨大的一个变化吧包括对所有人的生活方式

那假如呢假如一个流行病它不像新冠这样在这个演化的过程里毒性越来越弱了而是毒性越来越增强了甚至生物技术的这个进步和生物工程的进步让我们

任何一个普通的比如一个生物学的研究生他都能够在实验室里去制造这样一种病毒这个也有一种说法包括也很有名叫 gain of function research 就是我们反倒是要去研究和增强这种病毒传播的机制来研究它对人类的风险是什么假如这个病毒不幸泄露了会发生什么

这可能它是因为我们当代世界是互联互通速度非常快一种极高的传染性同时有极高制水的病毒可以在国际旅行和交通工具的加持下瞬间传遍全世界然后造成巨大的死亡就像当年的黑死病鼠疫一样我们完全有可能面临这样一种未来而且过去曾经也已经

比如说 21 世纪初的时候英国就发生过抗体疫然后他其实后来就发现这个事情是源于一个实验室的泄露包括苏联包括日本就都发生过这些病毒泄露的情况甚至也发生过研究生化武器的情况

而面对这样的一个可能我们只要少数的几个人学过一点生化技术就能够制造能够高速传播的高致死率的病毒的这样一个背景我们全球目前所做的努力是非常有限的比如说 1972 年我们才有一些国家开始签署禁止生物武器公约但是这个公约其实对绝大多数国家而言是没有任何约束力的而且你像南非 伊拉克 苏联都曾够违反这个公约去开发新的生物武器

所以在整个生物武器的开发和生物基因工程去加强病毒的这一块的控制上来讲全世界做得非常非常弱离不扩散核武器条约和国际原子能机构所带来的影响和它所能够施加的限制和对各个国家的监督来说我们在生物武器和基因工程这一块生物技术这一块是非常非常弱的

而我们完全有可能下一个拿出来的黑球就是让这一种人造的基因工程改造过的大流行病它完全可以符合就是 Bostrom 说的第一种这个 easy nuke 这个简单制造的这个风险或者是第二种这个国家能够研制出来来对敌对国造成无法进行第二次打击的风险都完全有可能所以真的挺吓人的然后它的风险也是一个大概能去占到这个生存性风险中的很高的一部分吧

当然了就是说整个来看就是托比沃尔他去在威亚这本书里去分析的这六分之一的生存风险其实确实挺扯的就是他不是一个非常非常严谨的测算而只是代表了对这个问题的一种很努力的估测了也就是说

其实很可能我们没有办没有任何的办法知道它最终带来的情况和实际的威胁是什么不过就提前去识别一些这样的可能性可能已经是目前当下我们能做的最好的工作了当然了就是这里呢到这里我们就几乎说完了就是生存性风险包括 Bostrom 的脆弱世界假设就是我们这个世界为什么这么脆弱接下来呢我们也可以聊一下我们能做点什么从这部分的角度来讲呢我觉得 Bostrom 在他的脆弱世界的论文里提出的这个

解决方案其实不是特别的有用比如说他有提到我们要开展差异化的技术发展比如说去阻止那些危险和有害的技术而去提高那些能够降低这种技术造成风险的这样的能力的研发比如说我们应该能够增强对核潜艇的研发这样的话能够分散全球的核战争的风险而去减少直接制造核武器的成本通过这种差异化的技术开发来管理这种风险

但是呢这个其实你想实际实践起来是非常困难的

另一种就是 Bossroom 认为很有必要但是实际实行起来也非常困难的就是叫 Preventing Police 什么意思呢就是全面的预防犯罪他当时其实也借用了这个复科的一些的思想实验的概念就是我们其实需要一个全景场式的数字的监控设备这样的话能让任何一个个体的行动方在一个能够简单制造核弹的场景下都能被提前预测他可能会去制造这个核弹的风险也就是说我们需要大规模的监控

去监控无论是国家政府社会团体还是个人他们在面对这样一些技术的时候他们的状况和有没有一些倾向他们能够去做出这样的犯罪

想做这样的事情呢就我们可能需要一个高强度的监控系统和一个单一的全球政府来对所有的行动方施加这样的要求但是我们都知道这样的可能性是很低的暂且不说这样的一个政府和这个高强的监管很可能会导致权力的滥用和可能一个更恐怖的没有造成技术的威胁但反而可能造成一个对人的尊严和自由和普世价值的一个巨大的侵犯

就光说这个事有没有任何的可能性我们都知道这种全球统一的执法这种超主权的限制能力和对大多数人隐私的侵犯都不可能被实际的世界上的各国的人所接受但是呢 Bostrom 似乎又觉得这个事是有可能接受的当然我就觉得就我个人的观点是觉得他有点太乐观了我觉得挺扯的反正

可以说他在这篇论文里提了很好的问题但没有提出很好的解决方案不过我觉得他给我们提了一个很大的信就是科技进步可以使一个文明机器的脆弱而想要使这样的一个具有高度科技化的文明的这样一个世界变得安全是我们所有人都要面对的一个非常非常有挑战的问题那我们究竟能做点什么呢

如果说 Balstrom 提的答案是不可能的不现实的我想给大家举两个例子是我觉得两件对于我们来说可能很重要也可以做的事情第一个我想说的就是在一些关键的历史时刻我们每个人是可以有重要的选择的

我想说两个人的故事这两个人都是苏联人他们是在冷战期间都被认为是避免了世界毁灭因为他们在关键时刻做出了一个明智的和对人类负责的决定第一个人他叫瓦西里·阿尔西波夫他是在 1962 年的古巴导弹危机里面发挥了重要的作用其实当时就是简单回顾一下美国对古巴进行了全面的封锁

苏联就派出了四艘潜艇想前往古巴附近的海域突破这个封锁线阿尔西波夫就是一艘潜艇的副舰长但他同时也担任整个舰队的参谋长

然后美国舰队很快就发现了苏联派来的潜艇就把其中三艘赶走了只有阿尔西波夫所在的 B59 潜艇没有被发现直到后来被发现了之后美军就用训练水雷和声波骚扰这个潜艇迫使它露头并且退出古巴的那片海域就在这个时候有一个训练的水雷

这个美国人发射训练水雷就在 B59 这个潜艇正上方炸了其实呢没有炸中但是因为是训练水雷是用来威吓用的嘛但是潜艇上的人都以为自己中弹了他们以为真正的战争已经开始打响了

而就在这个时候呢很遗憾这个潜艇也没有办法联系上莫斯科总部所以 B59 的潜艇的艇长和政委双双赞成直接发射核运类击毁美军舰船让核战争直接爆发按照平日的这个作战的流程来讲呢只要这个 B59 的潜艇的艇长和政委两个人他们意见一致就可以下令反击

但是这个时候呢身为副艇长和舰队总参谋长呢埃尔西波夫呢也拥有与他们平级的权利因为他是参谋长嘛然后这个 B59 潜艇也是整个舰队的旗舰埃尔西波夫就坚决反对这一点因为他觉得潜艇本身没有受到严重的重创他也觉得对方就是他认为美国不会这么轻易的直接对一个苏联潜艇开展打击因为他觉得双方都会更谨慎一点

所以他就说服了艇长和政委收回了作战实力然后最后呢果然当我们他的潜艇尚浮出水面的时候美国人就没有再骚扰他们了然后 B59 就成功的退出了这个海域可以说阿尔西波夫在当时做出了一个小小的决定就把人类从核战争的迷雾中拉了回来

然后第二个人呢我觉得也非常的伟大我觉得也对我很有启发吧就是一个人在一个历史的关键时刻要做出什么样的决定是负责的这个人叫彼得罗夫这个故事呢是在这个古巴导弹危机之后的 20 年了所以你想想就是 20 年之后又发生了一次类似这样的事情就证明在整个冷战的核阴影和核对抗的这个冬天里人类文明其实我们不知道它到底有多脆弱

这个故事是发生在 1983 年 9 月 26 日当天午夜 12 点的时候苏联的卫星的预警系统就发现有 5 枚洲际导弹正从美国发射过来那个时候其实美苏关系是非常紧张的

这个苏联卫星的值班员叫斯坦尼斯拉夫彼得洛夫 Patroff 他看到了这个情况理论上他需要立即向上级报告所有侦测到的这个洲际导弹并且按下红色按钮实施报复性核打击因为实际上呢当他发下导弹的时候留给他的决策时间已经很短了因为这个核导弹从美国到苏联只需要 20 分钟

那在这个警报出现到最终上报的留给彼得罗夫的五分钟之内呢彼得罗夫是不能确定到底发生了什么他不知道这到底是导弹还是别的是什么但是呢他还是把本次警报当做了一个误报上报因为他认为美国的首次打击不大可能仅用五颗核导弹而且呢导弹的这个尾焉轨迹是没有办法被卫星识别的所以他基于了一些常识和科学判断认为这一点应该不是美国的核导弹应该只是误判

事后苏联方确实发现这是他们卫星系统的误判他们是侦测到了发射的闪光其实不是导弹而是云层上闪耀的阳光所以这个误报被证实之后比罗罗夫首先受到了祝贺受到了表扬但是后面又被多次审问最终还是因为没有遵守实际的程序而被谴责了一下

所以彼得罗夫呢也被称为拯救世界的人当然这个言论有点夸张啊后面也许还有别的步骤能够取消苏联的核报复但这个确实是一次非常非常惊险的事件因为如果卫星错误地将阳光报告为 100 枚导弹而不是 5 枚导弹或许就已经足以引发核报复了而且如果彼得罗夫他

没有按照自己的常识和经验去判断而是直接按照流程正常的流程直接跟上级报告侦测到了这个发射直接向上级报告卫星侦测系统显示到的信息其实上级可以直接

或者说我们可以完全相信上级会直接选择开展核报复所以可以说彼得罗夫也是在关键时刻用了自己的生命和自己的尊严和自己所有的职业价值职业前景来为人类文明当了一次保护伞他在最后一刻展现了他的人性也是把人类从毁灭的边缘拯救了回来

所以这两个故事我觉得挺有启发的就是他告诉我我们人类即使面对这样的灾难我们还是有很强的能动性的或者说 Bostrom 认为人类文明总会有一天拿出一个黑球导致自己的毁灭但是为什么我们到现在还没有呢也有一种可能除了偶然的运气之外就是在面临一些关键的历史时刻的时候人类和人性总能展现出他很温情或者说很负责任的那一面

总有人在为不惜生命的代价去做出这样的正确但是又艰难的决定当然了我们不能惜记每一次都有人做出这样的奉献但是我觉得假如我们自己被摆上了那个角色我们也能做出这样一个勇敢而负责任的决定一点点鸡汤吧或者说面对一个脆弱的世界我们每个人能做点什么的我觉得第一点

第二点呢我觉得也非常有意思也是我们再次回到我们核战的这个场景我们刚也说了嘛就是核战最后没有导致人类毁灭有很多不同的原因其中有一个常常被忽视但没有人知道的这样的一个机制呢是叫帕格沃什会议那这个会议呢因为它促进了国际交流和世界和平获得了 1995 年的诺贝尔和平奖然后这个会议为什么我要介绍它呢就是因为它很可能是保证了人类没有发生核安全的另外一个重要的贡献

而这个贡献背后其实是由慈善支持的也就是说是有一些慈善家支持了这个会议才导致美苏两国都对核安全有更谨慎的判断而最终核战没有发生所以第二点除了我觉得我们个人可以做出一些在重要的历史时刻做出一些对人类负责的选择之外我们也可以看看慈善能发挥点什么样的影响力先回到介绍帕格沃斯会议哈

这个会议是这样的这个是在 1950 年代的时候罗素著名的英国哲学家反核人士和爱因斯坦联合发表了一个宣言去反对核武器和号召国务政府放弃核武器这份宣言其实得到了大量的科学家的签名支持成为了国际反核运动的标志性事件这个是整个帕格沃什会议的开端

这个会议最终是在 1957 年成立的在爱因斯坦罗斯的号召下每年一次通过组织大会工作坊小组咨询项目来聚集一批来自美苏两国的铁幕两侧的核安全领域的科学家外交官乃至军方高层探讨怎么样限制核武器也就是说在一个完全拒绝了国际交流的状况下创造一个交流的场域来确保

双方之间没有完全脱钩而是能够有一个重要的关于世界文明和战争风险的沟通渠道

那幸运的是呢帕格沃什会议得到了田姆两侧高层的认可在苏联呢帕格沃什的科学家们常常向赫鲁晓夫 伯雷日涅夫 戈尔巴乔夫等最高领导人汇报然后帕格沃什会议呢也受到了美方的高度重视肯尼迪总统给会议发出过贺信帕格沃什的论文呢都会直接分享给白宫美国购物院甚至包括这个直接分享给赫鲁晓夫等等

然后根据美国科学家的描述在美苏的一系列核武器条约谈判中帕格沃斯会议的科学家们其实都是双方的谈判代表根据美国科学家的描述就是在美国美苏的一系列核武器条约谈判中其实帕格沃斯的科学家们往往都是双方的谈判代表也是在帕格沃斯的代表们的综合的推动之下一些关键的禁止核武器的条约比如说部分禁止核试验条约和反导弹条约才在美苏两国得到认可和支持

戈尔巴乔夫在 80 年代的时候他反对核武器嘛他当时就说过他的反核观点是来自于美苏两国科学家的共同努力的而这里指的其实就是帕格沃什会议不仅仅是在核风险上苏联的帕格沃什的科学家们还成功说服过戈尔巴乔夫裁剪军队从东欧撤出将近一万辆坦克

然后在 1995 年的时候为了纪念广岛长崎 50 周年和罗斯爱因斯坦宣言的 40 周年这个时候帕格沃市会议获得了诺贝尔和平奖可以说吧它是冷战中东西方少有的最重要的高层共同渠道促进了国家间的信任理解和知识的交流

帕格乌斯的会议其实让我挺感动的就是我们可以看到在一个冷战期间这个双方阵营态度最尖锐和痛苦和脱钩的大时代仍然有一批科学家有一批反战人士和爱好和平和关心人类未来和文明演进的这些人们他们在做着努力

在一个最艰难的条件下创造着条件去尝试让对话发声让和解有可能而不是任由一个恶劣的局面不断地坠落下去或者把世界拱手相让给那些好战的恐怖的纳粹的这样一批狂热的人们

也就是说让我很感慨的就是这些人他们没有选择在最恶劣的时代躺平而是在一个最恶劣的时代仍然站出来为人类做点什么当然这件事情的另外一个角度去看它就是巴格尔斯会议其实是由慈善家资助的是慈善家带来的这样的机会吧

因为在最初的十年里帕格沃什会议是没有人赞助的在 1956 年的时候会议的组织者就向多个国家的富人寻求过资金支持然后是一个加拿大和美国的商人叫伊顿同意赞助的这个会议承担了全部的成本也是在他的老家帕格沃什举办所以才叫这个名字但是其实当时很干纳的是美国是面临着这个麦卡锡主义和这个红色恐怖就国内对于任何跟苏联有关的议题都非常警惕

然后伊顿和苏联高存尤其是和赫鲁晓夫的这种关系其实就让西方科学家们很反感所以其实是这帮美国的科学家们最后决定停止接受伊顿的资金那这就让帕德沃斯会议更艰难了所以到 60 年代中是又一批新的基金会包括福特基金会这个威廉史瓦斯基金会和一些小额的个人帮着维持会议的运营每年的会议都需要重新筹款

1961 年福德基金会的 10 万美元才让这个会议有可能 1962 年是靠着各种公开私下捐赠的 1.1 万英镑这个会议才开起来

而当后期随着会议逐渐成熟资金压力也就有所缓解但是其实一直以来也都是大学基金会联合国教科文组织包括像卡内基基金会提供了各种各样的这种资助和支持如果没有这些慈善的资金可以说帕格努什会议不会发生而这种国际交流一旦停止我们也不知道在当时国际维和的机制会不会变得尤其的恶劣和人类文明能否生活到现在所以

所以我觉得面对这样的情况呢非常有启发的一点就是在关键时刻有钱的出钱有力的出力这个有脑子的出脑子在最危机的时候吧我们仍然能看到人类文明的韧性是依然有各种各样的行动者在为了一个美好的未来而做出努力

我觉得这也是一个帕格沃斯会议给我带来的很大的启发当然也说明了慈善家的资金有多重要慈善不仅仅是一个可以去拯救小的生命和个体生命的这样的一件事情它也可以是对人类文明演进造成重大影响和发挥重大作用的这样的一个

工具和使其成为可能的重要方法但这一点往往是被人忽略的那既然一和也是一家公益和慈善倡导机构我觉得在这期节目的末尾去讲这样一个故事我觉得也恰如其分吧所以就希望我们可以有彼得罗夫有这个阿尔西波夫这样的关键时刻的勇气和担当也能有像帕多沃式的科学家们这样的不放弃不躺平在脆弱和黑暗的时代里不断努力的精神

当然也需要我们相信慈善的力量需要有钱的人出一点点自己的资本找到一些好的公益项目和好的机会去帮助人类文明变得更安全

而不是更脆弱今天我想讲的故事就讲完了在最开始和大家介绍了 Balstrom 他的思想历程介绍了超人类主义的来源和这个费米悖论和大过滤器然后中间呢系统性地跟大家介绍了脆弱世界假设的四种风险以及相对应的以核战的历史带来的各种故事然后最后和大家介绍了我觉得在关键时刻我们能做点什么和世界曾经是怎么做的这对我们的启发有什么

我希望大家喜欢这期节目然后如果你有任何的建议想法欢迎在评论区交流那我们今天就先到这里了拜拜