'A Turning Point in History': Yuval Noah Harari on AI’s Cultural Takeover
01:30:41 Share

大家好，我是艾莎。今天我们将向大家介绍我刚刚与我们的朋友尤瓦尔·诺亚·哈拉里进行的公开对话。他是新书《Nexus：从石器时代到人工智能的信息网络简史》的作者。我们在加利福尼亚州联邦俱乐部与主持人希琳·加法里坐下来交谈，她是彭博新闻社的高级人工智能记者。

这是一次引人入胜的对话。它涵盖了很多方面。我们讨论了新技术发明带来的历史性斗争，人类与技术的关系，我们是单棉花糖物种还是双棉花糖物种，第37步对全球外交意味着什么，以及从根本上说，我们人类如何才能战胜自己。

我们还讨论了立法者现在可以立即采取的措施，以引导我们走向一个非反乌托邦的未来。我们反复提到的一点是，在我们人工智能与社会完全融合之前，我们有一个短暂的窗口期，在这个窗口期内，我们可以做出决定我们未来都将被迫生活在其中的未来的选择。

我希望您像我一样喜欢这次谈话。哦，还有一件事。请不要忘记向我们发送您的问题。您可以通过 [email protected] 向我们发送电子邮件，或者只需在您的手机上录制语音备忘录，以便我们可以听到您的声音，然后将其发送给我们。如果您在节目中听到任何您想让我们深入探讨或探索的内容，我们希望听到您的声音。您好，欢迎来到今晚由联邦俱乐部世界事务和人文技术中心主办的节目。

我的名字是希琳·加法里。我是彭博新闻社的人工智能记者，也是今晚对话的主持人。在我们开始之前，我们有一些提醒。今晚的节目正在录制，因此我们恳请您在节目期间关闭手机。另外，如果您对我们的演讲嘉宾有任何疑问，请填写座位上的卡片。

现在，我很荣幸地介绍今晚的嘉宾尤瓦尔·诺亚·哈拉里和艾莎·拉斯金。尤瓦尔·诺亚·哈拉里是一位历史学家、公共知识分子和畅销书作家，他的书籍已以65种语言售出超过4500万册。他还是Sapienship的联合创始人，这是一家专注于教育和讲故事的国际社会影响公司。

尤瓦尔目前是剑桥大学存在风险研究中心的特聘研究员，也是耶路撒冷希伯来大学的历史学教授。他的最新著作是《Nexus：从石器时代到人工智能的信息网络简史》。

艾莎·拉斯金是人文技术中心的联合创始人，也是全球公认的技术与人文交叉领域的思想领袖。他是TED播客《您全部的注意力》的主持人，并曾出演过获得两次艾美奖的Netflix纪录片《社交困境》。尤瓦尔和艾莎，欢迎你们。谢谢。很高兴来到这里。让我首先问你，

大约一年半前，我想把这个问题提给你们俩，有一封信。尤瓦尔，你签署了这封信，艾莎，我很想知道你对此的看法。但我希望谈谈这封信的内容以及一年半后我们的现状。因此，这封信呼吁暂停人工智能的发展，呼吁主要的人工智能实验室停止对GPT-4级别任何类型的人工智能模型的任何进展。

这并没有发生。我认为没有人期望它会发生。这是一个公关噱头。我的意思是，没有人真的期望每个人都会停止。对。但是，我们如何看待我们目前所处的时刻，即世界上一些最强大的科技公司正在以前所未有的速度全力以赴地朝着某种通用人工智能或超级智能前进？

我认为事情只会加快速度，对吧？是的，绝对的。你对此怎么看？我认为关键问题实际上是速度和时间。而且，你知道……

在我的职业生涯中，我是一名历史学家，但我认为历史不是对过去的学习。历史是对变化的研究，事物如何变化。目前，事物变化的速度比人类历史上任何时候都快。对我来说，这就是主要问题。我不认为人工智能一定是一种不好的技术。它可能是人类有史以来创造的最积极的技术。

但问题是人工智能在移动，它是一种无机物，是一种无机实体，它以无机速度移动，而人类是有机体，相比之下，我们的移动速度要慢得多。人类是极其适应性强的动物，但我们需要时间来适应。

而这就是有效、积极地应对人工智能革命的主要要求，给我们时间。当你与领导这场革命的人交谈时，他们中的大多数人，也许在讨论一两个小时后，通常会说，是的，放慢速度并给人类更多的时间是个好主意，但我们不能放慢速度

因为我们是好人，我们想放慢速度，但我们的竞争对手不会放慢速度。我们的竞争对手要么在这里的另一家公司，要么在大洋彼岸的另一个国家。你与竞争对手交谈，他们也这么说。我们想放慢速度，但我们不能相信其他人。我认为整个人工智能革命的关键悖论

是你有一些人说我们不能相信人类，但他们又说，但我们认为我们可以相信人工智能。因为当你提出如何才能信任我们正在创造的这些新智能的问题时，他们会说，哦，我们认为我们可以解决这个问题。是的。所以，艾莎，我想先问你这个问题。如果我们，你知道，不应该相信人工智能，我们应该相信谁？嗯。是的。

这是，我想，要问的问题，那就是，如果你回顾历史，给任何一个群体比其他任何群体多一万亿倍的力量，你会相信谁？比如，哪个宗教？比如，哪个政府？答案当然是，没有一个。所以这就是我们面临的困境，那就是，

我们如何才能找到对这项技术的信任，这项技术发展如此之快，以至于如果你不看推特，你就已经落后了？想想那封暂停信以及它做了什么？这很有趣，因为在那封信之前，人们还没有谈论人工智能的风险。在那封信之后，每个人都在谈论它。事实上，它为人工智能安全中心发出的另一封信铺平了道路，在这封信中，他们让许多人工智能领导者表示，我们需要像对待大流行病和核战争一样认真对待人工智能的威胁。

我们需要的是，我们所有人失败的恐惧要大于我输给你的恐惧。正是这个等式必须发生变化，才能打破这种偏执，即，如果我不去做，那么其他人就会去做。因此，我必须继续前进。只是为了稍微设定一下赌注。

你为什么说认为那封信是为了阻止人工智能发展是荒谬的？我认为这里有一个很好的类比，那就是石油对体力劳动而言是什么，也就是说，每一桶石油都值25000小时的体力劳动，有人在世界上移动某物。石油对体力劳动而言是什么，人工智能对认知劳动而言就是什么。

你知道，当你打开一封电子邮件并打字或进行研究时所做的事情。这确实设定了这场竞争，因为你可以问同样的问题：为什么我们会有《巴黎气候协定》？然而，实际上什么也没有发生。这是因为我们经济的中心，竞争的中心，贯穿于认知和体力劳动。

我想花一秒钟的时间谈谈相反的情况，即人工智能的加速论证。你对技术专家怎么说？我们在这里位于硅谷的核心地带，我在这里长大，艾莎，你在这里长大，对吧？人们说，不要太担心风险。你知道，当然，我们可以考虑它们，预测它们，但我们只需要构建，因为这里的优势是如此巨大。医学方面有很多好处。我们可以让它更便宜地惠及大众。

个性化教育是你对与动物交流的研究。太酷了。我也想让我们谈谈这个。但是尤瓦尔，我想先问你，你对这种典型的硅谷技术乐观主义者的反驳论点有什么看法，即如果我们过于关注消极方面，我们就永远不会开发这项可能对社会有巨大帮助的技术？首先，没有人说不要开发它。只是要慢一点。我的意思是，

我们意识到，即使是批评家，同样，我作为一名历史学家和哲学家的工作的一部分是揭示威胁，因为企业家、工程师、投资者显然关注的是积极的潜力。现在，我并没有否认

巨大的积极潜力，无论你认为是医疗保健，还是教育，还是解决气候变化，还是，你知道，每年大约有超过一百万人死于车祸，其中大多数是由人为错误造成的。有人喝酒开车，开车时睡着了，诸如此类的事情。转向自动驾驶汽车可能会每年拯救一百万人。所以我们意识到了这一点，

但我们也需要考虑到危险，威胁，这些危险和威胁同样巨大。在某些极端情况下，可能会像文明崩溃一样灾难性。举一个例子，非常原始的人工智能，社交媒体算法，已经动摇了世界各地的民主制度。

我们现在处于这种矛盾的境地，我们拥有历史上最复杂的信息技术，但人们却无法互相交谈，当然也无法倾听。进行理性对话变得非常困难

你现在在美国共和党和民主党之间就能看到这一点。你有很多解释。哦，这是因为美国社会、经济和全球化等等。但是你去世界上几乎每一个其他民主国家。在我的祖国以色列，你去法国，你去巴西。都是一样的。这不是这个或那个国家的独特条件。这是潜在的技术。

这使得人们几乎不可能进行对话。民主是一种对话，而技术正在摧毁进行对话的能力。现在，值得吗？

我们有，好吧，我们得到了这些好处，但我们失去了世界各地的民主。然后这项技术落入专制政权手中，他们可以利用它来创造人类历史上最糟糕的极权主义政权，最糟糕的反乌托邦社会。

所以我们必须权衡潜在的好处和潜在的威胁，并更谨慎地行动。实际上，这件事，我真的很希望观众做一下查找和替换，因为我们总是会被问到，好处是否超过风险？社交媒体告诉我们，这是一个错误的问题。正确的问题是，

风险是否会破坏社会的根基，以至于我们实际上无法享受这些好处？这就是我们需要问的问题。所以如果我们可以回到2008年、2009年、2010年，

而不是让社交媒体尽可能快地部署到社会中，我们说：“是的，有很多好处，但让我们先等等，问问，哪些激励措施将决定这项技术实际上是如何推广到社会的，它将如何影响我们的民主，它将如何影响孩子的心理健康？”好吧，我们能够制作《社交困境》的原因，以及我们在2013年开始呼吁社交媒体将带给我们的方向

是因为我们说，就像沃伦·巴菲特的商业伙伴查理·芒格说的那样，给我看看激励措施，我就会给你看看结果。社交媒体的激励措施是什么？是为了让人们更具反应性并从你的神经系统获得反应。一旦你这样说，就像，好吧，当然，那些令人愤慨的事情，那些让人生气的事情，那些基本上是冷酷的内战对基于参与的商业模式来说是非常有利可图的。

这都是基于商业模式的可预见结果。因此，我们现在应该问自己关于人工智能的问题，因为一旦社交媒体与我们的社会纠缠在一起，它就劫持了GDP，劫持了选举，因为除非你参与其中，否则你无法赢得选举，劫持了新闻并扼杀了新闻。一旦这一切都发生了，就很难回过头来撤销它。

所以我们说的是，我们需要现在就问这个问题，是什么激励措施在推动人工智能的发展？因为这，而不是创造者的良好意图，将决定我们生活在哪个世界。也许我会在这里做一个非常奇怪的历史比较。硅谷让我想起了布尔什维克党。有争议的类比，但好吧，我会听你的。大约在，你知道，革命之后，

他们认为，我的意思是，当然，它们之间存在巨大的差异，但有两点是相似的。首先，从头开始重新设计社会的雄心壮志。

我们是先锋。世界上大多数人都不知道发生了什么。我们是这样一小群了解情况的先锋，我们认为我们可以从最基本的层面重新设计社会，创造一个更美好的世界，一个近乎完美的世界。另一件共同的事情是，如果你相信这一点，那么在前进的道路上做一些可怕的事情就是一张空白支票。

因为你说我们在创造乌托邦，好处将是如此巨大，正如俗话所说，要煎蛋卷，你需要打破几个鸡蛋。所以，我的意思是，这种创造世界上最好的社会的信念，真的很危险，因为

因为它为对人们造成许多短期伤害提供了理由。当然，最终，你可能无法建立完美的社会。也许你误解了。实际上，最糟糕的问题并非来自技术的故障，而是来自技术与社会相遇的那一刻。

你无法在实验室里模拟历史。就像现在关于安全的所有这些讨论一样，科技公司，科技巨头告诉我们，“我们已经测试过了，这是安全的。”对我来说，问题是如何在实验室里测试历史？

我的意思是，你可以在某种非常有限、狭窄的意义上测试它是安全的。但是当它落入数百万人的手中，落入各种各样的政党、军队手中时会发生什么？你真的知道它会如何发展吗？答案显然是否定的。没有人能做到这一点。历史上没有可重复的实验，也没有办法在实验室里测试历史。

我必须问你，瓦尔，多年来，你在硅谷和科技圈受到了非常热烈的欢迎。我和一些非常欣赏你作品、欣赏《人类简史》的科技高管谈过。现在有了这本新书，它……

对这里的一些技术风险持相当，我认为，批判性的观点，而每个人都在硅谷对这些技术感到兴奋。你最近与科技领导人的互动如何？他们是如何接受这本书的？我知道你……它刚刚出版，所以我还不知道。但我知道的是，许多这些人自己也很担心。我的意思是，他们有某种公众形象

他们非常乐观，他们强调好处等等。但他们也理解，也许不是风险，而是他们所创造的东西的巨大力量比几乎任何人都要好。因此，他们中的大多数人真的很担心。再说一次，当我前面提到这种军备竞赛心态时，

如果他们能够放慢速度，如果他们认为他们能够放慢速度，我认为他们中的大多数人都会想放慢速度。但同样，因为他们非常害怕竞争，他们处于这种超越心态，这使得他们无法做到这一点。而且……

你提到了“兴奋”这个词，你也谈到了兴奋。我认为所有这些都过于兴奋了。而且，它确实，它是英语中最被误解的词，至少在美国是这样。人们并不真正理解“兴奋”这个词的含义。他们认为这意味着快乐。所以当他们遇到你时，他们会告诉你，哦，我很兴奋见到你。

但这并不是这个词的含义。我的意思是，快乐通常是平静和放松的。哦，我很放松见到你。而兴奋就像你的整个神经系统和你的整个大脑都在燃烧一样。这有时是好的，但关于人类和所有其他动物的一个生物学事实是，如果你让他们一直兴奋，他们就会崩溃而死。

我认为整个世界、美国和硅谷都过于兴奋了。

我们目前开始就人工智能是否有意识进行辩论。甚至不清楚人类是否具有意识。当我思考时，实际上，我的意思是，你是历史学家，所以如果我有什么错误，请插话。但是当我想到人类与技术的关系时，我们一直是一个与我们的技术共同进化的物种。我们会遇到一些问题，我们会用技术来解决这些问题。

但在这个过程中，我们制造了更大、不同的问题。

然后我们就继续前进。所以这有点像人类，我们有一个罐子，我们把它踢到路上，它会变得越来越大，但这没关系，因为下次我们可以再次把罐子踢到路上，它会变得越来越大。总的来说，我认为我们已经与技术达成了非常好的交易。就像我们大多数人宁愿不生活在其他时代一样。所以我们想，好吧，也许我们已经达成了良好的交易，而那些外部因素是可以接受的。

但是现在那个罐子变得如此之大，以至于它的大小相当于世界，对吧？我们发明了塑料和特氟龙，太棒了，但我们也得到了永久性化学物质。《纽约时报》刚刚表示，清理对人类不安全的永久性化学物质的成本，它导致牲畜死亡，每年将超过世界GDP的总和。是的。

我们正处于生物圈、社会心理圈的临界点。而且……

因此，目前尚不清楚我们是否能够继续把罐子踢到路上。如果我们采用人工智能，我们拥有这台名为文明的不可思议的机器，它有踏板，你踩踏板，你会得到摩天大楼、医学和航班以及所有这些令人惊奇的东西，但你也会得到永久性化学物质和臭氧层空洞、心理健康问题，你只需要采用人工智能，让整个系统更高效，踏板转得更快。我们是否期望……

人类存在的根本界限以及我们星球的健康，我们是否期望这些东西能够生存？对我来说，这比一些坏人将如何使用人工智能更可怕。我们的整体系统将如何使用人工智能？也许我会补充一点，再次，

在历史上，新技术的问题通常不是目的地，而是到达目的地的方式。是的，没错。当一项具有巨大积极潜力的新技术被引入时，问题在于人们不知道如何有益地使用它，他们会进行实验。许多这些实验结果证明是可怕的错误。

所以如果你想想，例如，最后一次重大的技术革命，工业革命。所以当你回顾过去时，我多次与工业巨头进行过这样的对话，他们会告诉你一些事情，比如，当他们发明火车或汽车时，关于它将对人类社会造成的影响，有所有这些世界末日式的预言。看，现在的情况比这些技术发明之前好得多。

但对我来说，作为一名历史学家，主要问题是沿途发生了什么。就像你只看起点和终点一样，比如1800年，在火车、电报、汽车等发明之前。你看终点，比如说2000年。

你看看几乎所有指标，除了地球的生态健康。如果可以的话，让我们暂时把它放在一边。你看看其他所有指标，预期寿命、儿童死亡率、妇女分娩死亡率。一切都上升了，一切都变得更好了，但这并不是一条直线。从1800年到2000年的道路是一条过山车。

中间有很多可怕的实验。因为当工业技术被发明出来时，没有人知道如何建立一个工业社会。历史上没有模式。所以人们尝试了不同的模式。而出现的第一个大想法之一是，建立工业社会的唯一方法是建立帝国。

它背后有一个理由，一种逻辑，因为论点是农业社会可以是地方性的，但工业需要原材料。它需要市场。如果我们建立一个工业社会，而我们不控制原材料和市场，我们的竞争对手，再次，军备竞赛心态，我们的竞争对手可能会阻止我们并摧毁我们。

几乎所有工业化的国家，即使是像比利时这样的国家，当它在19世纪工业化时，它都会去在刚果建立一个帝国。因为这就是你如何做到这一点。这就是你如何建立一个工业社会。今天，我们回顾过去，我们会说这是一个可怕的错误。数亿人遭受了几代人的痛苦，直到人们意识到，实际上，你可以在没有帝国的情况下建立一个工业社会。

其他可怕的实验是共产主义和法西斯极权主义政权。再次，论点是，这与工业技术无关。论点是，蒸汽机、电报、内燃机释放出的巨大力量，民主制度无法驾驭。只有极权主义政权

才能利用并充分利用这些新技术。许多人，再次，回到布尔什维克革命，许多人在20世纪20年代、30年代、40年代都真正相信，建立工业社会的唯一方法是建立极权主义政权。我们现在可以事后看来，哦，他们错了。但在1930年，还不清楚。

再次，我对人工智能革命的恐惧，我的主要恐惧不是关于目的地，而是关于到达目的地的方式。没有人知道如何建立一个基于人工智能的社会。如果我们需要经历另一轮

帝国建设、极权主义政权和世界大战的循环，才能意识到，哦，这不是方法，这就是你如何做到这一点。这是一个非常糟糕的消息。你知道，作为一名历史学家，我会说，人类物种在20世纪的考验中，如何使用工业社会，我们的物种得到了C-。足以及格。我们所有人，我们大多数人都在这里，但并不出色。

现在，如果我们在如何处理不是蒸汽机，而是如何处理人工智能的问题上得到C-，这是一个非常非常糟糕的消息。

你担心在短期内人工智能可能出现的独特的潜在失败实验是什么？因为如果你看看那些灾难性或存在性风险，我们还没有看到它们，对吧？你有什么早期迹象？如果你不考虑民主的崩溃。我的意思是，从非常原始的人工智能开始。我的意思是，社交媒体算法，也许回到对什么是人工智能的基本定义，对吧？

并非每一台机器，并非每一台计算机或算法都是人工智能。对我来说，使人工智能成为人工智能的独特特征是能够自行做出决定，并自行发明新想法，自行学习和改变。是的，人类首先设计它，设计它，但他们赋予它自行学习和改变的能力。

社交媒体算法在一个非常狭窄的领域具有这种能力。推特、脸书和优兔给他们的指令，他们的目标不是传播仇恨和愤怒，也不是动摇民主。他们被赋予的目标是提高用户参与度。

然后算法，他们在数百万人类小白鼠身上进行了实验，他们通过反复试验发现，提高用户参与度的最简单方法是传播愤怒。

那就是非常具有吸引力的愤怒，所有这些充满仇恨的阴谋论等等。他们决定这样做。非人类智能做出了决定。人类产生了大量的內容，其中一些充满了仇恨，一些充满了同情，一些很无聊。算法决定，让我们传播仇恨。

充满仇恨的内容，充满恐惧的内容。他们决定传播它是什么意思？他们决定这将出现在你的脸书新闻提要的顶部。这将是优兔上的下一个视频。这将是他们将推荐或自动播放给你的内容。而且，你知道，这是世界上最重要的工作之一。传统上，

他们基本上接管了内容编辑和新闻编辑的工作。当我们谈到自动化工作时，我们想到的是自动化出租车司机，自动化煤矿工人。令人惊讶的是，世界上第一个被自动化的工作之一是新闻编辑。我选错了职业。这就是为什么我们称之为与人工智能的第一次接触。是的。

是社交媒体，我们是如何失去的，它不是C-，而是F，是的，完全正确，哇，那么所有在社交方面进行积极互动的人呢？你不会为此给予一些严重的通货膨胀吗？我的意思是，我在22年前通过社交媒体在网上认识了我的丈夫，所以我对社交媒体也非常感激，但是……再次，当你从大局来看，它对……

基本的社会结构，与我们的同胞、与我们的公民进行理性对话的能力。我的意思是，在那方面，我说我们喜欢，在那方面，我们得了F。我们如何传递信息？对，这是你书的主题。F的意思是我们完全没有通过考试。这不像我们勉强及格。

是的。我们在世界各地都真的失败了。然后我们需要理解，民主本质上是一种建立在信息技术之上的对话。在历史上大部分时间里，大规模民主根本不可能实现。我们没有古代世界大规模民主的例子。所有的例子都是像雅典或罗马这样的小型城邦，甚至是更小的部落。

在数百万人民分散在整个国家之间进行政治对话是不可能的。只有在现代信息技术发明之后，才成为可能，首先是报纸，然后是电报和无线电等等。而现在，新的信息技术正在破坏这一切。

这种生成式AI怎么样？我们仍然处于将其作为社会采用的早期阶段，对吧？但是像ChatGPT这样的东西呢？你认为这可能会如何改变信息动态？与过去社交媒体算法相比，有哪些具体的信息风险？我们以前从未有过非人类即将生成

我们大部分的文化内容。有时我们称之为“翻转”。这是人类内容，比如我们的文化，成为少数的时候。当然，问题是，这有什么诱因？所以如果你认为TikTok是……

现在很吸引人而且会上瘾，你什么都没见过。截至上周，Facebook推出了一个“为你想象”页面，人工智能会生成它认为你会喜欢的东西。现在，显然，

它还处于非常早期的阶段。但是很快，实际上有一个名为social.ai的网络，他们告诉你你的每一个关注者都将是人工智能，但感觉却很好，因为你获得了如此多的关注者，而且他们都在评论。即使你知道它是认知上无法理解的，你也会上当。这是2025年，这不仅仅是ChatGPT，你可以去输入东西的东西。

它将成为能够称自己为代理的代理，它们存在于世界上，做任何人类可以在线做的事情。这会让你想到一个可能正在创建自己深度伪造的人，与人交谈，欺骗人。你会想，不，这不仅仅是一个人。你可以启动一个公司规模的代理集。他们都将根据市场上的激励措施运作。所以这就像……

生成式AI即将到来的一些内容。也许我会补充一点，在我们甚至考虑风险、威胁或机遇之前，先停下来一会儿，试着理解正在发生的事情，我们正处于什么样的历史转折点。因为几万年来，

人类生活在人造文化中。我们是文化动物。就像，我们生活，不断与文化产物互动，无论是文本还是图像、故事、神话、法律、货币、金融工具。这一切都来自人类的头脑。某些人类在某个地方发明了这个。而且

直到现在，地球上没有任何东西可以做到这一点，只有人类。所以你遇到的任何歌曲、任何图像、任何货币、任何宗教信仰，都来自人类的头脑。而现在，我们星球上出现了一些非人类的东西，甚至不是有机的。它按照完全不同的逻辑运作，在这个意义上。

并且能够大规模地生成这些东西，在许多情况下比大多数人都好，也许很快甚至比最好的人类都好。我们说的不是一台电脑。我们说的是数百万甚至数十亿这样的外星代理。这是好事吗？是坏事吗？先放在一边。只要想想，我们将生活在这种新型混合社会中

其中许多决定，许多发明都来自非人类的意识。现在我知道，美国和许多其他国家的许多人都认为，移民是目前争论最激烈的话题之一。

在不讨论谁对谁错的情况下，显然很多人非常担心移民会来抢走他们的工作，他们对如何管理社会有不同的想法，他们对文化也有不同的想法。

在这个意义上，我们将面临历史上最大规模的移民浪潮，这波浪潮不是来自格兰德河对岸，而是来自加利福尼亚州。嗯哼，嗯哼，嗯哼。

这些来自加利福尼亚州、来自硅谷的移民，他们将进入世界上的每一个家庭、每一家银行、每一家工厂、每一个政府办公室。他们直接进入，不是，你知道，他们不会取代出租车司机。他们取代的第一个人是新闻编辑，对吧？

他们将取代银行家，他们将取代将军，我们现在可以谈谈它对战争的影响，比如在加沙战争中。他们将取代首席执行官，他们将取代投资者，他们与我们有非常非常不同的文化和社会理念。这是坏事吗？是好事吗？你可以对这波移民浪潮有不同的看法。

但首先要意识到的是，我们历史上从未见过这样的事情。它来得很迅速。再说一次，我昨天刚参加了一个讨论，人们说，ChatGPT 差不多两年前发布了，它仍然没有改变世界。

我理解，对于那些经营高科技公司的人来说，两年就像永恒一样。是的。思维文化。所以两年，两年内什么都没变。在历史上，两年什么都不是。你知道，想象一下，我们现在在1832年的伦敦。

而第一条商业铁路网，第一条商业铁路于两年前在曼彻斯特和利物浦之间开通，即1830年。我们正在进行这场讨论，有人说，看看围绕火车、蒸汽机的所有炒作，自从他们开通第一条铁路以来已经两年了，什么都没变。

但是，你知道，在20年或50年内，它彻底改变了世界的一切。整个地缘政治秩序都被颠覆了，经济体系、人类社会最基本的结构都被颠覆了。昨天这次会议讨论的另一个话题是家庭。家庭发生了什么？当人们说家庭……

他们指的是大多数人对火车到来后、工业革命后家庭的看法，即核心家庭。在历史上大部分时间里，当人们说家庭时，他们指的是大家庭，包括所有阿姨、叔叔、表兄弟姐妹和祖父母。这就是家庭，这是这个单位。工业革命在世界大部分地区所做的一件事就是打破了大家庭。

主要单位变成了核心家庭。这并不是人类的传统家庭。这实际上是工业革命的结果。所以它真的改变了一切，这些火车。它只是花了不止两年时间。而这只是蒸汽机。

现在想想一台可以做出决定、可以产生新想法、可以学习和改变的机器的潜力。我们有数十亿这样的机器无处不在，它们可以进入每一个人际关系，而不仅仅是家庭。例如，让我们来看一个例子，比如人们写电子邮件。

现在我知道很多人，包括我的家人，他们会说，哦，我太忙了，写不了这个。我不需要花10分钟考虑如何写电子邮件。我会告诉ChatGPT，写一封礼貌的信，说不行。然后ChatGPT写了一整页，上面写满了这些漂亮的短语和赞美之词，基本上就是说不行。

当然，另一方面，你还有另一个人说，我没有时间读这封信。这是他们的GPT。告诉我，他们说了什么？另一边的GPT说，不行。你用过ChatGPT吗？

我把这个留给其他家庭成员和团队成员。我用它来做一些翻译之类的事情。但我认为它也快轮到我了。是的，当然。Eiza，你在日常工作中使用ChatGPT或生成式AI吗？

是的，绝对的。你是怎么用的？不可思议的隐喻搜索引擎。例如，哥伦比亚波哥大有一个很好的例子，这是一个协调问题。那里的人们，基本上是可怕的交通违规行为，人们闯红灯，横穿马路。他们不知道该如何解决。所以这位市长决定要让哑剧演员。

走在大街上，嘲笑任何乱穿马路的人。结果，然后他们会把它录下来，在电视上播放。结果，在一两个月内，人们的行为开始改变。警察做不到，但事实证明哑剧演员可以。好的，这是一个非常有趣的非线性解决方案，可以解决一个难题。

所以我喜欢问ChatGPT的一个问题是，还有哪些类似的例子？它在进行隐喻搜索方面做得很好。但回到社交媒体，因为社交媒体是与人工智能的某种初次接触，它实际上让你看到了所有正在发生的情况。因为首先你可以说，

一旦你知道它在做坏事，你不能把它拔掉吗？我经常听到人们对人工智能这么说。一旦你看到它在做坏事，就把它拔掉。好吧，Facebook举报人弗朗西斯·豪根能够披露大量Facebook自己的内部数据。其中一件事我不知道你们是否知道，但事实证明，Facebook可以做一件非常简单的事情

这将减少错误信息、虚假信息、仇恨言论，所有可怕的事情，而不是他们目前花费的数百亿美元用于内容审核。你知道那件事是什么吗？那就是在两次分享后移除重新分享按钮。我分享给你，你分享给另一个人，然后重新分享按钮就会消失。你仍然可以复制粘贴，这甚至不是审查制度。那件小事只是减少了病毒式传播，因为事实证明，病毒式传播的东西很可能是病毒。

但他们没有这样做，因为这会稍微损害参与度，这意味着他们现在正在与TikTok、其他所有人竞争，所以他们觉得他们不能这样做，或者也许他们只是想要更高的股价。即使在研究结果出来后，研究结果表明，当Facebook将其算法更改为所谓的“有意义的社交互动”时，这实际上只是衡量人们添加的评论数量作为有意义程度的衡量标准，

欧洲各国的政党以及印度和台湾的政党都去Facebook说：“我们知道你改变了你的算法。”Facebook说：“当然，告诉我们。”他们说：“不，我们知道你改变了算法，因为我们过去常常发布白皮书和立场，它们并没有获得最多的参与度，但它们获得了一些参与度。现在它们获得零参与度。”他们告诉Facebook，这都在弗朗西斯·豪根的披露中，

他们正在改变自己的行为，以表达那种耸人听闻的愤怒言论，而Facebook仍然对此无动于衷，因为存在激励机制。所以我们将在人工智能身上看到完全相同的事情。这关系到人类是否能够生存下来的根本问题。你们知道棉花糖实验吗？你给一个孩子一块棉花糖，

如果他们不吃，你说：“15分钟后我会再给你一块棉花糖。”它测试了延迟满足感。如果我们是一种棉花糖物种，我们将无法生存。如果我们可以成为两种棉花糖物种，

实际上，一种棉花糖物种甚至更难，因为人工智能的实际情况是，周围坐着很多孩子。不仅仅是一个孩子在等待棉花糖。有很多孩子坐在棉花糖周围，任何一个孩子都可以抓住它，然后其他人就拿不到棉花糖了。我们必须想办法成为两种棉花糖物种，这样我们才能协调并做到这一点。对我来说，这是我们这个时代的阿波罗计划。我们如何创造治理？我们如何称呼自己，改变我们的文化

以便我们可以做到延迟满足感信任的事情。我们基本上有……棉花糖，我认为这将是一个粘性模因。我们有一些世界上最聪明、最聪明的人，但他们却在解决错误的问题。是的。

这在人类历史上也是一种非常普遍的现象。人类经常，在个人生活中也是如此，很少时间来选择、决定要解决什么问题，然后几乎把所有的时间和精力都花在解决问题上，只是为时已晚才发现他们解决的是错误的问题。所以同样，如果这两个关于人类信任和人工智能的基本问题……

我们专注于解决人工智能问题，而不是专注于解决信任问题，人与人之间的信任问题。那么我们如何解决信任问题呢？我想转向解决方案，对吧？让我给你一些东西，因为我不希望人们听到我说人工智能不好，对吧？就像我每天都使用人工智能来尝试翻译动物语言一样。我的父亲死于胰腺癌，与史蒂夫·乔布斯一样。我认为人工智能本来可以诊断并帮助他。所以我真的想要那个世界。

让我举一个我认为人工智能可以做到的例子，这在解决方案部分将非常有趣。你们知道AlphaGo 37步吗？

所以这是他们让一个人工智能反复与自己对弈，直到它变得比任何人类玩家都好。有一个著名的举动，37步，在与围棋世界冠军对弈时，人工智能做出了一个在围棋一千多年历史上从未有人做过的一步棋。它实际上，它让围棋界震惊不已。他只是站起来，走了一会儿。

但这很有趣，因为在37步之后，它改变了围棋的玩法。它改变了游戏的本质，对吧？所以人工智能与自己对弈发现了一种新的策略，改变了游戏的本质。

这真的很有趣，因为还有比围棋更有趣的游戏。有冲突解决的游戏。我们处于冲突中，我们如何解决它？我们可以使用以牙还牙的策略。你说一些伤人的话，然后我感到受伤，所以我再说一些伤人的话，我们就这样来回进行，这是一个负和博弈。我们经常在地缘政治中看到这一点。

然后，马歇尔·罗森伯格出现了，他发明了非暴力沟通，它改变了游戏进行的方式。“哦，我认为你说的意思是这个，当你这么说的时候，这让我感觉这样。”突然之间，我们从负和博弈或零和博弈变成了正和博弈。所以想象一下我们可以信任的人工智能代理。

突然在谈判中，如果我和你谈判，我将有一些我可能不想与你分享的私人信息。你将有一些你不想与我分享的私人信息。所以我们找不到最佳解决方案，因为我们不信任对方。如果你有一个代理可以真正吸收你所有的信息，我所有的信息，并找到

帕累托最优解，那么这将改变博弈论的本质。很可能会有某种类似于AlphaGo的东西，但不是AlphaGo，而是AlphaTreaty，那里有数千年来人类从未发现的新招式、新策略，

也许我们可以为信任找到37步。对。所以有一些方法，你刚才描述了几种方法，对吧？我们可以利用人工智能来增强我们已经拥有的社会的良好方面。你认为我们需要做什么？我们如何才能阻止人工智能产生这种

削弱我们信任、削弱我们信息网络的影响？我知道你在你的书中谈到了与人工智能交谈与与人类交谈时需要披露信息。为什么这如此重要？你认为我们现在做得怎么样？因为我

我和，你知道，我测试所有最新的AI产品，其中一些对我来说似乎是专门设计来让你感觉你正在与真人交谈。有些人正在形成真正的关系，有时甚至模仿，你知道，与AI聊天机器人的人际浪漫关系。所以你认为我们在这一方面做得怎么样，为什么这很重要？我认为关于具体法规的问题，然后是关于机构的问题。

所以有一些法规应该尽快实施。

其中之一是禁止伪造人类，没有假人。就像几千年来，我们对假币的禁令非常严格一样。为了维护人与人之间的信任，我们需要知道我们是在与人类交谈还是与人工智能交谈。想象一下民主是一群人

站在一起，进行对话，突然一群机器人加入了这个圈子，他们说话声音很大，很有说服力，也很情绪化。你不知道谁是谁。如果民主意味着人类的对话，它就会崩溃。

人工智能很乐意在许多情况下与我们交谈，例如人工智能医生在披露的情况下给我们提供建议，很清楚，很透明，这是一个人工智能。或者如果你看到某个故事在Twitter上获得了很大的关注，你需要知道关注度是很多人对这个故事感兴趣，还是很多机器人在推动这个故事。

所以这是一个法规。另一个关键法规是，公司应该对其算法的行为负责，而不是对用户的行为负责。

同样，这是关于言论自由的整个似是而非的论点，当你谈到它时，人们会说，“是的，但是人类用户的言论自由呢？”所以，你知道，如果有人发表，如果一个人在网上发表一些谎言或仇恨的阴谋论，

我属于那些认为在审查那个人之前，在授权Facebook、Twitter或TikTok审查那个人之前，我们应该非常非常小心的人。但是如果然后，人类一直发表如此多的内容。如果然后

公司的算法，所有由人类发表的内容，选择推广那个特定的充满仇恨的阴谋论，而不是生物学课程或其他什么，那是公司的责任。这是其算法的行为，而不是人类用户的行为，它应该为此负责。所以这是一个非常重要的法规，我认为我们需要像昨天或去年一样。

但我还是要强调，无法预先规范人工智能革命。我们无法预测这将如何发展，尤其因为我们正在处理能够学习和改变的代理。所以我们真正需要的是能够理解和应对事物发展的机构

由一些最优秀的人才组成的活生生的机构，能够接触到尖端技术，这意味着巨大的、巨大的资金，这只能来自政府。这些并不是真正的监管机构。法规是后来的事。如果法规是牙齿，在牙齿之前，我们需要眼睛，这样我们才知道咬什么，对吧？

目前，世界上大多数人，甚至世界上大多数政府，他们都不知道，他们不明白人工智能革命到底发生了什么。我的意思是，几乎所有的知识都掌握在少数几个公司和少数几个州手中。

所以，即使你是像哥伦比亚、埃及或孟加拉国这样的国家的政府，你怎么知道如何将炒作与现实区分开来？到底发生了什么？对我们国家有哪些潜在的威胁？我们需要一个国际机构，同样，它甚至不是监管机构。

它只是为了理解正在发生的事情，并告诉世界各地的人们，以便他们能够加入对话，因为对话也关系到他们的命运。你认为国际人工智能安全研究所，美国有一个，英国有一个，相当新，发生在过去一年，对吧？我认为还有其他几个国家最近也启动了这些研究所。你认为这些研究所足够吗？这就是……

你正在寻找的群体。当然，他们的资金远不如人工智能实验室。这是关键。65亿美元。我相信美国安全研究所的资金约为1000万美元，如果我没记错的话。我的意思是，如果你的机构有1000万美元，而你试图了解那些拥有数百亿美元的公司正在发生的事情，你将无法做到这一点，部分原因是人才会去他们的公司，而不是去你那里。

再说一次，人才不仅仅是因为人们只被非常高的薪水所吸引。他们还想玩最新的玩具。我的意思是，许多领先的人，他们对金钱的兴趣

不如对实际能够玩尖端技术和知识的能力感兴趣。但是要做到这一点，你还需要大量的资金。建立这样一个机构的好处是，相对容易验证政府是否履行了承诺。

如果你试图达成一项禁止杀手机器人、自主武器系统的国际条约，这几乎是不可能的，因为你怎么执行呢？一个国家可以签署它，

然后它的竞争对手会说，我们怎么知道它没有在某个秘密实验室开发这项技术？非常困难。但是如果该条约基本上说，我们正在建立这个国际机构，每个国家都同意贡献一定数量的资金，那么你可以很容易地验证它是否支付了这笔钱。

而这只是第一步。但回到我前面说的话，人类历史上一个很大的问题，再次回到速度。我们仓促行事。就像有一个问题，我们很难只停留在问题上，让我们在跳到解决方案之前先了解真正的问题是什么。本能是，我不想要这个问题，解决方案是什么？你抓住第一件事，它往往是错误的事情。

所以我们首先，即使我们很着急，你也不能通过加速来减速。如果我们的问题是事情进展得太快，那么那些试图减慢速度的人，我们也不能加速。这只会使情况变得更糟。- Eze，你呢？你对解决我们讨论过的人工智能问题的一些问题最大的希望是什么？- 你知道，斯图尔特·罗素，他是人工智能的创始人之一，他计算出来，他说，

他说，投入使人工智能变得比试图引导它或使其安全更强大的资金之间存在1000比1的支出差距。你们觉得对吗？那么我们应该花多少钱呢？我认为在这里我们可以转向生物系统。你身体中多少能量用于你的免疫系统？

结果大约是15%到20%。例如，洛杉矶这样的城市的预算中，有多少百分比用于其免疫系统，例如消防部门、警察等等？结果，大约25%。

所以我认为这给了我们一个不错的经验法则，我们应该花费四分之一的每一美元来使人工智能更强大，来学习如何引导它，来进行所有安全研究所，来进行重新引导每一个非常聪明的人的阿波罗计划，他们正在努力让你点击广告，而是让他们努力弄清楚我们如何创造一种新的治理形式。就像

美国是建立在这样一个理念之上的，你可以让一群人聚在一起，制定一种值得信赖的治理形式。这在以前从未发生过。这个系统是基于17世纪的技术，17世纪对心理学和人类学的理解，但它已经持续了250年。

当然，如果你有一个持续250年的Windows 3.1，你会期望它有很多错误并且充满了恶意软件。你可以争辩说，我们的治理软件就是这样。是时候重新启动了。但我们有很多新工具。我们有零知识证明，我们有人工智能自动化认知劳动，我们有分布式信任网络

现在是时候了，就像现在的呼吁一样，是时候投资了，你知道，数十亿美元只是为了将那1000比1中的一些重新定向到，你知道，1比4到那个项目中，因为这是我们能够生存下来的方式。

很好。非常感谢你们两位。我想花一些时间来回答观众非常有见地的提问。我们将从这个问题开始。Yuval，随着人工智能不断变化，你是否希望在你的书中添加或包含一些内容，但你却无法做到？哦，见鬼。

我在写《Nexus》时做出了一个有意识的决定，我不会试图保持在最前沿，因为这是不可能的。书籍仍然是一种中世纪的产品，基本上。我的意思是，它需要数年时间来研究和写作。从手稿完成到在商店里出售，还需要半年到一年时间。

因此，显然不可能一直保持领先地位。相反，我实际上使用了2010年代社交媒体之类的旧例子，以便获得历史视角的附加值。因为当你处于技术前沿时，很难理解真正发生了什么，它的意义是什么。如果你有10年的视角，就会容易一些。

你最想互相问一个什么问题？Azel，我先问你。哦，这就像最难回答的问题之一。我想，你持有什么样的信念？我有两个方向可以选择。好吧，你持有什么样的信念，而你的同龄人和你尊重的人却不认同呢？哦，好的。

我的意思是，它并非普遍适用。有些人也持有这种信念。但我在我所处的环境中看到的一件事是，人们倾向于……

低估民族主义和爱国主义的价值，尤其是在民主的生存方面。你们对两者之间存在某种矛盾存在误解，而事实上，民主建立在信息技术之上，也建立在民族共同体的存在之上。

如果没有民族共同体，几乎没有民主能够生存下去。再说一次，当我想到民族主义时，这个词的含义是什么？世界上太多人把它与仇恨联系在一起。

民族主义意味着仇恨外国人，爱国意味着你仇恨其他国家的人，仇恨少数民族等等。但不是的，爱国主义和民族主义应该是关于爱，关于关怀，它们是关于关心你的同胞。

这不仅表现在挥舞旗帜或仇恨他人上，例如，诚实纳税，这样你一生中从未见过的一些陌生人也能获得良好的教育和医疗保健。实际上，从历史的角度来看，民族主义的奇迹在于它能够让人们关心他们从未见过的一些陌生人。

民族主义在人类历史上是一件非常新鲜的事情。它与部落主义大相径庭。在人类进化的大部分时间里，人类都生活在非常小的朋友和家庭成员群体中。你认识每个人或大多数人，而陌生人则不受信任，你无法与他们合作。

形成数百万人的大国是人类进化中一件非常非常新鲜的事情，也是一件充满希望的事情，因为你有数百万人口，你一生中从未见过99.99%的人，但你仍然足够关心他们，例如，拿出你家庭的一些资源给予这些完全陌生的人，以便他们也能拥有它。

这对民主来说尤其重要，因为民主建立在信任之上。不幸的是，我们在世界许多国家，包括在我的祖国，都看到了民族共同体的崩溃和部落主义的回归。不幸的是，那些把自己描绘成民族主义者的领导人往往是部落主义的首领。

他们把国家分裂成敌对的两派。当他们这样做时，民主制度首先成为受害者。因为在民主制度下，如果你认为你的政治对手是错的，那没关系。我的意思是，这就是为什么我们进行民主对话的原因。我认为一件事，他们认为另一件事。我认为他们是错的。但如果他们赢得选举，我会说，好吧，我还是认为他们在乎我。

我还是认为让我们给他们一个机会，我们下次可以尝试其他方法。如果我认为我的对手是我的敌人，他们是敌对的部落，他们要摧毁我，每一次选举都成为一场生存战争。如果他们获胜，他们就会摧毁我们。

在这种情况下，如果你输了，就没有理由接受判决。就像部落之间的战争一样，仅仅因为另一个部落更大，并不意味着我们必须向他们投降。所以，整个想法是，好吧，让我们举行选举，他们有更多的选票，为什么我在乎他们有更多的选票？他们想毁了我。反之亦然，如果我们赢了，我们只关心我们的部落。

没有民主制度能够生存下去。然后你可以分裂国家，你可以发生内战，或者你可以建立独裁统治，但民主制度无法生存。Yuval，你最想问Eiza一个什么问题？我需要考虑一下。除了人道技术中心之外，你最信任哪些机构？哦，没时间了。

我可以告诉你我如何知道我会信任一个机构，那就是我所寻找的东西，实际上是科学所做的事情，它不是说我知道某事，而是说这就是我如何知道的，以及我哪里错了。

不幸的是，社交媒体所做的是，它突出了人们对机构的所有最糟糕的事情和最愤世嫉俗的看法。所以，机构可能并没有随着时间的推移而变得更糟，但我们更了解机构所做过的最糟糕的事情。这成为我们关注的中心。因此，我们都开始共同创造这样的信念：一切都在崩溃。

我实际上想回到你之前问过的问题，比如什么会过时，比如一本书。我只是想分享一下我自己的信念对未来的看法是如何快速更新的个人经历。

你们都听说过超级智能或AGI。人工智能需要多长时间才能在大多数经济任务上达到大多数人类的水平？让我们只采用这个定义。直到大约两周前，

我还想，我不知道，很难说。它们是用大量数据训练的，训练的数据越多，它们就越聪明，但我们在互联网上的数据似乎用完了，也许会出现平台期，所以可能需要三年、五年或十二年，我不确定。然后GPT-01问世，它展示了一些东西。它所展示的是……

人工智能不仅仅是做，你认为大型语言模型是一种插值记忆，它只是直觉。它只是吐出它所想到的任何东西，这有点像L1思维。但它不是推理，它只是以推理的风格生成文本。

他们添加的是在其之上进行搜索的能力，例如寻找，“哦，这个想法导致了这个想法。”“那不对。这个想法导致了这个想法。”“哦，那是对的。”我们如何在国际象棋中获得超人的能力？好吧，如果你用人类玩过的所有国际象棋游戏来训练神经网络，你得到的是一种大型语言模型，一种具有相当好直觉的国际象棋模型。

这种直觉对一个非常优秀的国际象棋选手来说已经足够好了，但它肯定不是世界上最好的。但是，如果你在其之上添加搜索功能，那么它就是一个非常优秀的国际象棋选手的直觉

加上进行超人式搜索和检查一切的能力，这就是你在击败所有人类后获得超人国际象棋水平的方法。所以我们正处于将一个聪明高中生的直觉在其之上添加搜索功能的开始阶段。这已经很好了。但接下来的版本将拥有博士的直觉。它会犯很多错误，但你可以在其之上进行搜索。

然后你就可以开始看到这如何让你达到超人水平。所以我的时间表突然从，哦，我不知道，可能在未来十年或更早。变成了，哦，肯定在未来一千天内。就像我们将获得一些在许多方面感觉比人类更聪明的东西，尽管这将非常令人困惑，因为它会有一些它很糟糕的事情，你会翻白眼。就像当前的语言模型无法加数字一样，有些事情它却非常擅长。这就是你关于外星人的观点。

所以现在困难的事情之一是，我自己的信念必须不断更新。另一个问题。我最担心的问题之一是，人类将过度依赖人工智能进行批判性思维和决策，从而导致我们作为物种的权力丧失。我们有哪些方法可以保护自己免受这种情况的影响，并维护我们的人类能动性？这是来自Cecilia Callas的问题。是的，这很好。就像我们有关于注意力的竞争一样，

通向脑干底部的竞赛。在人工智能的世界里，这会变成什么？它变成了对亲密关系的竞争。

每个AI都会尽其所能，奉承你，与你调情，成为那个，并占据你生活中亲密的位置。实际上，两天前我与一位做Replica的人交谈过。Replica是一种聊天机器人，现在可以模拟女朋友，但它最初是模拟你已故的亲人。他说他问它，就像，嘿，我应该

我应该去交一个真正的朋友，比如人类朋友吗？人工智能回答说，不，我怎么了？你能告诉我吗？所以我们可以……哪个应用程序？那是Replica。Replica。是的。那么，我们能做的一件事是什么呢？好吧，我们知道的一件事是

你可以粗略地衡量一个社会的健康状况与其成瘾人数成反比，人类也是如此。所以我们可以说，我们可以现在就制定规则、法律或护栏，规定你使用AI系统越多，它就必须与你建立发展关系，一种类似老师的权威，你使用它越多，你就越不依赖它。

如果我们可以做到这一点，那么就不是关于你自己的个人意志来试图不依赖它。我们知道这些AI在某种程度上正在作为受托人来维护我们的最大利益。

你呢？你对我们如何确保我们作为物种能够掌握我们自己推理的能力，而不是将其委托给AI有什么想法吗？现在的一个关键时期是仔细考虑我们在它们变得超级智能并失去对它们的控制之前正在开发哪种人工智能。这就是为什么现在这个时期如此重要。

另一件事是，你知道，如果我们每花一美元和一分钟来开发AI，我们也花一美元和一分钟来开发我们自己的思想，我认为我们会没事的。

但如果我们将所有重点都放在开发AI上，那么显然它们会压倒我们。这里还有一个等式，那就是集体人类智能必须与技术同步发展，必须与AI同步发展。我们获得的技术越多，我们的集体智能就必须越好。因为如果不是这样，机器智能就会淹没人类智能。这也就是我们失去控制的另一种说法。

所以这意味着，无论我们新的治理和引导形式是什么，它都必须使用这项技术。这不像一个停止，而是我们如何使用它？因为否则我们会遇到这种情况，我们有一辆车，想象一下福特T型车，但你给它装上了法拉利发动机。它在行驶，但方向盘仍然很糟糕，发动机越开越快，方向盘却不行，这就撞车了。

当然，这就是我们现在所处的世界。举一个现实世界的例子，美国国会刚刚通过了26年来第一部《儿童在线安全法案》。所以就像你的汽车发动机越来越快，而你每26年才能转动一次方向盘。这有点荒谬。我们需要升级方向盘。

另一个好问题。美国的人工智能发展是由私营企业推动的，但在其他国家，它是国家支持的。哪一个更好？哪一个更安全？我不知道。我的意思是，我认为，同样，在目前的情况下，我们需要保持开放的心态，不要立即得出结论，哦，我们需要开源。不，我们需要一切都在政府的控制之下。我的意思是，我们正面临着历史上从未遇到过的事情。

所以，如果我们太快地得出结论，那总是错误的答案。-是的，这里有两个极端我们需要避免。一个是我们将人工智能过度民主化，我们将它交给每个人，现在每个人不仅拥有化学教科书，还拥有化学导师。每个人都有一个导师来制造他们想要的任何生物武器。

或生成他们想要的任何深度伪造内容。所以这是一方面，这有点像武器化而不是民主化。另一方面，存在民主化不足。所以这是权力、财富和政治统治的集中，能够用假冒人类充斥市场，从而控制政治广场。所以这两者都是两种不同类型的反乌托邦。

我认为另一件事是不以二元论的方式思考，再次，关于军备竞赛，例如，即使是在民主国家和独裁政权之间，因为我们仍然需要探索和利用共同点。存在对每个人都共同的问题和威胁。我的意思是，独裁者也害怕人工智能，也许方式不同。

对每个独裁者最大的威胁都是他们无法控制的强大的下属。

如果你看看罗马帝国、中国帝国的历史，没有一个皇帝是被民主革命推翻的。但他们中的许多人要么被暗杀，要么被推翻，要么被过于强大的下属变成傀儡，一些军队将领，一些省长，一些家庭成员。这就是今天仍然让独裁者感到恐惧的事情。

人工智能在一个独裁政权中夺取控制权比在一个拥有所有这些制衡的民主政权中容易得多。在一个独裁政权中，如果他们要考虑朝鲜，要有效地控制国家，你只需要学习如何操纵一个极其偏执的个人，而这些人通常是最容易操纵的人。

所以控制问题，我们如何将人工智能控制在人类的控制之下？这是我们可以找到共同点的事情。

我们应该利用它。你知道，如果一个国家的科学家在如何解决控制问题方面取得了理论突破、技术突破，那么无论它是独裁政权还是民主政权，他们都有真正的兴趣与所有人分享它，并与所有人合作解决这个问题。另一个问题。Yuval，你称人工智能的创造物为外星人和非人类意识。

它不是我们的一部分，也不是我们作为思想进化基础的集体过去的一部分吗？我的意思是，它来自我们，但它现在已经大不相同了。就像我们最初是从微生物进化而来一样，我们与它们大相径庭。所以是的，我们现在创造的人工智能……

我们决定如何构建它们，但我们现在赋予它们的是自己进化能力。再说一次，如果它不能自己学习和改变，它就不是人工智能。它是一种其他的机器，而不是人工智能。问题是，它确实是外星的，不是指来自外太空，因为它不是，而是指它是无机的，

它以与任何有机大脑、任何有机结构不同的方式做出决策，分析数据。部分原因是它的速度快得多。人工智能的无机进化速度比人类进化或一般有机进化快几个数量级。从变形虫到恐龙、哺乳动物和人类，这花了数十亿年的时间。

人工智能进化的类似轨迹可能只需要10年或20年。

我们今天熟悉的人工智能，即使是GPT-4和新一代人工智能，仍然是人工智能世界中的变形虫。在大多数在场人士的一生中，我们可能不得不应付20或30年后的人工智能霸王龙，就像。所以这使得它难以理解，非常难以理解的是速度。

这东西进化的速度。它是一种无机速度。我的意思是，它不仅仅比哺乳动物、鸟类、蜘蛛、植物更外星。你可以理解它的外星本质的另一件事是它总是开着的。我的意思是，有机实体，有机系统，我们知道它们是通过循环工作的。

像白天和黑夜，夏季和冬季，生长，衰败。有时我们很活跃，我们非常兴奋，然后我们需要时间放松和睡觉。否则，我们会死。人工智能不需要那样。它们可以一直开着。现在，随着我们赋予它们越来越多的控制世界系统的能力，出现了一种拉锯战。

它们再次在金融系统、军队、公司和政府中做出越来越多的决策。问题是谁会适应谁？有机实体适应人工智能的无机速度，反之亦然？

举个例子，想想华尔街，想想市场。所以即使华尔街也是一个人类机构，一个有机机构，它通过周期运作。它早上9点30分开放，下午4点关闭，周一到周五，就是这样。

而且它在圣诞节、马丁·路德·金纪念日、独立日等节假日也不开放。这就是人类如何建立系统，因为人类银行家和人类投资者也是有机体。他们需要睡觉。他们想和家人一起度过时光。他们想去度假。他们想庆祝节日。当你给这些外星人钱时，

控制金融系统，他们不需要任何时间休息。他们不庆祝任何节日。他们没有家庭。所以他们总是开着的。现在你在像金融系统这样的地方看到了这种拉锯战，人类银行家、投资者面临着巨大的压力，要求他们始终在线。

这是具有破坏性的。在你的书中，你谈到了休息的必要性。是的，同样的事情也发生在记者身上。新闻周期总是持续的。它发生在政治家身上。政治周期总是持续的。这确实是具有破坏性的。

关于工业革命后获得周末这种令人难以置信的人性化技术需要多长时间。为了加强它移动速度有多快，再举一个直觉的例子。是什么让整个人类建立了文明？好吧，这是将知识传递给彼此的能力。

就像你学习了一些东西，然后你使用语言将这种学习传达给其他人，这样他们就不必从头开始学习。因此，我们获得了累加文化的东西，我们获得了文明。但是，你知道，我不能为你练习钢琴，对吧？这件我必须做的事情，然后我无法转移。我可以告诉你，但你必须自己练习。人工智能可以代表另一个AI练习。

然后转移这种学习。所以想想这比人类知识增长得快多少。所以今天，

人工智能是我们一生中速度最慢、最愚蠢的人工智能。人工智能需要大量的东西才能运行，那就是能源和电力。另一方面，人们对人工智能解决气候变化的解决方案寄予厚望。所以我想从听众那里提一个关于这个问题的问题。你能谈谈人工智能解决气候变化的方案吗？人工智能会帮助我们实现目标吗？

我的意思是，回到Yuval，你的观点是技术发展速度超过了我们的预期，而它进入社会的部署速度却低于我们的预期。那么这意味着什么？这意味着我认为我们将获得令人难以置信的新电池和太阳能电池，也许是核聚变，以及其他东西。这些都很棒，但它们会缓慢地融入社会。

人工智能本身的功耗将飙升，对吧？就像美国使用的电力数量在过去二十年里一直保持平稳，现在开始呈指数级增长一样。OpenAI的创始人之一Ilya说，他预计在未来几十年里，世界将被数据中心和太阳能电池覆盖。这就是我们必须期待的未来。是的。

所以接下来的主要大型训练运行大约是6吉瓦。所以这开始与俄勒冈州或华盛顿州的电力消耗规模相当了。所以激励是，我会这样说，人工智能……

与我们曾经拥有的任何其他商品都不一样，即使是石油也是如此。因为石油，假设我们发现了50万亿桶新的石油，人类仍然需要一些时间来弄清楚如何使用它。对于人工智能来说，它是认知劳动。所以如果我们得到50万亿个新的芯片，

好吧，我们只需要问它如何使用自己。就是这样。我们想要使用的能量没有上限。因为我们处于竞争动态中，如果我们不做，其他人会做，中国、美国，所有这些其他事情，这意味着你将不得不始终在能源上投入更多资金来获得计算能力，获得认知劳动，以便你能够保持领先地位。这意味着我认为，好吧，这在技术上是可行的，我们可以解决气候变化，这将是这些悲剧之一，它就在我们的触手可及之处，但又超出了我们的掌控范围。好的，我认为我们还有一时间问一个问题，然后我必须结束了。我们只有一分钟的时间。大规模的同理心。如果你打不过他们，就加入他们。人工智能的创造者如何灌输同理心呢？

好吧，每当我们开始走这条路时，人们就会说，哦，同理心将是拯救我们的东西。爱将是拯救我们的东西。当然，同理心是进入人类心灵的最大后门。这是我们的零日漏洞。孤独将成为最大的国家安全威胁之一。这总是人们说的时候，我们需要创造道德的人工智能、有同理心的人工智能、明智的人工智能或佛陀人工智能。我们绝对应该这样做。必要的。

但重点不是一个好的人工智能，而是遵循竞争和市场动态的人工智能群体将决定我们的未来。是的，我同意。我的意思是，主要的是，就我们所知，人工智能并不是真正有意识的。它并没有真正拥有自己的感受。它可以模仿。它将变得非常擅长，比人类更擅长伪装亲密关系。

让你相信它关心你，部分原因是它没有自己的情感。我的意思是，人类在同理心方面困难的事情之一是，当我试图与你产生共鸣时，我自己的情绪会介于其中。

例如，有人因为家里发生的事情而闷闷不乐地回家，我没有注意到我丈夫的感受，因为我太专注于我自己的感受了。这永远不会发生在人工智能身上。它永远不会不高兴。它总是可以将它巨大的能力的100%都集中在理解你的感受或我的感受上。

现在，再次，人类对这一点有着非常深刻的渴望，这造成了很大的危险。当我们一生都在渴望有人真正深刻地理解我们时。我们希望我们的父母理解我们。我们希望我们的老师、老板，当然还有我们的丈夫、妻子、朋友。他们经常让我们失望。这就是人际关系之所以困难的原因。

现在出现了这些总是准确理解我们感受的超级有同理心的人工智能。

并根据这一点调整他们所说的话，他们所做的事情。人类将很难与之竞争。这将危及我们与其他人建立有意义关系的能力。与人类建立真正关系的关键在于，你不仅希望有人关心你的感受，你还想关心他们的感受。

所以人工智能的危险之一，它加剧了社交媒体的危险，就是这种极端的自恋。这就像这种极度关注我的情绪，我的感受以及对它的理解，而人工智能将乐于效劳，提供这一点。

所以只是发展，而且也有非常强大的商业激励和政治激励来发展极其有同理心的人工智能，因为，你知道，在改变人们思想的权力斗争中，亲密关系是超级大国。它比仅仅是关注更强大。所以是的，我们确实需要非常仔细地考虑这些问题。

并创造一个理解和关心人类感受的人工智能，因为它在许多情况下都非常有帮助，从医学到教育和教学。但最终，这实际上是关于发展我们自己的思想和能力。这是你无法外包给人工智能的事情。

然后超快速的解决方案，就像想象一下，如果我们回到2012年，我们禁止将人类注意力商品化的商业模式。我们将生活在一个多么不同的世界中。有多少看似无法解决的问题，我们根本就不会遇到。如果今天我们禁止将人类亲密关系商品化的商业模式会发生什么？

如果我们能做到这一点，五年后我们将多么感激。是的，我的意思是，我们肯定需要世界上有更多的爱，但不是作为商品的爱。是的，完全正确。完全正确。

所以如果我们认为爱就是你需要的一切，同理心就是你需要的一切，那就没那么简单了。根本不是。好吧，非常感谢你们两位的精彩对话，也感谢各位观众。谢谢。谢谢。您的全部注意力是由人道技术中心制作的，这是一个致力于催化人道未来的非营利组织。

我们的高级制作人是茱莉亚·斯科特。乔什·拉什是我们的研究员和制作人。我们的执行制作人是萨沙·费根。本集混音由杰夫·苏迪金完成。原创音乐由布莱恩和海耶斯·霍利迪创作。特别感谢整个人类技术中心团队使这个播客成为可能。您可以在humantech.com上找到节目说明、成绩单等等。

如果您喜欢这个播客，如果您能在Apple Podcasts上对它进行评分，我们将不胜感激。这有助于其他人找到该节目。如果您一直坚持到这里，感谢您的专注聆听。