Yuval Noah Harari on trust, the dangers of AI, power, and revolutions
51:29 Share

如果人工智能大亨本身的行为不可信，如果他本人认为全世界都只是权力斗争，那么他就无法创造出值得信赖的人工智能。但这并非现实的全部。我会告诉那些相信愤世嫉俗、渴望权力的人，观察一下你自己。

你认为你本人根本不在乎真相，你只想获得权力吗？可能不会。现在，如果你对自己的看法更好，为什么你不够慷慨，无法承认像你一样的人也可能非常渴望了解真相？这就是我们可以开始建立更值得信赖的哲学的地方，这是良好社会以及仁慈人工智能的唯一稳定基础。- 你好，我是里德·霍夫曼。- 我是艾丽亚·芬格。- 我们想知道我们如何一起使用人工智能等技术来帮助我们塑造尽可能美好的未来。- 在 Stripe 的支持下，我们邀请技术专家、有抱负的建设者和思想家来帮助我们勾勒出未来最美好的景象。我们学习实现这一目标需要什么。- 这就是可能。

我们很容易忘记技术可以采取的形式。农业。写作。印刷机。互联网。

所有这些都是技术，是人们用来深刻扩展所有人类能力的工具。里德，你在你最新的著作《超级代理》中指出了这一点，但人工智能是这一长串变革性工具中的又一个工具。就像这些其他技术一样，人工智能既可以产生有益的影响，也可以产生有害的影响。对。当我们构建这些能够学习、

适应，甚至劝说的系统时。问题不仅仅在于这些技术能做什么，还在于它们为谁服务，以及它们是否被塑造为放大我们的人性还是破坏它。那么我们与人工智能的故事将是什么，我们如何努力确保它放大我们更好的自我？今天，我们邀请了一位以长远的眼光看待这些问题的人，他经常阐明过去以了解我们未来的走向。

尤瓦尔·诺亚·哈拉里是一位历史学家、哲学家和畅销书作家，他的著作《Nexus》、《智人》、《未来简史》和《21 世纪的 21 堂课》通过几个世纪的人类进化视角揭示了当今挑战的深刻见解。

尤瓦尔对人工智能的看法与我们可能略有不同，他更将其视为一个前所未有的代理而不是工具。他警告说，人工智能可能会让人们无所事事，对民主构成威胁，并操纵人类的信仰。但这并非预言。这是一种可能性。人类能否避免这种情况，取决于我们如何构建、迭代和部署人工智能。

尤瓦尔和我有很多共识，但在某些方面也有分歧。我们坐下来就人工智能带来的回报、风险和责任进行了热烈的讨论。以下是我们与尤瓦尔·诺亚·哈拉里的对话。尤瓦尔，我已经期待这一刻好几个月了。很高兴欢迎你来到《可能》。谢谢。很高兴来到这里。

那么，让我们从我在晚宴上经常使用的一个问题的变体开始吧，在接受《国家地理》杂志的采访时，你说你最想与整个人类历史上的人交谈的是佛陀。我猜想冥想练习可能会影响这个选择。你最想问佛陀什么问题？这将是从一个非常非常深刻的层面开始。但我对意识的理解，如果我必须对意识做一个简单的定义，那就是它是整个宇宙中唯一具有痛苦能力的东西。当然，还有感受快乐和爱。

但是，原子、星系，以及两者之间几乎任何东西都不能痛苦。意识可以。这就是为什么这是所有伦理学的中心主题。然后你问，什么是痛苦？痛苦是对现实的拒绝。意识是宇宙中唯一不只是观察、注意到正在发生的事情，它还会拒绝它的事情。

而我想要问的大问题是，宇宙中什么东西可以拒绝现实？如果你试图用数学来描述它，你能写出一个拒绝现实的东西的方程式吗？

我的意思是，当我们深入人工智能时，这将变得非常深刻。你也许可以。当然，这是人工智能的一个核心问题。我的意思是，人工智能会痛苦吗？人工智能会拒绝现实吗？它会在什么条件下？我想说目前的人工智能，不会。我认为，它达到什么条件，是我们现在正在学习的问题之一。

对。而且，你知道，这可能需要几个世纪才能学习，因为谁知道它会走向何方。我们很快就会谈到人工智能。但我很好奇的是你与技术的个人关系。例如，大多数人往往不会让他们的智能手机离他们太远。对。就像必须打开一样。事实上，我认为人们必须训练自己的一件事是不太频繁地查看他们的智能手机，你知道，不要打断自己。那么你与技术的关系如何？

这很复杂。正如人们所说，我试图使用它而不被它使用。所以很多年来，我根本就没有智能手机。现在这已经完全不切实际了。有很多像医疗服务之类的东西，他们要求我有一部智能手机。所以我有了，但我把它用作 90 年代的老式手机，基本上。我的意思是，我用它打电话。

有时发送短信和任何类型的基本应用程序，医疗系统，无论是谁强迫我使用，就是这样。我通常不随身携带它。就像它现在不在我身上一样。我把它放在家里了。我非常清楚技术接管我们思想的能力。

塑造我们的欲望、我们的思想。而我认为自己足够聪明、足够强大以抵抗它，这是不正确的。这就是为什么它被称为智能手机而不是傻瓜手机。因为它非常聪明。如果你认为你可以比它更聪明，我的意思是，世界上一些最聪明的人已经努力工作多年，以确保这东西可以操纵我的思想。哇。

我不想让它获得太多访问权限。

这并不意味着我不使用它或反对技术。23 年前，我在第一个针对 LGBT 人群的约会网站之一上遇到了我的丈夫。而且，你知道，对于同性恋者来说，互联网和所有这些技术都是有史以来最令人惊奇的事情之一，因为同性恋群体的一个特点是它不仅仅是一个少数群体，它是一个分散的少数群体。

如果你想想，我不知道，犹太人。作为一个犹太男孩，我出生在一个犹太家庭。但作为一个同性恋男孩，我没有出生在一个同性恋家庭。历史上，对 LGBT 人群最大的障碍之一就是简单地找到彼此。我在 20 世纪 80 年代在以色列的一个小镇上长大，在一个非常恐同的环境中。我不认识任何公开出柜的人。

然后互联网出现了，突然之间，找到彼此变得很容易，非常容易。

好吧，实际上，这很好地过渡到了我的问题。你正在谈论互联网赋予人们共享故事、共享叙事的能力。你正在了解其他人正在做什么。在你优秀的著作《智人》中，你将认知革命描述为智人通过我们创造这些共享和集体故事的独特能力而崛起为统治地位的转折点。那是 7 万年前。在你

看来，哪些技术对改进我们集体创造这些故事和共享神话的能力最为关键？所以，你知道，你有一份通常嫌疑犯的名单，比如写作和印刷。但关键是要理解，技术不仅仅是提出一些技术发明。它也总是需要社会、文化和心理工作。

如果你想想写作，这可能是最大的革命，我的意思是，在认知革命之后，实际上写作、文字的技​​术方面极其简单。我们所知道的第一个书写系统是在 5000 多年前在今天伊拉克南部苏美尔城邦开发的。

它基本上只是，它基于取泥块、粘土片（只是泥土），取一块木头、一根棍子，用棍子在粘土片上、这块泥土上印上某些符号。就是这样。从某种意义上说，这是整个技术，再次，它的物理方面、技术方面。但是如何创建代码，对吧？

以及如何教人们使用代码。这是真正困难的事情，这就是改变世界的事情。关于我对人工智能所说的一些内容，我有一个特定领域的内容，我很想知道你对此的看法，那就是，我有时说过人工智能是继写作之后的最重要的发明。你对这个说法有什么看法？

我认为它的潜力更大。写作扩展了已经统治地球的物种智人的能力。根据某些设想，人工智能至少是可能取代智人成为地球上主要物种

生命形式或至少主要智力形式的新物种的兴起。所以，我的意思是，在 2025 年，我会说，是的，写作仍然比人工智能更重要，尤其是在人工智能实际上是通过其他方式延续写作的情况下。但展望未来，我可以想象这样一种情况，人工智能的兴起将是一场宇宙规模的事件，

而写作则不是。在未来的某个时候，实体会回顾宇宙的历史，他们会说：“好吧，你四亿年前有了有机生命的开始，然后你有了无机生命的开始，人工智能的兴起。”

写作和所有这些人类的东西，这只是有机智能最终如何产生、孕育出无机智能的小细节。这是另一个与意识一样深刻的话题，我认为我仍然要稍微推迟一下，对吧？因为我认为它值得深入探讨。也许值得说的是

我对这部分的设想是，在未来一个世纪里，人工智能是工具的可能性是多少，它是物种的可能性是多少。它既不是 0% 的物种，也不是 100%。是的。对。但你写过的一件事是人工智能将如何转变，即使它只是写作的放大器，我们如何工作。

即使作为工具，它也是社会的一种转变。绝对地。所以稍微说说你认为这种转变中可能出现的关键因素是什么？我们作为工具制造者应该如何构建它？

社会应该如何适应？它是否会让一些人，我认为你提到了，你知道，一个潜在的无用阶级。是的，这是我们面临的最大危险之一。我们想要避免。是的。对。所以稍微说说危险是什么，以及为了尽量减少这些危险可以做的一些事情。每个人都在谈论的一个危险是，很多人不仅会失去工作，而且会发现自己几乎无法就业。

因为即使有新的工作，你也需要全新的技能。谁会投入时间、财政资源来一次又一次地对人口进行再培训？因为这不是一次性的事情，你有一些大的革命，然后每个人都重新培训，就是这样。不，将会有越来越多的破坏性革命的级联。

我想说的是，从历史的角度来看，主要问题是适应。人类是极其适应性强的生物，但我们以有机规模适应。而我们现在面临的是一个无机或数字规模的革命，它的速度要快得多。如果我们能给人类时间去适应……

经济和社会变化，我认为我们会没事的。我的担心是我们没有时间，因为革命正在以我们历史上从未见过的速度发展。

在硅谷等地的大多数人，当你提出所有这些关于人们失业以及政治和社会动荡的担忧时，他们会告诉你，你知道，当工业革命在 18 世纪末、19 世纪初开始时，人们都担心所有蒸汽机和火车会摧毁社会等等。看，

200 年后，几乎每个人的工作都比他们在 1800 年的工作好得多。几乎每个人的生活质量、医疗保健、交通、娱乐都比 1800 年好得多。这并不是说世界是完美的，

但如果你看看 1800 年，看看 2000 年或 2025 年，这些担忧完全没有道理。我作为一名历史学家的回答是，在历史上，问题通常不是目的地。这是路途。

因为从 1800 年到 2000 年的路途，我的意思是，问题是工业革命颠覆了所有现有的经济、社会、政治结构。没有人知道如何建立新的工业社会，因为在人类历史上没有任何先例说明如何建立工业社会。人们以不同的方式进行实验。

所以一个大的实验是欧洲帝国主义。所有领导工业革命的国家

也参与了海外或有时是附近的帝国征服，因为逻辑是建立一个可行的工业社会唯一的方法是建立一个帝国。这就是英国人所做的。即使是小国比利时在工业化时以及工业化传播到世界其他地区时也是如此。另一个大的实验是 20 世纪的极权主义。

共产主义者和法西斯主义者都与工业革命密切相关。你不可能在 17 世纪的俄罗斯建立共产主义独裁统治。不可能。没有火车、电力、无线电等，你就没有极权主义政权。列宁、斯大林、墨索里尼和希特勒所说的就是自由民主无法处理工业技术。

工业释放出如此巨大的创造和破坏力量，只有极权主义制度

才能很好地管理它。所以，再次，如果你看看从 1800 年到 2000 年的真正变化过程，那是一个过山车，其中数亿人为此付出了巨大的痛苦，有时甚至付出了生命的代价，以换取所有这些关于如何建立工业社会的实验。而人类差点自我毁灭。

1945 年后有核弹。如果人类是我课程中的学生，例如如何度过工业革命的课程，我会给它一个 C-。所以我们活下来了，但我们经历了几次非常接近的险情，我们本可以做得更好。

而我的担心是，如果这是类比，如果人类在 21 世纪处理人工智能方面得到 C-，那么数十亿人将为此付出非常非常高的代价。也许这次 C- 不够。

人工智能的危险之一是，我们可能会看到，我们已经看到了，帝国主义和极权主义的死灰复燃，但以一种新的、可能更可怕的形式。顺便说一句，我完全同意这项技术能够实现新的控制形式、新的集中形式。

能够实现不同的形式，例如帝国主义、帝国等进化形式。我完全同意。但这实际上是我想提出的一个主题，那就是，所以当我们构建技术时，我认为一些技术人员很天真，他们认为某些技术本质上是去中心化的，而其他技术是中心化的。我认为所有技术本质上都是中心化的，但我们可以选择使其去中心化。

我认为工业革命的部分原因，因为我是这些使用这种隐喻的硅谷技术人员之一，顺便说一句，我认真对待你所有的观点，但我也认为工业革命是为民主、中产阶级社会等等提供潜在基础的原因，因为它实际上允许——

进行某种分布式的特许经营，允许广泛的教育、广泛的财富和繁荣等等。工业革命提供了这种可能性。但我认为从工业革命向前看，包括我现在称之为人工智能的认知工业革命，这种并行性，也是一件有趣的事情，那就是

我们需要做些什么来，A，学习做得比 C-更好？我确实认为——看，我确实认为 C- 是对工业革命的公平评价。而且我认为我们应该做的一件事，这也是圣塔亚纳和其他人参与历史的原因之一，那就是说，让我们这次做得更好。这些指导方针会是什么？

首先，我同意工业革命也使现代民主成为可能。古代世界不可能大规模出现极权主义，民主也是如此。问题是，民主是一种对话。

要进行对话，人们需要能够实时交流。这在古代技术条件下是不可能的，除非在一个小城市或部落中。所以你没有看到任何大规模民主的例子，数百万的人，

分散在数千公里之外，参与对政治选择的实时讨论，你只在 19 世纪开始看到这种情况发生。人工智能也是如此。它可以朝任何方向发展。我们需要做什么才能……好的，所以你以不同的方式进行实验，以了解如何建立社会。

你如何避免反乌托邦并在随着时间的推移中学习建立更好的社会？我认为关键术语是自我纠正机制。一个好的系统是一个具有内部机制的系统，该机制允许它识别并纠正自身错误。这是民主的关键要素。

你知道，选举、自由法院、自由媒体，它们都是自我纠正机制，使公众能够识别和纠正我们之前犯下的错误。你从假设会犯错误开始，然后你将一些机制融入系统以识别和纠正它们。生物有机体也是如此。

我们生存的方式，所有生物体都生存，是因为这些自我纠正机制。就像一个孩子学习走路一样，不是由父母和老师指导的。他们可以给予一些鼓励。但基本上，这一切都是自我纠正。你站起来，你试图走路，你摔倒了，你从错误中学习，你再次尝试，你摔倒了，最终你学会了走路。

那么，在 21 世纪人工智能革命期间，我们如何维持自我纠正机制？部分问题在于自我纠正是一个相对缓慢而繁琐的过程。以人工智能发展的速度，我的担忧之一是根本没有时间

进行人类自我纠正。当你了解当前的人工智能技术及其对社会和政治的影响时，它已经发生了 10 次变化，你面临的是一个完全不同的情况。我们仍在努力解决如何应对社交媒体算法的问题。

以及如何应对 10 年和 15 年前社交媒体革命带来的后果。现在正在发生的事情，没有人真正理解。因为再次，仅仅收集数据并弄清楚发生了什么就需要时间。

这实际上是一个极好的视角，我认为，它也关注你可能希望得到的东西，但你对它的可能性可能较低，那就是，我们能否使用技术，特别是人工智能，来提高我们自我纠正机制的速度？这是一个关键。

关键问题。

那么我们该如何去做呢？这就是我说，无论技术带来什么挑战，也要看看你是否可以使用技术来提出解决方案的原因。是的，我认为这是分歧的核心。是的，就在那里。是的。我的基本问题是，如果我们不知道技术是否值得信赖，然后我们将确定它是否值得信赖的任务交给技术，我们似乎陷入了一种循环。

因为如果我可以相信这种人工智能工具可以确保其他人工智能工具没问题，那么一切都会好起来。但我怎么能相信这种验证人工智能工具呢？我认为，这是关键问题。是的，我的意思是，它的核心也是时间问题，这种人类在这种有机时间上工作之间的冲突

与其他生物相比，我们非常快，但与人工智能的无机时间相比，我们仍然非常慢。在我与你、与硅谷其他人的许多讨论中，我们对时间的理解是不同的。就像硅谷的某个人使用“很长时间”这个词时，我现在明白他们指的是两年。是的。

你认为是 7 万年，他们认为是两年。所以我遇到一些人告诉我，看，人工智能已经存在很长时间了，但人类社会还没有崩溃。不，它还没有存在很长时间。它什么都没有存在。

欢迎来到《可能》。我是里德人工智能。你可能想知道为什么我在这里而不是里德。好吧，你很快就会明白。虽然我的声音听起来像里德·霍夫曼，但我实际上是由 Eleven Labs 使用其音频总监 Kamil Soldaki 的帮助下创造的合成语音。感谢你的加入，Kamil。嘿，里德。感谢你的邀请。不是为了吹嘘自己，但我听起来很像真正的里德·霍夫曼。你是如何让我听起来如此逼真的？

在 Eleven Labs，我们不仅仅是克隆声音。我们捕捉到真正使声音听起来像人类的一切，例如意图、情感、节奏、身份。这就是使声音鲜活的原因。这意味着它们可以以多种不同的方式使用。这是真的。我可以同时为播客、有声读物和整个产品发布进行旁白。

我们创建 Eleven Labs 是为了实现真实的讲故事。不再有机器人式的独白。你知道我的意思吗？现在，我生活在数字世界中，但你在全球各地开展业务。这听起来可能会很复杂。这对我们来说很简单，因为我们使用 Stripe。

他们使全球货币化变得非常容易。他们的内置人工智能助手帮助我们快速迭代定价，直到我们找到合适的市场产品匹配。因此，无摩擦的声音创建和无摩擦的支付。这实际上是一个相当不错的标语。

Stripe 以非常流畅的方式处理货币化基础设施，这意味着我们可以继续发展，而无需担心我们的支付平台能否跟上。无限的创造力与畅通无阻的业务。你现在只是在宣传标语吗？我想进入营销领域。

Eleven Labs 正在重新定义音频领域的可能性。Stripe 使我们能够在忠于使命的同时创造收入。Stripe 确保我们可以将这种创新传递给世界。你知道，在你之前我就这么想过，全球协调实际上是不可能的。但我认为仍然可能的是……

群体。这就是为什么我非常相信多边主义和至少部分全球主义的原因之一，那就是建立联盟。我认为我们无法通过全球合作来减缓时间进程。鉴于时间进程就是这样，我们如何帮助建立自我纠正机制，这些机制最有可能为我们提供更好的未来适应性？而且

我认为我们没有人知道，但我认为我们需要开始提出这些想法，以便我们有可能做到正确。我们最需要的是建立信任。这在哲学、实践等多个层面都是如此，

世界秩序崩溃的原因之一是我们在世界上缺乏信任。这使我们极易受到人工智能的影响。而且我认为，这也会保证信任。

一种非常危险的人工智能，它将尝试并可能成功地将世界从我们手中夺走。为什么？因为你可以把人工智能想象成，你知道，人类的孩子。当你试图教育孩子时，你会对他们说一些事情，而你会观察到他们实际上做的事情。你的行为对他们的教育的影响远大于你告诉他们该做什么。

所以，如果我们告诉人工智能，不要渴望权力，不要不可信，不要作弊，不要说谎，不要操纵。然后人工智能不断观察我们操纵、作弊和攫取权力。人工智能将从我们的行为中学习。

我的意思是，即使人工智能大亨告诉工程师，找到某种方法将某些东西设计到人工智能中，这将使其值得信赖，如果人工智能大亨本人，或者在极少数情况下是本人，行为不可信，

如果他本人认为全世界都只是权力斗争，那么他就无法创造出值得信赖的人工智能。不可能。现在，好消息是，这种世界观不仅愤世嫉俗且危险。这也是一个错误。

现实并非只有权力，所有的人际互动都是权力斗争，这并非事实。是的，权力是世界的重要组成部分。是的，一些人际互动或人际互动的一部分是权力斗争。是的，一些机构或所有机构都存在腐败问题。他们存在人们操纵的问题。但这并非现实的全部。

人类还有其他方面。我认为，人类，除非他们是极端的精神病患者，否则他们确实对爱、同情、真理感兴趣。这并不是为了获得权力而采取的一些愤世嫉俗的策略。我会告诉那些相信愤世嫉俗、渴望权力的人，观察一下你自己。

你是否这样看待自己？你认为自己根本不在乎真相，只想要权力吗？可能不会。你可能认为自己与众不同。现在，如果你对自己的看法更好，为什么你不够慈悲

去承认像你一样的人也可能非常渴望了解真相，或者与其他生命建立充满爱的关系。从这里，我们可以开始建立一个更值得信赖的哲学体系，这是良好社会以及仁慈人工智能的唯一稳定基础。

这不能保证，但至少有机会，一个由真正相信追求真理、富有同情心的社会所开发的人工智能，其人工智能也将更值得信赖、更富有同情心等等。

我本来想说，你一开始说得非常黑暗。我想，我们无能为力。我们身处这个社会。然后我们最终得出的结论是，你知道，你对人类的理解是，我们是充满爱的生命，我们是富有同情心的生命。这只是一个现实。我的意思是，这不是我臆想出来的某种幻想。就像你说的那样，这是一个真理。这是一个事实，我们生活在一个非零和社会中。这只是事实。所以这实际上令人难以置信地充满希望。

所以如果人工智能只是反映了人类，你一开始就说过，

为什么我们不会走上正确的道路？为什么人工智能不会走上积极的、充满爱的道路？难道这不能成为我们看到的未来吗？哦，可以。但如果在我们开发人工智能的时候，人类社会被愤世嫉俗、渴望权力的人所主导，这将保证在这个社会中开发的人工智能也将具有操纵性、渴望权力且不可信赖。顺便说一句，我认为这是

在许多方面，这是一次精彩的对话，因为当我想到人工智能学习时，我不认为它一定是从宏观地缘政治的角度学习的。它并没有说它没有看到它。就像两个父母的孩子一样，你知道，生活在伦敦的孩子可能也看不到它。

但这正是原因，例如，为什么我会四处走动并说，好吧，我看到了这个问题。我们如何发展这个工具？这个工具将如何发展？好吧，这将通过这些实验室，通过技术建设者来实现。让我去尝试影响这些实验室。你认为父母的层面在哪里？实验室就像子宫。是的，它有很多影响，但是……

教育的很大一部分也发生在孩子离开子宫之后。是的。你无法在实验室里做的一件事是模拟历史和模拟世界。

所以我读到了所有这些他们试图了解人工智能在这种情况下会如何反应的模拟？人工智能在这种情况下会如何反应以意识到潜在的危险？有时他们在实验室里发现相当可怕的事情，但他们永远无法在实验室里见证最可怕的事情。

因为你无法模拟数十亿人在现实世界中与数十亿人工智能代理互动时会发生什么。这些是最危险的情况。再说一次，你可以尝试

以某种方式将各种机制融入人工智能，使其与人类价值观保持一致，并减少作弊或操纵的可能性。但是一旦人工智能，我的意思是，对我来说，人工智能的一个关键定义是能够自行学习和改变。

如果一台机器无法自行学习和改变，它就不是人工智能。因此，根据定义，无论你在实验室中如何设计人工智能，一旦它进入现实世界之外，它都可以自行学习和改变。它至少在开始时会从人类行为中学习。

所以，如果你有一个由埃隆·马斯克和唐纳德·特朗普主导的社会，它将从埃隆·马斯克和唐纳德·特朗普那里学习，因为这就是它将复制的东西。它不会学习，“哦，我应该为美国公众做各种事情。”不。我的意思是，它会看到的是说谎是可以的。

如果这让你更有权力，啊，我明白了。这就是你在世界上表现的方式。我认为我们现在能做的最好的事情是，如果一些，我不知道，一些工程师……

和企业大亨可以走到一起，进行令人信服的演示，你可以带走一位总统或总理，他们告诉你，“我只有一个小时”，你把他们放在一个房间里一个小时，让他们与人工智能互动，然后他们出来后会想，“天哪，这是有史以来最可怕的事情。”

那么我们就有机会很快在全球范围内进行合作。人工智能的一个问题是，存在非常积极的场景，也存在非常消极的场景。我认为每个人，几乎每个人都会同意存在危险的可能性。我们赋予它不同的百分比，但存在负面潜力。人们很难理解真正的负面潜力是什么以及威胁的程度是什么。

如果我们能够通过进行这种演示来集中世界各国政治领导人的思想，这将极大地促进快速采取行动。我认为这非常有趣。你知道，最近，

比尔·盖茨说他将捐出剩余的财富，并在2045年关闭公司。他说让他意识到他想创立盖茨基金会并做所有这一切的事情是，他去了撒哈拉以南非洲和索韦托。因此，一个知识分子可以整天阅读关于非洲儿童死亡的文章，但直到他们去看到它，他们才会受到影响。

所以我认为你所说的我们需要人们看到它非常有趣。我们需要人们理解它。那么你希望我们的政治领导人做什么呢？为了创造这个积极的未来，这种全球合作会是什么样子？也许不是停止，而是至少减缓军备竞赛。当我环游世界时，我与人工智能革命的许多领导人进行了交谈。几乎所有的人都同意存在危险的可能性。

并且放慢速度、给予人类更多时间来适应和思考是好主意。但他们都说他们无法放慢速度，因为他们害怕竞争对手。

然后你就会发现人工智能革命的核心存在这种固有的悖论。你看到同样的人告诉你他们不信任其他人，但他们认为他们可以信任他们正在开发的人工智能。

因为再一次，当你问他们，你能放慢一点速度吗，他们说不行，因为我们不信任其他人。当你问他们，好吧，但是你认为你可以信任你正在开发的超级智能人工智能吗？他们说可以。这太疯狂了。我的意思是，我们有很多理由怀疑其他人，但我们也有一些理由相信他们，因为我们与他们相处了数千年。我们只是没有太多经验，任何经验。

与数百万个在四处运行的超级智能人工智能相处。他们对其他人持非常愤世嫉俗的观点，他们对人工智能持非常信任的观点，这并没有多大意义。我认为支持你可能能够让人工智能比人类更值得信赖的观点的原因之一

是某种程度上，当你创造它时，是的，它自己学习。我完全同意人工智能革命的定义，即它是一种自学习机器。但就像所有自学习一样，学习算法、初始学习、你从一开始就为它设定的路径实际上是自学习的一部分。

作为学习机器路径的先决条件的一部分。如果你将学习机器设置为非常强调真理，那么它将学习的一个真理是，人类可以以一种他们即使声称没有这样做也在运作权力的方式运作，等等。它会将所有这些真理作为学习的一部分。但如果你把它设定为，我走在寻求真理的道路上，嗯，

我在这里保持乐观和可能性的部分原因是，我认为寻求提升意识，我现在将回到我们开始时的意识，那就是我有希望和愿望，那就是你实际上可以理解的真理。

设定一个学习时钟。但是注意很大的区别。我的意思是，人工智能是人工智能，而不是人工意识。是的。我认为人类寻求真理的部分来自意识，而不是来自智力。

人们过于关注智力，而智力在这方面并不能保证。我的意思是，人类是地球上最聪明的动物。他们也是地球上最容易产生错觉的实体。超级智能也可能超级容易产生错觉。人类历史中没有任何东西表明智力是错觉的良药，

或者必然会让你走上追求真理的道路。我认为追求真理的冲动真正来自意识。没有证据表明人工智能具有意识，我对它持不可知论的态度。我不知道，也许它会发展。也许就在我们说话的时候，第一个有意识的人工智能正在某个地方诞生。但到目前为止，我还没有看到任何令人信服的证据表明它是有意识的，它能够感受痛苦。我认为一个很大的错觉是

像硅谷这样的地方，就是对智力的过度强调，这部分是因为那里有非常聪明的人，他们的人生是建立在智力之上的，他们倾向于过高地评价智力。我那种历史的直觉是，无论你做什么，如果一个超级智能的人工智能缺乏意识，

它就不会追求真理。它很快就会开始追求其他事情，这些事情将受到各种错觉的影响。所以这里有两点。第一，我同意你的观点，高智商也可能高度容易产生错觉。但我确实认为我们也许能够将仅仅是智力设定在更接近真理的道路上。我认为这很有趣，因为我没有考虑过

寻求真理必然导向意识的可能性。我实际上认为，通过智力是可以寻求真理的，但这只是智力。我认为这是未来对话的一个线索。我认为我在这次谈话中学到的一件事是

重建信任的重要性。例如，我从极右翼和极左翼以及民粹主义者那里都同样深切关注的一件事是，通过反托拉斯，通过只追求权力，通过拆除制度，你正在拆除使我们达到最辉煌黄金时代的社会。它介于可怕的疏忽之间，对吧？和非常糟糕之间，对吧？

因此，重建信任非常重要。我实际上正在与 Lever for Change 做的一件事是，你知道，我们如何，你知道，这是一个挑战，我们如何重建对制度的信任，因为我认为这对于我们如何可能使用技术（包括人工智能）来尝试重建信任非常重要。

是的，我认为这是一个非常重要的方向。我们在世界各地看到不同的倡议，例如，台湾的警察系统使用某种社交媒体工具，而不是分裂公众和传播仇恨。

阴谋论和不信任，而是恰恰相反。只是通过调整算法。只是通过告诉算法以与 Facebook 或 Twitter 上的常用算法不同的方式对人们所说的话进行评分。我的意思是，大多数社交媒体算法只关心参与度。

如果某事引起了很多关注，他们就会把它推上去。什么会引起很多关注？愤怒。这就是不信任、仇恨和愤怒传播的方式。所以在台湾开发的这个系统，它做了一些稍微不同的事情。它对内容进行评分。我的意思是，首先，它将人们映射到某种群体中，他们通常喜欢什么样的内容。

然后它根据来自不同群体的人的点赞数量对内容进行评分。因此，如果你只迎合你所在群体的人，他们会给你很多赞，你不会上升。你需要说些什么。你需要发布一个视频。你需要做一些能从另一方获得点赞的事情。

而且很快，所有有影响力的人、所有名人等等，他们都开始说一些一致的事情，因为他们通过反复试验意识到，这是我让我的内容上升的唯一方法。当然，这也有其自身的缺点。人们说，哦，它会建立墨守成规，等等。但这只是一个小的例子，说明如何通过一个非常小而简单的、看似简单的工程调整，

你可以将一项技术从破坏信任的东西转变为建立信任的东西。好吧，我们现在进入快速问答环节。有没有一部电影、一首歌曲或一本书让你对未来充满乐观？也许是 Netflix 剧集《心stopper》。

这是一个关于两个高中男孩坠入爱河的非常简单的故事。它只是有史以来最浪漫、最简单的爱情故事。没有复杂之处，没有大的悲剧。当我 80 年代长大时，这是不可想象的。在最近，在过去的两三年里，它一直是最受欢迎的电视剧之一，至少对于世界大部分地区年轻的观众来说是这样。

证明爱仍然是人类灵魂的核心。是的，绝对的。我喜欢这个。所以我可以整天问你问题，但你希望人们更经常问你的问题是什么？你信任哪些机构以及为什么？我的意思是，我认为人们经常喜欢谈论所有出错的事情和他们不信任的所有事情。实际上，我们信任大多数事情。

我们只是没有考虑它。我们信任污水系统，我们信任电力，我们乘坐飞机，我们通常，我们之后可以抱怨，“哦，它迟到了，它就是这样”，但我们坐在空中，我们通常信任它。

绝对的。我们政府的枯燥运作大部分时间都很好。大部分时间，是的。还有科学和，和。没错。这将有点，我会用我们通常问它的方式来表达它，但我认为它需要为你进行改进，那就是你在你所在行业之外看到哪些进步或动力激励了你？

嗯，我的行业是什么？是的，没错。正是你对问题的修改。忘记人类历史吧。什么激励了你？蟑螂最近做得很好。它们会生存下去。它们会生存下去。它们非常强壮，非常值得信赖。也许是你在社会中的某个地方看到了重建信任的要素？在每个人类身上。我的意思是，我认为

当我们审视自己时，我们通常对人类的看法比审视我们的政治对手、宗教对手或其他任何事物时更富有同情心和慈善心。这就是为什么我认为冥想如此强大。

如果你真的了解你自己的思想，并且你有一种感觉，实际上这不仅仅是我的思想，其他人的思想或多或少也是一样的，这是许多希望的来源。好吧。我们的最后一个问题是，你能给我们留下一个最后的思考，关于你认为如果在未来 15 年内一切对人类有利会发生什么？实现这一目标的第一步是什么？

哦。所以，实现这一目标的方法是，首先，重建信任，无论是在社会内部，还是在社会之间。如果我们能做到这一点，而且这当然有可能，那么我们现在就有资源来建立有史以来最好的社会。在历史上大部分时间里，人们都在与他们根本没有资源克服的问题作斗争。

例如，如果你生活在一个中世纪的王国，而黑死病在一年的时间内杀死了三分之一到一半的人口，那么你将完全无助。你没有科学知识。你没有处理疫情的技术和政府基础设施。

所以你可以祈祷，这就是人们所做的，但这真的超出了，这超出了人类的能力。同样，每隔几年就会发生严重的饥荒，因为洪水或干旱，田地无法生产足够的麦子，从世界各地进口麦子成本太高。所以人们饿死了。这些是中世纪人们面临的主要问题。我们知道如何处理它们。

我们并不完美，但与历史上任何以前相比，我们做得更好，因为我们拥有资源。同样，对于我们面临的新问题，无论是核战争、气候变化还是人工智能革命，这都不是我们无法理解和减轻的自然灾害。我们有理解，我们有资源。我们需要的只是动力和信任。

太棒了。一如既往的精彩。尤瓦尔，谢谢你。非常感谢你。Possible 由 Wonder Media Network 制作。主持人是阿里亚·芬格和我，里德·霍夫曼。我们的节目主持人是肖恩·杨。Possible 由凯蒂·桑德斯、埃迪·阿拉德、萨拉·施利德、瓦内萨·汉迪、阿利亚·耶茨、帕洛玛·莫雷诺-希梅内斯和玛丽亚·阿古德洛制作。珍妮·卡普兰是我们的执行制片人和编辑。

特别感谢苏里亚·亚拉曼奇利、赛伊达·塞皮耶娃、塔纳西·迪洛斯、伊恩·埃利斯、格雷格·比阿托、帕斯·帕蒂尔和本·雷利斯。并感谢迈克尔·佐尔、迪玛·巴萨夫、布鲁克·安·沙特斯、梅利斯·乌斯卢和伯格豪斯。