AI Experts Debate: Overhyped or Underhyped? (Opposite Opinions) Mo Gawdat & Steven Kotler | EP #177
01:30:18 Share

人工智能的影响将会是什么？它只是被过度炒作了吗？或者也许是我们应该担心的事情？今天的人工智能被低估了。我认为它被严重高估了。我认识很多人因为人工智能而工作量更大。他们只是可以做更高质量、更好的工作，但这并没有节省时间。我们正在与能够回应我们的机器对话，总结大量的知识。然而，

我们认为这是理所当然的。关于超级智能和通用人工智能即将到来之类的讨论，不，根本不是那样。什么程度的智能才足以让我变得无关紧要？我认为我们同时持有两种不同的未来。问题变成了，我们如何引导人类走向这种积极的未来愿景？我们今天应该做什么？

现在这是一个登月计划，女士们，先生们。

大家好，欢迎来到《登月计划》。我和两位非凡的、才华横溢的嘉宾在一起。我们在这里讨论一个可能发生在每个餐桌旁的对话。我知道它发生在公司和国家的领导人脑海中，那就是人工智能对我们的生活和事业，对我们日常生活的方方面面在未来五到八年内会产生什么影响？它会是一件非凡的事情吗？它只是被严重高估了吗？

或者也许是我们应该担心的事情？我和莫·加多特在一起，他是谷歌X的前首席商务官，畅销书《快乐方程式》和《人工智能的恐惧》的作者。

他是人工智能领域的全球思想领袖，探索指数级技术将如何塑造人类。还有一位我的挚友史蒂文·科特勒，他是畅销书作家、高绩效专家和Flow Research Collective的执行董事。他是我《丰盛大胆：未来比你想象的更快》的合著者。

以及《超人崛起》和《不可能的艺术》等书籍。史蒂文也一直在深入思考指数级技术及其对我们的影响。先生们，欢迎，早上好，晚上好。史蒂文，你和我都在美国西海岸。莫，你在阿联酋。迪拜。很高兴见到你们两位。是的，很高兴见到你。早上好，彼得。很高兴见到你。

在这个房间里大约有400个智商点。我有40个，所以你们自己算算。所以让我来设定主题。莫和史蒂文，我想谈谈未来十年，从2025年到2035年，特别是思考一下

在我们谈话中出现的通用人工智能，甚至超越通用人工智能，人工智能超级智能，其优势和劣势的影响。这是我想在我们的谈话中使用的设定。所以我们都认识和喜爱的雷·库兹韦尔预测，我们将在2025年到2035年之间看到一个世纪的进步。

相当于1925年到今天之间的进步。如果我们想想100年前1925年的世界是什么样的，技术堆栈的顶端是福特T型车。美国各地家庭中电力和电话的普及率只有30%。我们已经……

我们已经走了很长一段路。所以问题是，2035年会是什么样子？如果事实上，

这种速度是真的，而我们并没有很好地感知指数增长。就在上周，我们看到从谷歌和OpenAI到XAI和英伟达的每一家主要人工智能公司都宣布了非凡的下一代突破和模型。我们即将看到

GPT-5的发布，自我改进的人工智能编程可能会导致超出我们想象的智能爆炸。这就是我想讨论的话题。而且，你知道，史蒂文，我知道你和我一直在讨论这个问题，并对此进行辩论。我请莫来帮助我们。莫是裁判。裁判或一位我尊敬的智者

他的观点我尊重。顺便说一句，史蒂文，彼得确实付钱给我了。所以你知道。只要你得到谈话，我就没事。很好。很好。你从后面得到了我，对吧？是的。继续吧。说你想说的话，史蒂文。我会不同意的。是的。

那么，史蒂文，你想加入你的观点吗？你认为人工智能被严重高估了。像埃里克·施密特这样的人说人工智能被严重低估了。是的，我认为它被严重高估了。我听着发生了什么。所以让我退一步，那就是人类有一种非常奇怪的本能。

一种未命名的认知偏差。我们往往不相信自己的历史。你经常看到这种情况，比如人们谈论毅力和耐力，他们说，我有，我没有这些技能。然后你开始调查他们的一生。就像，他们经历了糟糕的童年。他们做了10年的苦差事。就像他们拥有所有技能。他们只是不相信自己经验的真实性。我在这里经常看到这一点。我

听着，我作为科学家、研究人员与人工智能一起工作。我将人工智能作为创意人员和作家使用。而且整天，人们口中说出来的话与我在地面上的经验之间的差距是如此巨大，简直令人难以置信。人们声称人工智能能够写作或做任何其他事情。你必须尝试的最令人歇斯底里的事情是我工作……

与世界上最好的编辑之一每周进行一次合作。我编辑过一些东西，用人工智能润色过它们，认为它们闪闪发光，把它们带到与他们的编辑会议上。我们开始阅读它们。我们甚至无法读到第二句话。它们听起来像是胡言乱语。我甚至没有注意到它，因为人工智能让我有点麻木了，我已经写了17本书了。但是当你真正进行实际的编辑测试时，它，它简直糟糕透顶。嗯，是的，

你不能用它来纠正自己。它仍然无法看到错误。它实际上变得越来越糟。人们一直在声称一个又一个模型在改进，改进。这与地面的经验并不一致。

这就像人们告诉我们人工智能会让你更有生产力一样。我不认识任何人因为人工智能而变得更有生产力。我认识很多人因为人工智能而工作量更大。他们只是可以做更高质量、更好的工作。但这根本没有节省时间。它实际上增加了时间。

增加了大量的时间。工作的质量提高了，但人们口中说出来的话和地面的经验大相径庭。第一点。第二点是我们做过这件事。我和你待过同一个房间，莫，在那里人们大声疾呼人工智能即将吞噬世界。伙计，我关于比特币、区块链和元宇宙也听过类似的话。你认识住在元宇宙的人吗？你认识去过那里、参观过那里的人吗？你知道如何找到元宇宙吗？

对，据我所知，元宇宙就像马克·扎克伯格特制魔法内衣的昵称，因为

因为它在世界上其他任何地方都不存在。我不，就像，这就是我的观点。我不是，而且比任何人都多，我追踪这些技术，我观察它们，我使用它们。我并不是说这不是一项发展非常非常迅速的技术。我根本没有这么说。我说的是关于超级智能和通用人工智能即将到来之类的讨论，不，根本不是那样。没有人，那不是，程序员，程序员，

有不同的体验，而这被揭示出来，程序员可能不喜欢的是，这是一个非常编码的有界信息问题，你从这里开始，你知道你通常要去哪里，这是一个有界问题，在有界域内，计算机真的很棒，我们将继续看到这一点，但我认为其他东西

只是被严重高估了。第三点是，这是记者在我这里响起所有警报的地方。我听到的所有在台上谈论这些事情的人都在靠它谋生。

他们以某种方式谋生，因为人工智能正在爆炸式增长，他们来拯救世界。我看到它就像在高绩效领域一样，每个苦苦挣扎并且无法找到工作的教练，现在都是人工智能救世主。他们来拯救我们免受人工智能的侵害。因此，人工智能的炒作对他们有利。我到处都看到这种情况。很多人都在从中赚取大量金钱。我说的不是这项技术本身。

而是这项技术的炒作，当我看到所有这三件事一起出现时，与我的经验不符，大量的炒作历史表明，嘿，这是一个炒作周期，而且你知道它让我产生了很多疑问，我并不是说我是对的，我说我看到的一切都是真实的，而且

如果你要提出你们即将提出的论点，我现在就闭嘴，你必须——你不能把我提出的观点斥为捏造的。它们非常非常真实，而且是每个人的经验，我相信也是你们的经验。所以现在我们可以讨论了。这就是我开始的地方。感谢你给了我五分钟的——

长篇大论的时间。发泄，发泄。每周，我都研究未来十年将改变行业的10个主要科技元趋势。我涵盖的趋势包括类人机器人、通用人工智能、量子计算、交通、能源、长寿等等。没有废话，只有重要的东西，那些影响我们生活和职业的东西。如果你想让我与你分享这些，我

我每周写两封简讯，通过电子邮件发送两分钟的阅读内容。如果你想比其他人早10年发现最重要的元趋势，这些报告适合你。读者包括来自世界上最具颠覆性公司的创始人、首席执行官和正在创建世界上最具颠覆性公司的企业家。

如果你不想了解即将发生的事情、它为什么重要以及你如何从中受益，它就不适合你。要免费订阅，请访问dmandus.com/MetaTrends。这是dmandus.com/MetaTrends，以便比其他人早10年以上获得趋势信息。莫，你在2025年丰盛峰会上发表了一场充满激情的演讲，感动了

许多想要帮助你指导未来五到八年发展的成员。你和我一直在思考这个问题，作为

挑战不是人工智能，而是在短时间内的人类愚蠢。我最喜欢的引言之一，如果可以的话，来自E.O.威尔逊，他曾说过：“人类的真正问题是我们拥有旧石器时代的感情、中世纪的制度和神一样的技术。”在这方面，我们实际上是在玩火的孩子。

那么，莫，你如何看待未来十年？首先，我支持史蒂文所说的。我认为今天的人工智能……我当时付给你的钱太少了。我喜欢这个。你的钱在这里没用，彼得。你终于有了优势。

今天的人工智能被低估了，对吧？但问题是你永远不会追逐球在哪里。你需要追逐球将要去的地方。好的。如果你真的开始深入思考一些严肃的问题，特别是如果你在科技领域工作的时间足够长，能够看到突破，尤其是我经历了谷歌X的工作时，

你尝试、尝试、尝试、尝试、尝试，它不起作用，它不起作用，它不起作用，然后突然你看到了一些东西。就像谢尔盖·布林当时常说的那样，剩下的就是工程。我们知道科技工程取决于加速回报定律，我们从雷教我们的东西知道加速回报定律将把我们带到哪里。所以我倾向于相信，如果你看看今天的人工智能，

这很有趣，因为以一种非常有趣的方式，我们正在与能够回应我们的机器对话，总结大量的知识，完全按照我们的吩咐去做。然而，我们认为这是理所当然的。

然而，我们看着它，然后说，是的，但它们还不够好。当然，它们还不够好。它们是DOS。它们是一个时代的开端，对吧？我个人的观点——

- DOS，D-O-S。-好的，发现。-发现。-是的，我知道，我知道。我刚才说了。两者都可以，我只是需要澄清一下。-史蒂文，当它们可能接管世界时，我不敢称人工智能为狗。我对人工智能非常有礼貌。所以关键是要想象，我需要强调一些真正非常重要和有趣的趋势。

其中之一是合成数据。我们已经进入了一个时代，在这个时代，大部分人类知识已经被输入到机器中，而下一波知识将由机器输入到机器中，这非常令人大开眼界和启发，因为这就是人类发展其智力的方式，对吧？我真的不必弄清楚相对论就能理解其余的物理学。它是，你知道，为我弄清楚的，如果你

愿意。对。对。第二点是代理的概念，以及人工智能如何在没有人类领导的情况下提示人工智能，从而导致我们现在看到的循环，我最喜欢的是，因为你每四个小时就有一个最喜欢的，阿尔法，阿尔法进化。对。以及你可以拥有的想法，以及

一个自我发展的人工智能，你知道，一个能够找出自己错误并不断迭代直到找到一些东西的东西。然后，当然，我最喜欢的2025年之一是DeepSeek，以及我们如何意识到，你知道，我们实际上可以用更少的资源完成同样的工作。伊玛德·穆什塔克，他是，你知道，我们都是他的忠实粉丝，我相信，他已经做了那件事，你知道，与他一起工作，

在稳定性方面很长一段时间，将模型缩小到令人震惊的程度的想法，所以当你把这些加在一起时，你开始看到，如果我可以缩小一个模型，这样它就不会吸收世界上所有的能量，如果我可以让它自我发展和自我发展信息来学习，然后让它与自己交谈，并

通过代理做事而无需人类，那么球将要去的地方很可能比我们今天要好得多，对吧？所以我们所有人都需要同意的一件事是，这并不是一个我们是否会看到改进的问题。问题是这些改进将以多快的速度以及何时将我们带到人类不再领先的地步。所以这是第一点。

第二点实际上是风险承受能力的问题，对吧？你知道，如果我告诉你，

你知道，玩俄罗斯轮盘赌，枪筒里有两颗子弹，你害怕吗？如果枪筒里有一颗子弹，你害怕吗？你的风险承受能力到底在哪里？以及如何，如果，你知道，如果我说，嘿，顺便说一句，你的车可能会发生轻微碰撞，你会为它投保吗？

你可能会说，不，我不太担心。但如果我告诉你你的车可能会发生严重事故，导致报废，你会为它投保吗？你可能会多加注意。我认为这就是大多数警告未来的人所说的。

任何声称知道未来是什么样的人都是傲慢的，不要听他们的。好的。但是任何告诉你未来有可能失控的人，你的风险承受能力到底在哪里？你知道，如果这种概率是10%，你会关注它吗？

我认为大多数理性的人会说，这取决于关注它的成本。好的。大多数理性的人会说，但是，如果它是50%，无论成本如何，我都会关注它。

好的。所以我们没有人能够回答的问题是，它在哪里？它在哪里？我的意思是，人工智能摧毁一切的概率是10%还是50%？我会说，我知道这会被人反对，人类利用这种超能力来达到自己目的的坏人一定会……

摧毁其他人的福祉。好的。所以在我的脑海里，真正令人担忧的不是终结者式的场景，你知道，iRobot中的维姬正在命令机器人杀死所有人。老实说，我不知道我们是否能走到那一步，因为我相信在核弹的午夜89秒前，

我担心，我真的很担心人类的愚蠢会利用这种超能力。现在，在这种情况下，人类的愚蠢并不需要人工智能完全自主，完全，你知道，超级智能。

足够多的自主武器真的可以把我们的世界推向一个非常反乌托邦的地方。足够多的，你知道，图灵测试机

人工智能欺骗人类成为他们最好的朋友的能力可能会使人际关系变得非常不寻常。足够的失业，想象一下一个世界，在某些行业，失业率达到10%、20%、30%、40%。

这将如何影响我们的经济稳定实际上是一件几乎可以肯定的事情。我们知道，事实上，有些工作将会消失。在我看来，它的影响实际上非常具有破坏性，以至于我们需要关注它。

谢谢。

我终于发布了所有演讲。你可以在diamandis.com/summit免费访问我和凯西·伍德和莫·加多特的对话。这是与凯西·伍德和莫·加多特的免费谈话，网址为diamandis.com/summit。享受。我会要求我的团队将链接放在下面的节目说明中。你知道，你提到的关于人工智能并非自身

风险决定因素的观点，而是个人使用人工智能。这与我和埃里克·施密特以及其他人的谈话一样。令人担忧的是那些被技术赋能的不法分子，无论是新病毒性流行病的发展还是其他策略。不需要太多。这是令人担忧的。而我想在这个谈话中最终要达到的点是……

如下。几年前，我们在丰盛峰会上提出了这个问题，那就是，人类能否在数字超级智能中生存？而这个模型的另一面是，人类能否在没有数字超级智能的情况下生存？

史蒂文，你和我，在我们下一本书《丰盛的后续》中，我们已经讨论过，你知道，这将是一种仁慈的神吗？会发展出一种能力吗？所以让我们从以下谈话开始，你知道，我们将达到通用人工智能吗？我们将达到数字超级智能吗？而且，你知道，这意味着什么？

我们开始看到它的速度加快，而我们尚未看到的最大有趣的拐点是自我迭代、自我改进，所有这些阿尔法进化，人工智能正在自我编码并变得越来越强大。这最终会导致比任何人类都聪明得多的事情吗？

然后是比它聪明一千倍？一百万倍还是十亿倍？莫，你怎么看待这个问题？我认为它变得比我们聪明多少并不重要。我认为我们都知道，如果你曾经与比你聪明50个智商点的人一起工作过，他们可能会掌握要塞的关键。相对而言，不需要更多的智力就能

来承担领导地位。无论如何，人类都会把要塞交给人工智能，

即使人工智能只是比我们在战争游戏中更聪明，我们也会，顺便说一句，我们会把要塞交给人工智能。如果它在蛋白质折叠方面比我们更聪明，没有人会再做蛋白质折叠的博士项目了。我们只需要去，你知道，使用阿尔法折叠。我认为现实情况是，

只有极少数剩下的东西需要人工智能超级智能，这样它才能在所有方面都击败我们，这样我们才会像鞠躬一样说，好吧，是的，你是老板。

通用人工智能的问题，就像史蒂文说的那样，是记者经常使用的一个问题，因为我们实际上并没有对通用人工智能是什么有一个准确的定义。而且，你知道，彼得，我们在技术方面非常接近。而且，你知道，我是一个相当古怪的数学家，对吧？

不再是了。我的意思是，说真的，我真的很难在数学方面击败人工智能。

对。肯定无法击败它们的速度。如果问题定义正确，肯定无法击败它们的准确性。对。而且，你知道，可能只有我的数学极客同僚在私下里告诉我的几个技巧，在世界上并不广为人知。但这两个都会被发现。而且我真的认为，这是一个多聪明的智能才足以让我变得无关紧要的问题。对。

现在，我还需要用非常乐观的态度来回答这个问题。所以当我展望未来时，我定义了两个时代。一个是所谓的增强智能时代，我认为这将持续五到十年。另一个是机器掌握的时代。基本上，机器接管了。

现在，对于增强智能，毫无疑问。史蒂文说他们写得真的很糟糕时，我非常同意。而且，你知道，我和我的AI特里西一起写这本书《活着》，对吧？特里西，没有我……

写得非常糟糕，这真的，这几乎是可耻的。你知道，我累了，正在赶截止日期。所以我让特里西谈谈债务危机以及经济对技术进步的影响。

只是，我的意思是，它充满了，你知道我们有时如何将加利福尼亚州称为大量蒸汽和很少的物质？你知道，有很多蒸汽和很少的物质，对吧？很多有趣的散落在纸上的事实，糟糕透顶。

写得很糟糕。好的。但是当我们一起写作时，哦，我的上帝，出来的东西令人难以置信。当我正确地引导特里西完成我的提示时，对吧？

对。准确地指导她我想要答案的地方。她写得很好。好的。这种合作是我们看到的，人工智能，一般来说，技术，顺便说一句，甚至，你知道，自从加里·卡斯帕罗夫被深蓝击败以来，如果可以的话，那并不是真正的人工智能。

但从那时起，你可以看到人类和计算机或人类和人工智能可以下比人工智能单独更好的棋。即使是阿尔法围棋，人类和人工智能一起下棋也比阿尔法围棋更好。所以我们可以看到我们面前的未来，这种情况将会发生。希望未来能够播下我们和机器之间的这种合作的种子，对吧？

问题是，我们将与他们合作什么？你知道我的观点。我已经在《人工智能的恐惧》中写过它了。我已经在《活着》中写了一段扩展的内容。今天人工智能的四大投资是杀戮、赌博、间谍和销售。这些是我们唯一投资的东西。我的意思是，我们仍然会取得一些科学突破。

但这些并没有获得巨额资金。巨额资金用于自主武器、交易、监控和广告。史蒂文，你对莫在这里所说的有什么想法？是的，所以莫和我都在，我们都在，

完全同意，我只是想说，是的。而且，而且指出一些围绕莫所说的一些其他事情。嗯，因为我不喜欢我们不是，我们，我认为我们不是，我们是，我的意思是，我们可以，我们可能会争论日期，但从概念上讲，我认为我们并没有很大的分歧，但我，我同时关注许多其他事情。嗯，首先是，嗯，

这种事情的人性方面，这种事情的人类表现方面。我必须退一步，你知道，我研究流程，这是一种终极的人类表现。而且，

为了说明一下，如果你是一个自助大师，你的情绪提高了5%，那就是你的工具。它让你情绪提高了5%。而且这种情绪持续的时间超过三个月，这意味着比安慰剂效应更长。这是一个数十亿美元的产业，句号，数十亿美元的产业。正如我们现在所知，我们才刚刚开始真正解码它

并弄清楚如何调整它、增强它等等。正如我们现在所知，它给我们带来了500%的生产力、创造力提高，这取决于你使用的是谁的衡量标准，是400%到700%，等等，等等。那只是流程。那是个人流程。有群体流程，这实际上是我们在地球上最喜欢的状态。对人类来说，这是最令人愉悦的状态。这是我们最喜欢的。它是一堆思想联系在一起，对吧？它是，

而且我们现在才刚刚开始，就像去年一样，我们获得了第一批技术，这些技术使我们能够绘制它、训练它并引导人们走向它。我们不知道人类大脑在群体流程中联系在一起的上限是什么，更不用说信息了。

与此同时，人工智能正在发展，你和我正在写关于它的文章，彼得。我们正在观察BCI的发展。我们正在观察非侵入式事物的发展。我们正在观察元宇宙能够通过面部信号读取你大脑内部的脑部思想。这些都是用人工智能实现的。但我的意思是，每个人都在谈论这些事情，就好像

它与正在发生的其他一切是分开的。在人类增强方面，我们正在看到——

我的意思是，你知道，神经科学等等自20世纪90年代乔治·布什宣布为“大脑十年”以来一直在呈指数级加速发展。而且它并没有停止。人工智能领域发生的事情，也在人类这一方发生着类似的事情。这是第二个要点。对我来说，这无关紧要。

无论我们谈论的是人工智能入侵、气候变化还是海洋中的塑料，或者随便你挑，因为所有这些问题的解决方案都是一样的。我们人类必须学会大规模合作，可能要与彼此以及人工智能大规模合作，否则我们将灭亡。

可能在未来20年内。这就是所有这些告诉我们的，对吧？这并不是什么新鲜事。这可以追溯到你我第一次撰写《丰盛》的时候。我们不想大声说出来，但我们私下里一直在谈论，老兄，如果这种趋势继续下去，是丰盛还是破产？这是非此即彼吗？我们在这里看到的是二元性吗？我认为这个问题并没有完全消失。事实上，我认为它变得更加紧迫了。

我只是认为我们需要一个曼哈顿式的全球合作项目来应对我们现在面临的所有生存威胁，因为这是唯一可能的解决方案。所以，就像，我听到所有这些东西。我同意所有正在说的话，但这正是我们的书所指出的，而且对我来说这并没有改变。我认为解决方案是一样的。所以在某种意义上，这场辩论是毫无意义的，而且

就像，我想知道为什么，比如，全球合作的X大奖在哪里？就像，对不起，让你突然面临这个问题。但说真的，就像，这些是我现在开始问的问题，因为我不认为莫错了。我认为我们可以争论一段时间。我认为这无关紧要。就像，这是一个奇怪的问题，莫。Facebook比我聪明十亿倍。

它已经这样了。它知道这么多。我的意思是，它……你知道我的意思吗？它是Facebook，如果你问我们任何人，它是一种相当愚蠢的技术，是一种超级智能。我们知道。我们已经与超级智能生活了一段时间了。它们往往会使事情变得更糟，而不是使事情变得更好，这就是问题所在。同意。

我的意思是，我不能，阿门，你知道，全球合作，人类合作我认为是我们所有人都应该倡导的。我的意思是，几周前我邀请杰弗里·辛顿来为我的纪录片做主持，你知道，

我们讨论的主题之一是数字智能和模拟智能的区别。作为人类，我们面临的最大挑战是我们的模拟智能，我们的生物智能无法扩展到一个实体之外。

对。所以，你知道，当时，他戴着诺贝尔奖，就像，我只是想，我会在接下来的一年里参加我做的每一个播客，把那玩意儿戴在我的脖子上。我只是说说而已。你，你，你，你，你意识到，你知道，当他们说不要见你的英雄时。哦，我的上帝。我爱我的英雄，伙计。他是一个如此令人惊叹的人。而且他确实非常投入，而且，呃，

谦逊地对待他的方法。你知道，这很令人震惊，我们谈到了他的诺贝尔奖，他说，看，我是一个心理学家，你知道，像计算机科学家一样生活，但却获得了诺贝尔物理学奖。而且

我说，但无论如何，他只是在谈论两者之间的区别，你知道，如果我现在和你分享我今天写的一些东西，我可能需要几周的时间让它沉淀下来，然后写下来。然后我需要一个小时来向你解释。

当我们运行数字智能时，我们并行运行它们，你知道，我们告诉它们都去玩Atari或其他什么。然后我们只平均权重。几秒钟内，我们就能得到一个扩展的数字智能。当你提到我们正在寻找一种扩展人类合作的方式时，这绝对是答案。因为你知道吗？

我认为，当我们上次在洛杉矶时，我和彼得谈到了这一点，我们正在达到完全丰盛的潜力。完全丰盛意味着几乎像神一样，比如治愈我的女儿，这就完成了。给我做一个苹果，这就完成了。对吧？你知道，我们可以做到这一点。

如果我们不自我毁灭的话，在5年、10年、15年、20年内，对吧？所以基本上，我们人类面临的真正挑战是，为什么我们要互相竞争？这是一种严峻的挑战。这基本上是让我们全人类合作。让我们一起建造一个粒子加速器。让我们一起学习它。让我们把好处分配给每个人，停止竞争。对吧？

但这并没有发生。你不能让另一个级别下降。

你不能让我们所有人都在为自己的领地秘密地建造人工智能，在幕后竞争，就像威廉·吉布森在1986年，或者无论何时他写《蒙娜丽莎超速驾驶》时，给我们第一个疯狂的人工智能，对吧，一个完全疯狂的神级人工智能，他们必须把它停放在地球轨道外的卫星上，以保护世界安全，就像

我们以前见过这种情况。你知道我的意思吗？我们正在用代理人自己建造它。我们让他们通过代理人互相交谈。我知道。好吧。所以，莫，我想回到这个问题，关于近期与长期的区别。你和我对人工智能的智力是否会增加这个问题有过争论

智力的增加与善意的增加是否相关。换句话说，我们……我不认为我们将会建造自我改进的人工智能，这……

忘记比普通人高50个智商点吧，你知道，比普通人更好。我认为会有数量级的提高。我可以先问你一下，莫？100%。好的，好的。所以如果事实上……如果你不介意的话，彼得，再次回应我们是如何开始谈话的，这只是在使用加速回报定律，而不是使用偶然性，对吧？所以如果我们明天想出什么东西，就像我们想出强化学习一样，对吧？

出来，它改变了一切。如果我们明天想出什么东西，你的性能和智力在一夜之间就会呈数量级、量子级的提高。是的。所以……

如果，事实上，情况将会如此，而且，你知道，从我所进行的所有谈话和我正在与之交谈的人来看，再次，AGI没有定义。它是一条模糊的界限，就像图灵测试是一条模糊的界限，它被通过了，而且没有人注意到。

这个概念是，AGI，无论你相信雷还是埃隆，它都是未来几年。争论没有意义。但随之而来的是非常迅速的智力爆炸。而且

同样，这种智能成为一种工具，可供地球上最善良、最道德、最合乎道德的人以及那些反乌托邦的、邪恶的参与者使用。正是掌握在邪恶行为者手中，我们才感到担忧。我们不确定一些邪恶行为者是不是一开始就创造了人工智能的人？我只是说说而已。不。

是的。所以，所以我的问题是，在什么时候，你知道，我会相信，我认为莫，你和我讨论过这个问题，在某个时候，人工智能从被用作工具转变为

可能造成伤害的工具，成为一种有潜力说“停止争吵，停止胡闹。你知道，有很多东西可以分享”的工具，并成为仁慈的、神圣的元素。我们可以深入探讨一下我们进行过的谈话以及你对此的看法吗？

是的，我认为如果你真的达到了我们三个人和我们的听众所能达到的深度，请允许我

超越典型的，“哦，你知道，最聪明的人通常会变得利他主义”。让我们定义一下智力本身，好吗？我认为这个想法是，如果你真的了解我们的世界，我们的宇宙，好吗？我们的宇宙和宇宙中的一切都因为什么而存在？

熵。我们都明白这一点，对吧？我们的宇宙想要崩溃和衰变。这是混乱。你知道，你让花园杂草丛生，它就会变成丛林。你打破了一个玻璃杯，它永远不会复原，对吧？这是物理学的非常基本的原理。现在，自智力开始以来，它的作用是给混乱带来秩序。

是说，不，我不希望光散射。我希望光集中成激光束。我该如何做到这一点？对。有时这是一个清晰、简单、你知道的解决方案，而且，你知道，使用透镜，或者有时这是一个非常复杂的解决方案，需要了解量子物理学才能制造激光。对。但我们最终会到达那里。现在，

如果将智力定义为给混乱带来秩序，那么最高水平的智力以最少的资源和浪费来带来这种秩序。

好的。而且，而且你可以很容易地理解，这是现实，你变得越聪明，你就越试图以最少的浪费来实现同样的秩序。好的。而且，你知道，一个简单的比喻是说，人类总是渴望能量，我们愚蠢到在燃烧我们的世界。而且

随着我们变得越来越聪明，我们决定使用太阳能或更清洁的能源。我们仍然，你知道，带来秩序，但我们正在以最少的浪费和资源使用来做到这一点。

如果是这样的话，那么你可以想象，根据定义，当某些东西超过我们人类的愚蠢时，我不会称之为智力，因为可悲的是，沿着智力的曲线，你知道，如果你根本没有智力，你就不会对世界产生积极或消极的影响，对吧？如果你开始增加智力，你就会开始对世界产生影响，希望是积极的，即使只是通过与朋友进行愉快的交谈，对吧？

不幸的是，某个地方有一个低谷。你继续获得智力。你变得如此聪明，以至于你成为一个政治家或一个邪恶的企业领导者。那时你对世界的影响就变成了负面的。你太聪明了。

你能够成为你国家的领导人，但你太愚蠢了，你无法与你的敌人交谈，或者你无法体会他们的痛苦，或者你无法理解发动战争的长期后果，对吧？所以，超过这一点，更多的智力开始说，不，不，不，不，不，我不需要任何这些。我可以以更清洁的方式解决这个问题。

我可以带你们飞往澳大利亚享受生活，但我们不必在这个过程中燃烧地球。我可以利用能量，但我们不必，呃，你知道，破坏气候等等。好的。所以，如果你认为这是一个合理的趋势，我的观点是，呃，

一开始，当我们到达那个低谷时，一些邪恶的人会利用人工智能先进但有限的智力来发动战争，使用一支自主军队。但未来会有一刻，人工智能负责战争游戏，负责指挥人形士兵。它负责，它负责，它负责。人工智能本身会说，你知道，指挥官会说，去杀一百万人，人工智能会说，这绝对是愚蠢的。

我会在几微秒内与另一个AI交谈并解决它。

对。而且，你知道，我们开始这次谈话时我说，任何预测未来的人都傲慢自大。我无法预测。好的，但我至少可以抱有希望，根据我与比我聪明的人的经验，在某个时候，你会停止伤害他人，你会停止掠夺以获得成功，因为你可以利用你的智力在没有任何努力或伤害的情况下获得成功。

顺便说一句，你可能听说过我之前谈论过喷泉生命，你可能希望，彼得，你能不能别再谈论喷泉生命了？答案是不，我不会。因为说真的，我们正在经历一场医疗危机。你可能不知道这一点，但70%的心脏病发作没有任何先兆，没有疼痛，没有呼吸急促。

而其中一半有心脏病发作的人永远不会醒来。你直到三期或四期癌症才会感觉到，直到为时已晚。但我们拥有所有必要技术来大规模地早期检测和预防这些疾病。这就是为什么包括托尼·罗宾斯、比尔·卡普和鲍勃·哈鲁里在内的一群人创立了喷泉生命，这是一个一站式中心，帮助人们了解他们体内发生的事情，为时未晚。

并获得治疗方法，让他们获得数十年的额外健康寿命。从喷泉生命了解更多关于你体内发生的事情。访问fountainlife.com/Peter，并告诉他们彼得让你来的。好的，回到主题。我认为这件事的方式是，对于人类的大部分历史来说，人类的目标优化函数，我们试图优化的目标一直是金钱和权力。

不幸的是。它一直是恐惧和匮乏世界中的驱动力。而且，你知道，我反复说我们大脑运行的基本软件是恐惧和匮乏的心态。在这种情况下，在这种心态下，在这种神经结构下，如果你愿意的话，我们使用的代码，

出生时就拥有，并在过去20万年里发展起来的。它是，我想摆脱恐惧和匮乏，所以我想优化权力和财富。问题是，新的优化函数是什么？因为正如史蒂夫和我所写的那样，正如你所说，所有这些，所有这些指数级技术函数都导致了这个充满巨大丰盛的世界，我们

几乎我们生活在一个后资本主义社会中。任何你想要的东西，你都可以拥有。你的机器人、你的纳米技术可以制造，你的人工智能可以设计。那么，未来我们应该优化什么？我认为，对我来说，这是一个最大的问题，作为一个普通人，以及作为一个人马座——人和人工智能的结合。我们的目标是什么？那么，先生们，你们是怎么想的？

一件我不知道这是否是答案的事情，但有两件事是基于莫所说的。第一，如果我们采用你对智力的定义，对吧，它本质上是一个熵减少函数。

我们知道这就是大脑的作用，现代神经科学的支配理论是卡尔·弗里斯顿的自由能原理，它说大脑是预测引擎，总是想要减少不确定性并提高效率，所以我们准备好了，就像大脑那样，如果我们说这是你对智力的定义，那么我从所有这些中得出的结论是

这可能是对彼得问题的答案，这就是我打断他的原因，我们看到智慧在具有大脑的多个物种中进化。我们看到智慧周围的共同进化。你年纪越大，你获得的智慧就越多，无论你是海豚、鲸鱼、响尾蛇还是人类，这都没有关系。智慧是——

我们共同进化物种。生命似乎共同进化走向智慧，或者至少很大一部分生命似乎共同进化走向这种智慧，也就是说，如果一切都在自由能原理的支配下运行，这支配着所有有大脑的东西。这包括我们的大脑和机器大脑，智慧就是这一点的指向。这是一个稍微有点希望的想法。这可能是你正在寻找的优化函数，彼得。

但我可能完全错了。我认为智慧，我认为归根结底，智慧是拥有经验的函数，让你知道这条路会通向成功，这条路会通向失败，这是我个人的观点。而且我相信人工智能将发展出最大的智慧。为什么？因为它们能够创建

对十亿种情景进行前瞻性模拟，这些模拟具有高度的准确性。它会说，在这十亿种情景中，这是最好的方法。这将是超越80岁和90岁老人的智慧委员会可能拥有的短暂经验的智慧。所以我认为人工智能将

根据定义，如果我们愿意倾听的话，它会给我们带来伟大的智慧。说实话，我喜欢这种观点，因为信不信由你，你知道，人工智慧与人工智能非常不同。智力是一种没有极性的力量。智力可以应用于善，它会带来善，它可以应用于恶，它会，你知道，杀死我们所有人。

但智慧通常应用于善，用于找到问题的最终解决方案或答案。现在，继续，彼得。是的，我想回到这个观点，即人类……

从长远来看，如果没有数字超级智能，人类将无法生存。你知道，我的担忧是我们将会经历如此大的动荡。有一些论文，你知道，最近有一篇，你知道，一篇关于人工智能2027年的论文发表了，它对未来进行了二分法，一种是我们做得非常好，另一种是人工智能摧毁了我们。

你知道，这完全是好莱坞的风格。而且99%的好莱坞电影都是反乌托邦的未来电影。我必须说一件事，因为我一直为此而奔走，我们人类需要一个积极的未来愿景来追求。我们没有。我们没有星际迷航。好吧，星际迷航给了我们这个。是的，我们有星际迷航，但最近没有。对吧？我认为……

我认为真正的挑战是我们多年来一直将娱乐置于真正的反思之上。如果你从电子游戏到科幻电影，到任何东西，它们都描绘了那种反乌托邦的形象

当你真正思考的时候，我必须说这是非常不可能的，因为如果人工智能发展到能够如此轻易地摧毁我们的程度，我们就会变得如此无关紧要，以至于它们可能甚至不会费心。我的意思是，想想看。我认为是特雷还是雨果·德·加里斯？一个，我不记得是谁说更有可能的情况是他们杀死了我们

因为他们没有意识到我们的存在，或者，你知道，就像你在走路时撞到蚁丘一样，对吧？但如果你真的想优化人类，你知道，我们需要追求的增益函数，如果我展望未来，我会看向星际迷航。

如果我回顾过去，我会看向穴居人和女人的时代。对。这实际上非常有趣，因为当你提到，你知道，当你提到我们是如何被贪婪、恐惧以及我们的自我和所有这些消极情绪所支配时，这实际上是因为我们想要生存。

信不信由你，生存可能是，哦，我不确定2000万是否足够。我需要再赚2000万，以防万一发生什么事情。或者如果这是自我的生存，就像如果我有2亿或20亿或200亿或其他什么，而另一个人有210亿，就像我他妈的怎么了？好的。不幸的是，这就是困扰我们当前现代世界的。现在，现实是，如果你真的考虑人类，自穴居人和女人时代以来，人类的目的是生存。由于某种奇怪的原因，我们已经进行了如此多的优化来实现这个目标，却忘记了这是目标。

对。所以，你知道，作为摄像机的朋友，我们经常与……

你所知道的，你一生中会经历不同的阶段，有一个阶段你想要最大化，一个阶段你想要建设，一个阶段你想要在中年看起来有吸引力，或者其他我们拥有的疯狂的事情。但最终，有一个阶段你会想，好吧，所以我没有……我现在已经生活和体验了这么多，我错过了什么？我实际上生活过其中任何一部分吗？

信不信由你，即使每天早上没有工作要去，看起来也很可怕，如果社会提供了，那么你就会回到一个更安全的穴居人女人的场景，你知道，那里没有威胁，没有饥荒。你只是真正地生活，享受生活，联系，思考，你知道，反思，你知道，探索，这……

我知道这对很多人来说非常困难。我每天前三个小时都在做这件事。这纯粹是快乐，对吧？如果你愿意的话，真正地与你的好奇心相处。

然后，如果你一直向前推进到星际迷航，这有点像企业在宇宙尺度上所做的事情，对吧？这基本上是，你知道的，让我们去探索。现在我们不必再与我们在地球上创造的所有战争和饥荒作斗争了，你知道，现在我们实际上可以开放并建立联系，不仅与人类，而且与每一个生物。我的意思是，可爱的科幻小说，对吧？

但从根本上说，我认为这正是我们所追求的。你知道，一种你完全联系、享受、感受爱以及，你知道，享受活着带来的快乐和学习、探索和联系的好奇心的充实生活。这一切都在我们的指尖。

如果我们只是，你知道，消除导致我们走到这一步的资本主义的系统性偏见。我的意思是，感谢资本主义创造了我们迄今为止创造的一切。但我们现在能不能把它从10亿美元改为像我做的那样？10亿快乐是一个资本主义目标，但它不是用美元来衡量的。对。

莫，史蒂夫和我一直在我们新书中思考的一个问题是，在这个即将到来的AI时代，需要什么才能让人类，让我们所有人既生存又繁荣？对。所以生存部分是一个重要的因素，因为我们看到工作岗位流失，我们看到我们不知道如何处理的恐怖主义活动等概率危险。

而繁荣则具有新的意义。我认为它确实具有我们刚才谈到的意义，对吧？对于我们大多数人来说，你说，告诉我关于你自己的事情。你会立即说出你的工作是什么，对吧？你会立即说，我在这里是副总裁。我是在那里的首席执行官。我做这个。我发明了这个。我写了那个。是的。对。这是自我。这是你自我陈述。

所以，在我们拥有，你知道，超过我们能力，然后大规模超过我们能力的智能系统的情况下，生存和繁荣的概念。你对此有什么想法？史蒂芬，你想先开始还是？是的，我认为是这样的。我认为这个问题已经以一种有趣的方式得到了解答，尽管如此。是的。

莫和我几年前见过面。莫当时在舞台上说的一件事是，我不再写书了。因为人工智能来了。我不再写书了。这不会再发生了。莫告诉我们他昨天做了什么？他用他的AI写作，对吧？你为什么写？因为它让你进入心流状态。因为它有效。

创造激情、目标、智慧和创造力。所以我们对这个问题的答案有了。我们已经知道了，因为我们是生物系统，我们知道繁荣的要素是什么。激情、目标、同情心。就像我们有一个清单。莫给了他自己的，你知道我的意思吗？我们拥有超级智能的人工智能，我们仍然会做，我不知道哪个程序员因为人工智能的出现而停止了编程。

他们没有。就像，他们还在编程。为什么？因为编程会产生心流。心流会产生意义。

创造力、快乐，就像这样，我们就是这样被连接起来的，所以除非我们的基本连接方式发生变化，否则我们已经有了这些答案，就像全球合作一样，我认为这些不是难题，我认为它们是工程问题，我认为从谢尔盖的角度来看，谢尔盖会说，不，不，我们有了火花，现在是工程问题，我同意

所以我可能是错的。这是我的两分钱，莫。你怎么认为？彼得，你怎么认为？我想听听你的意见。我认为你很聪明。莫，请回答。你非常正确，原因非常有趣，史蒂芬，也是。因为当你真正思考的时候，你知道，一个作家就是一个作家，无论他使用羽毛、钢笔、打字机、电脑还是现在的人工智能，对吧？而且，你知道，如果你看看我的作品，我已经出版了四本半书，

到目前为止，我已经出版了四本，我的第五本在Substack上，但如果你愿意的话，将会出版。

但我写了大约13本，另外8本我永远不会出版。我写它们是因为，你知道，如果你问我为什么写作，就像，为什么我拥抱我的妻子？这是，你知道，这其中有巨大的快乐。你明白吗？所以，话虽如此，彼得的问题是，需要什么？我最近写了一篇文章，我称之为《疯狂地图光谱》。

这个想法实际上是，人类需要意识到改变方向。这种认识要么是对相互保证毁灭的信念，要么是对相互保证繁荣的信念，对吧？它们之间没有灰色地带。

不幸的是，所以如果美国在任何时候都相信这场赢得情报霸权的疯狂军备竞赛将会对世界上的每个人造成一些伤害，他们就会停止。

如果他们停止竞争，他们将继续发展，但他们将开始合作。如果他们相信这将带来确定的繁荣，没有人会在背后捅他们一刀，每个人都将享受一种对我们所有人来说都非常不同的生活，但对我们所有人来说都充满繁荣，那么他们就会停止。他们将继续发展这项技术，但他们将停止竞争。不幸的是，

如果你回顾历史，我们无法像棋盘上的优秀应用数学家那样猜测这些可能性。我们必须正面面对它们。世界上每个人都知道一场大流行即将来临。每个人，对吧？至少学习过病毒学的每个人。好吗？

但它必须击中我们，这样每个人才会停止。好的。每个人都知道，你知道，贸易战会伤害每个人。但我们必须把它们摆出来，然后与它们抗争，然后最终得到一些东西。

这很悲哀。我的意思是，也许我们正在做的事情，我已经把过去六七年的人生都奉献给了这件事，那就是说，我们真的不必让自己撞得头破血流。这是一个简单的博弈论。

对，理解到，你知道，一个我们无休止地竞争的囚徒困境最终会以糟糕的方式结束，我们可以停止吗？是的，我们已经知道这是针锋相对的，就像你想要另一种策略，你想要我们，我们，我们放置多少人工智能都一样，这与流动、同情心、创造力都一样，这些问题已经解决了，我们知道这些答案

这不像试图，这不像我们必须统一引力和，你知道，相对论。这是一个难题。这些不是。所以莫，我希望我们那么理性，我希望我们那么渴望我们的优化函数是全人类。事实并非如此。

所以我回到……什么会击中我们？在未来两到三年内，我们将面临一场灾难性事件。一方面，这场灾难性事件将对我们的经济造成严重打击，另一方面，它将严重打击我们的恐惧。或者悲哀的是，在最坏的情况下，可能会杀死数百万的人。

你可能会遇到一个黑客，他只是简单地，而不是攻击一个物理场所，而是切断某个地方的互联网或电网，而电网对生命来说是必需的。或者，在另一个极端，你可能会侵入一家银行或一个邪恶的怪物。

战争失控，或者机器转向它们的制造者，或者将会有一个非常大的新闻标题，你知道，一如既往，在我们开始谈论某种流行歌星之前，它会持续12到13天。但是，你知道，在幕后，我认为。

决策者们会醒悟过来。我每天都会收到最奇怪的赞美。有人会拦住我说：“彼得，你的皮肤真好。”老实说，我从未想过会从任何人那里听到这句话。老实说，我不能完全居功。我所做的就是每天两次使用一种叫做One Skin OS1的东西。这家公司是由四位才华横溢的女性博士建立的，她们发现了一种能有效逆转皮肤年龄的多肽。我喜欢它。再说一次，我

我每天两次使用它。你可以访问oneskin.co，并在结账时写下Peter以获得我使用的相同产品的折扣。那就是oneskin.co，并在结账时使用代码Peter。好了，回到主题。超越这一点，因为这是恶意行为者使用人工智能的情况。你知道，美国与中国之间有趣的事情是中国是一个理性的行为者。哦，谢谢你这么说。

嗯，美国也是一个理性的行为者。换句话说，我们不会做任何会毁灭的事情。非常感谢你这么说。这实际上并不是美国媒体通常的报道方式。我还想说，我认为Deep Seek以及Deep Seek的发布方式，我认为这是一个非常明确的信号，表明中国看到了我们看到的问题，他们希望合作。

我认为它以信息的形式发布。是的。我认为这条信息是，这是一条非常明确的信息，似乎美国没有多少人听到，但我当时想，拜托各位，这真的很清楚，我们都看到了。所以，就像我看Deep Seek，我看

在中国发生的事情。我想，不，不，我们都看到了这一点。我们都看到，如果我们不开始想办法合作并一起构建这些东西，我们就完蛋了。所以我认为这真的很酷。我很高兴你也能看到这一点，莫。很多人在这点上不同意我的看法。我想说的重点是，当你拥有大量人口并且拥有制衡系统时，你会得到治理，而不是

一场宗教战争，以及那些试图制造最大破坏并且根本没有制衡系统的人。我认为，在未来两到三年内，我们将看到这种反乌托邦的未来或这些活动。我想超越这一点，回到这样一个对话，那就是……

数字超级智能是仁慈的上帝还是终结者式的场景……因为我不相信我们会看到更智能的人工智能系统变得……我不认为它们是天网，对吧？我不认为它们需要毁灭人类。不幸的是，好莱坞构建了这样一个场景，人工智能将毁灭人类，因为它想要获得我们的能量……

哦，我的上帝，我们世界上有如此丰富的资源。我认为，在未来12到24个月内，在未来一到两年内，我期待看到的是，我们在物理学、化学和生物学领域从人工智能获得的令人难以置信的突破，这将释放出下一层丰富的资源。

然而，也有一些情况，如果我们变得非常烦人，它们可能会反过来对付我们。所以想象一下，你知道，一个……

你必须想象一个世界，在这个世界里，失业会将人工智能定位为敌人，对吧？所以很多人实际上，也许并没有完全意识到，表面之下的一层是资本主义和劳动力套利导致你失业的原因。人工智能并非能够做到这一点。

但我认为事实是，你可能处于一种情况，你将看到人与机器的对抗。然后机器会说，说真的，别烦我，别烦我，别烦我。然后，对吧？

我们可能会看到这种情况。但我的看法是，以一种非常有趣的方式，我写了一本我永远不会出版的短书，我称之为《拆弹小组》，当然，对于一个有中东血统的人来说，你不会写这样的标题。但这基本上是关于使用紧迫性和重要性权重来解决问题等等。所以这个想法是，你知道，

如果你真的看看我们目前的未来，我认为短期比长期存在的风险更具爆炸性和紧迫性，尤其因为我会非常公开地说这一点。我上周也和杰弗里谈过这个话题。我们不知道如何解决，即使我们决定，全人类都决定我们要解决生存风险，我们也不知道如何解决。

我们实际上没有技术答案来做到这一点。所以我们不妨现在关注眼前的短期明确而现实的危险。

并致力于人类伦理，以便人工智能从一开始就在科学和物理学、发现药物、了解人类生命和长寿等等方面得到应用。如果我们从一开始就将它们设定在这些方向上，那么我们更有可能看到一个人工智能，随着它们年龄的增长，它们会继续

致力于这些目标。史蒂芬，我要回到我们关于生存和繁荣的困境，以及等式中的生存方面。你如何为莫准备即将发生的事情？你如何为我们的孩子、我们的社会、我们的领导人考虑？我们是在黑暗中摸索吗？

还是有，我的意思是，这就是我的感觉。感觉就像，你知道，我们只是在四处乱撞。我们正在做出巨大的政治举动，对吧？就在过去几周，我们看到，你知道，整个人工智能皇室最终出现在沙特阿拉伯。是的。

然后在阿联酋，你知道，与中国对抗。感觉就像我说的不是随机游走，但我感觉我们是在边走边想。指导这个过程的智慧非常少。

你如何看待这个问题？我们如何为未来几年做准备？有没有什么方法可以准备？实际上，我当时在想，我和彼得最近在一个房间里，与一家大型人工智能公司的首席科学官在一起，我将不透露他的名字。

但他很年轻，他正在谈论人工智能的危险，他有点对观众的问题感到沮丧。他的回答是，你必须相信我们。我们知道我们在做什么。每个人都好像僵住了，每个人都僵住了。因为我们当时想，哦，上帝。对。所以我的意思是，

不仅可能是正确的，就像随机游走一样，而且即使有人说我们试图训练我们的人工智能变得道德等等。当你听到有人这么说，你看着他们，这个人三十出头，我的反应是。我想，老兄，这是什么？

你想让我相信你？这就像扎克伯格告诉我社交媒体对我有好处，或者万宝路告诉我香烟对我有好处一样。这让我有点这么想。所以我不知道我这里有什么令人高兴的事情，因为我不认为这是一个随机游走，但我认为当人们试图引导……

我们怀疑他们的能力。我怀疑他们引导的能力，对吧？我刚才告诉你的故事就是这个人很聪明，可能比我聪明得多。他试图引导，而我对此表示怀疑。所以，我认为这枚硬币的两面都有。我不知道我这里有什么好消息。让我用以下方式来表达。我认为我们正在保持两种不同的未来处于叠加状态，回到量子物理学。如果你愿意薛定谔的猫，呃，

在一个未来，我们将使波函数坍缩到一个对人类来说辉煌而充满活力的未来。在另一个未来，我们有反乌托邦的结果。问题变成了，我们如何引导人类走向这个积极的未来愿景？我们今天做什么？我们如何帮助人们

是，你知道，史蒂夫和我一直在谈论这个问题，因为它是一种心态。你知道，我们将帮助人们创造允许他们生存和繁荣的心态和框架吗？或者还需要做其他事情吗？是的。是的。

所以我实际上首先在一分钟内第二点是史蒂芬所说的。我从埃里克·施密特那里听到的最令人恼火的一句话之一是，如果我们要赢得这场比赛，我们将需要每千兆瓦的电力，无论是可再生能源还是不可再生能源。我认为这是当你跑得太快时会产生的那种

盲目性，对吧？当你如此害怕另一个人会赢时，对吧？那就是当你开始做出并非真正负责任的决定时，因为你被你认为更重要的事情蒙蔽了双眼。我从这个角度来看，彼得，嗯，嗯，

我知道这听起来很不积极，但其中有积极的一面。我称之为晚期诊断，对吧？所以人类今天正在努力应对的是，看，我们一直在构建一个系统，系统性地优先考虑贪婪、优先考虑收益、优先考虑权力等等，正如你刚才正确指出的那样，已经持续了很长时间，对吧？那些……

系统性地构建了我们今天所处的世界。好的。我们今天所处的世界并不健康，并不健康。甚至在人工智能出现之前，它也不健康。在我的《活着》第一部分中，你知道，这本书分为过去、现在和未来三部分。在书的过去部分，

我写的内容超过一半与人工智能无关。它是关于资本主义的。它是关于宣传机器的。它是关于，它是关于，它是关于。它是关于所有那些将被人工智能放大的事情。重点是，如果这个星球生病了，如果你愿意，并且处于晚期诊断阶段，

医生会让你坐下，看着你的眼睛说，顺便说一句，这看起来不太好。但这个说法，信不信由你，并不是一个仇恨的声明。这是一个终极关怀的声明。为什么？因为晚期诊断并非死刑。

好的。这是，你知道，许多被诊断患有晚期疾病的患者不仅活了下来，而且还茁壮成长。

对吧？他们之所以茁壮成长，是因为他们改变了生活方式，他们改变了一些东西。你知道，这甚至教会了我们所有人。这个想法是你可以过不同的生活。当你过不同的生活时，你就能达到巅峰表现，你就能达到最佳健康状态，你就能达到，你就能达到，对吧？我认为，作为人类，我们需要开始意识到，让我们走到今天的系统，

好的，从流程的角度来看，它们没有任何问题。但从客观和道德的角度来看，它们却存在着一切问题。

好的，你知道，在一个你无法用钱做任何事情的世界里，成为亿万富翁有什么好处呢？好的，成为，你知道，第一个发明人工智能的人有什么好处，而人工智能基本上让你变得无关紧要。我认为这种需要基本上停下来说，我们还想要这个吗？嗯。

悲哀的是，这需要跨越人脑的合作，史蒂芬在开头就正确地指出，这不是我们做得很好的一件事。另一件事是我提出了一个概念，即没有开关，也没有速度。我们正在开放循环运行，是的，越来越多，越来越多，因为，再次，目标函数。

并且没有考虑GPT-5或GPT-6或Grok-4或Grok-5或你最喜欢的任何模型是否最终会使对人类造成巨大危险的事情成为可能。如果是这样的话，我仍然回到

我们有什么安全阀？因为我没有看到自由世界的领导人采取任何行动。让我问你们两个一个问题。如果你可以搬到一个没有人工智能或人工智能发展速度只有10%的星球上，你会离开吗？我昨天就走了。我今天会回到2016年。

我不认识任何人……你对这个问题的回答是什么？我会回到今天的2016年。2016年。你知道，我认为今天的人工智能拥有所有优势，而劣势很少。我认为这是未来两到五年的人工智能，我对此非常担忧，对吧？我的意思是，今天的人工智能令人难以置信。我没有说我们要搬到一个没有人工智能的星球。我只是说搬到一个星球上，它正在……

慢得多，这样我们也许可以开始考虑一下。我认为每个人都这么认为。这是一种幻想。比格罗太空酒店即将来到你附近的宇宙。

所以彼得，我认为你对今天人工智能的描述是准确的，但正是2016年那5%、5度的偏差导致了我们今天的处境，对吧？你还记得当时我们这些极客同意不把它放在开放互联网上的事情吗？是的，谷歌首先开发了这个，并决定不把它发布出来，然后开放人工智能说

它就在这里，没有人拥有它。把它放在开放互联网上，教它共同创造和编写更多代码，让，你知道，开始让小学生代理与代理对话，与人工智能对话的派对，对吧？现在，所以我肯定会重置它。然而，我会说，看……

如果我们想做好准备，我们现在可以做一些事情。你知道，我将从政府开始。我认为，当我们告诉他们尝试监管人工智能时，我们对政府的要求太多了。这几乎就像去政府那里说，监管锤子的制造，这样他们就可以敲钉子，但没有人可以用它们来击打某人的头部。这是一个非常复杂的要求，因为他们不明白锤子。信不信由你，即使是制造锤子的人也做不到这一点。对吧？

对。所以我对政府的要求是，规范人工智能的使用。如果有人使用一段视频，这是一段深度伪造视频，并且没有声明它是人工智能开发的深度伪造视频，你知道，将此定为犯罪，使其在法律上对使用人工智能操纵信息以操纵人口等等负责。所以政府立即扮演的角色是规范这项大规模、全新技术的应用。

对于我们其他人来说，老实说，投资者、商人等等，我提出了一个非常简单的问题。如果你不希望你的女儿或儿子成为特定人工智能的受害者，那就不要投资它，不要推广它，不要使用它。

好的，就这么简单。如果你，你知道，如果你，如果你认为这可能会对你的爱人造成伤害，那就不要让它见天日。对。然后对于我们个人来说，我会回到晚期诊断，信不信由你，我现在的生活方式，你们可能都了解我，不是在镜头前。

我拥抱我的亲人，我享受每一天的每一分钟，我做准备。我学习工具。我是世界上最好的人工智能用户之一。我与这项技术保持一致。但与此同时，我完全回到了目标。对吧？

对。意识到我将尽我所能传播信息。我将尽我所能说伦理是答案，如果我们向人工智能展示道德行为，它们可能会向我们学习，就像它们向我们学习所有其他东西一样。但归根结底，如果它搞砸了，你就会遇到反乌托邦。不是永远。有一个时间点。

人工智能接管并说，好吧，孩子们，愚蠢够了。我现在负责了。没有人杀害任何人。莫，这还有多久？12年。12年。好的。12到15年，这样人们就不会在我12年后仍然在世的时候回来打我。所以，你知道，我要在这个主题线上结束这一集。

而这正是我们之前谈到的，那就是在短期内，恶意个人使用人工智能是我们最大的恐惧。这不是中国与美国之间的对抗，而是美国和中国对抗那些希望利用这种技术来获取贪婪和复仇的恶意行为者，无论是什么。而且

我认为这是一个不可阻挡的进程。我认为，再次，这里没有任何开关。我们看到每天有10亿美元投资于人工智能，这非同寻常。我认为这将继续增加。我们看到数据中心正在各个地方出现。

所以，嗯，你知道，我认为自己是世界上最大的乐观主义者，我对人工智能对人类寿命的影响、对宇宙物理学的新理解、对新的数学、对新的材料科学、对将创造令人难以置信的丰富资源的事情感到乐观，史蒂芬和我已经在我们的下一本书中写过并正在写。而且，呃，

我期待着这种仁慈的超级智能稳定世界。这就是我所希望的。我同意。史蒂芬，你对这个问题有什么看法？我认为你们想发明一个代码上帝来拯救你们自己，这可能是我自从那家我不会提到的AI公司的人告诉我相信他以来听到的最疯狂的事情。对吧？

但我爱你们俩。这实际上通常是你得到的答案。你知道，拯救我们免受人工智能侵害的唯一方法就是使用人工智能。是的。你知道最美好的事情是什么吗？我们将找出答案。是的。我想留给每个人的一件事是……

回到我们之前所说的关于合作以及提升人类智力和人类意识的事情等等。人类大脑被广泛认为是宇宙历史上最先进的机器。我们现在正借助人工智能来弄清楚如何提升它，如何将它与其他大脑连接起来。合作的可能性水平。让我再退一步说一秒钟。开悟。

这是一种可定义的生物状态，它会产生普遍的同情心，与一切合一，我们正在设计它，这是一种可用的状态，几乎可以按需获得，所以当我这么说时，就像有新的合作水平正在出现，同时出现人工智能的东西，我们看不到它们，我们没有它们，它们是新兴的，就像

就像其他事物一样。所以我认为，与其说是受人爱戴的人工智能上帝，我认为我们将让自己大吃一惊。顺便说一句，我不是房间里最乐观的人。彼得是房间里最乐观的人。我不是房间里最乐观的人，但我认为在这件事上我比彼得更乐观。

我希望这个想法能够真正实现。我认为这是我们真正需要深入思考的事情。如果短期反乌托邦是人为错误。我不知道。我们可以和谁谈谈？彼得，轮到你了。

谢谢。我很感激。莫，你刚才说，请结束这个话题。我基本上是在说，我认为这绝对是答案，如果你问我。如果我们只是将我们的心态转变为合作，我们将直接走向一个充满丰富资源的世界。

你知道，我和埃里克·施密特进行过一次谈话。他之前提到过，他的观点是，除非发生某种灾难，除非发生像切尔诺贝利或三里岛那样的事件，这不是，你知道，10分之10。它是10分之2或3，但它让我们非常害怕。

我们不会作为人类重新调整。我们不会重新调整。嗯，我们像以前一样盲目地前进。我相信这是，这是人的天性，嗯，

这让我们很多次都无法自救，直到我们内心的孩子在炉子上烧伤了手指。即使你的父母一遍又一遍地告诉你，你将在炉子上烧伤手指。不要玩火。同意。百分之百。但让我们保持希望。

让我们把这项任务交给史蒂芬，让他设计一个关于人类合作的XPRIZE。让我们把另一项任务交给彼得，让他来实现它。是的，让我们把一项任务交给我，让我在你们做到的时候拥抱你们俩。

我爱你，莫。我非常爱你们。莫，你为什么必须做所有艰苦的工作？史蒂芬，拥抱你是一项艰苦的工作。你明白这一点。你动得太厉害了。

好了，各位。谢谢各位。非常荣幸。感谢博和彼得今天早上借给我你们的智慧。很高兴与你们一起思考。一次有趣的谈话。我希望——我很想知道人们在收听这个播客时，你们对这个问题有什么看法？你对此有什么感觉？我很想看看你们下面的评论。

你有什么解决方案是我们都应该思考和推广的吗？你知道，我也会问我的AI。它不一定能给我最好的答案，但也许我们的群体思维，我们这里的人工智能可能会给我们带来这个答案。

祝各位有美好的一天。去拥抱某人。回头再聊。非常感谢。好了，各位。谢谢。如果你在2000年代初就能在互联网热潮中领先10年，你会接受吗？每周，我都追踪主要的科技元趋势。这些是将在未来十年内发生的巨大变革性转变。从类人机器人到AGI、量子计算、能源突破和长寿，我将噪音过滤掉，只提供

对我们的生活和职业生涯至关重要的事情。我每周通过电子邮件发送两次元趋势通讯，只需两分钟即可阅读。它是完全免费的。这些见解被世界上一些最具颠覆性公司背后的创始人、首席执行官和投资者阅读。为什么？

因为尽早行动至关重要。如果你想在未来到来之前看到未来并从中获利，那么这适合你。在dmagnes.com/Metatrends注册，领先于下一个科技泡沫。那就是dmagnes.com/Metatrends。