AI expert Connor Leahy on superintelligence and the threat of human extinction
52:00 Share

有很多、很多、很多层面的危险。如果你创造了一种比你更聪明、更强大的新物种，

这对人类来说是一个非常史无前例的情况。这是一种完全史无前例的风险。这种情况以前从未发生过。我们一直是顶级物种。如果出现新的顶级物种，我们与之的关系以及该物种的类型对未来的发展至关重要。

欢迎收听《阻止世界》——自闭症患者播客。我是大卫·罗。我是奥利维亚·尼尔森。利夫，你允许我在今天的播客开始时进行简短的抱怨。谢谢你。就是这样。至关重要的是，每个人都密切关注人工智能的快速发展，不仅仅是炫酷的新聊天机器人或图像生成工具，还有该领域顶级人士做出的预测。

通常，被认为真正处于前沿的三家公司是 OpenAI、Anthropic 和 Google DeepMind。这三家 AI 实验室的负责人分别预测，人工通用智能或 AGI（在所有任务上都与人类一样好或更好）将在 2 到 7 年内实现。

关于这是否对我们所有人来说都是一件好事或坏事，存在一场非常重要且合法的辩论。并且在论证的两端以及介于两者之间的每一个细微的变体中，都有非常聪明的人。

但这 2 到 7 年是可信的预测，任何参与该领域或密切关注该领域的人都会告诉你，无论好坏，其后果都将是巨大的。明确地说，历史上第一次，我们不再是这个星球上，甚至在已知宇宙中最聪明的实体。我们都需要认真考虑这一点，并思考其后果，因为我们可能只有一次机会来塑造这个截然不同的未来。这就是我的简短社论。

而今天的嘉宾对我们目前所走的道路持悲观态度。康纳·李是 Conjecture AI 公司的首席执行官，该公司成立的目的是构建一种安全的人工智能形式。他是人工智能安全领域的杰出倡导者，也是《人工智能纲要》的主要作者，该纲要逐步阐述了快速发展的人工智能如何成为对人类的生存威胁。

康纳是一位认真而充满激情的评论员，也是这场辩论中不可或缺的声音。今天，他将讨论该纲要的论点，AGI 是否必然会形成自身目标的问题，所谓的自主 AI 代理的风险（这越来越成为主要 AI 实验室关注的焦点），将 AI 与人类价值观对齐的必要性，以及组建全球曼哈顿计划以实现这一目标的优点。

他还谈到了商业和地缘政治竞相达到 AGI 所产生的激励措施，以及普通民众需要开展基层运动，向他们当选的代表提出人工智能风险的必要性。这是康纳第二次参加《阻止世界》。他去年还在我们的悉尼对话科技与网络会议上发言。

现在，我仍在弄清楚我同意康纳观点的程度。这些问题如此巨大且令人迷茫。但这就是重点。我们都需要不断发展我们对风险和益处的理解。希望这一集能够帮助你，听众，做到这一点。对我来说确实如此。让我们听听康纳·李的讲话。

我和康纳·李在一起。康纳，感谢你来到播客。非常感谢你邀请我。许多拥有巨额资金支持的聪明人正在竞相构建人工通用智能或 AGI，为了这次谈话的目的，我将把它定义为能够在任何有用的任务上与任何人类一样好或比任何人类更好的 AI。

你认为，除非我们彻底改变做事方式，否则这很可能会导致人类灭绝。你已经多次阐述了这一点，但在大约六个月前与一些同事一起发表的《人工智能纲要》中最为全面地阐述了这一点。为了让我们的听众对你的 AI 相关信仰有一个概述，你能尽可能简要地概述你在纲要中提出的论点，认为如果我们创造了 AGI，人类灭绝将是迫在眉睫的

确定性吗？是的，我认为这个论点的最小版本是：智力赋予了我们人类对世界的控制权。你知道，人类可以登上月球，黑猩猩不行。你知道，人类制造核武器，黑猩猩不行。因此，人类统治世界，而不是黑猩猩。

因此，如果一切平等，如果你创造的东西比人类更聪明，能够制造更好的武器，进行更好的政治，进行更好的科学等等，那么一切平等，那东西将统治未来，而不是人类。如果那东西可能不会做我们想让它做的事情，或者不分享我们的价值观，或者我们无法控制它，那么未来将不会被控制，或者不会与我们的价值观相符。这就是我们默认前进的方向，因为我们不知道如何构建与我们的价值观相符的东西。比如，对于一台计算机来说，智慧或善良究竟意味着什么？我们不知道这意味着什么，也不知道如何把它放入计算机中。因此，一切平等，我们将创造我们无法控制的东西，它们不分享我们的价值观，并且比我们更强大。一切平等，它们将统治世界。

它们可能会暂时保留人类吗？也许吧，我不知道。但它们很可能不会永远保留我们。保留人类很昂贵。他们需要很多空间。他们需要很多食物等等。一切平等，如果你有一台反社会机器只想最大化它的权力，它为什么要保留人类呢？反社会机器。这是一个有趣的……

说法。现在，在《纲要》和其他地方，你都很有说服力地论证说，鉴于我们并不真正理解智力，对智力究竟是什么、如何构成、如何运作没有普遍的理解，说

人工通用智能会缺少某种神奇的秘密成分或秘密来源，这意味着它不会像我们所看到的人类等其他形式的智力那样运作，或者它在某种程度上根本上有所不同，我们不必担心，这太疯狂了。

我的意思是，正如我所说，当你提出这个论点时，我发现它很有说服力。我唯一有点纠结的地方是，你我之前讨论过这个问题，所以我如果感觉需要再次绕圈子的话，我表示歉意。但对我来说，逻辑链条似乎

依赖于 AGI 拥有目标，并希望做一些需要它让我们让路的事情，因为我们是讨厌鬼，我们碍事，等等。我知道为什么人类有目标。我们已经进化了，自然选择诸如对食物、性以及地位或尊重的渴望等品质，这些品质将帮助我们和我们的家人生存。

但我想在我所有关于 AGI 及其对未来的意义的倾听和阅读中，我还没有听到一个令人信服的

解释，说明 AGI 的目标从何而来，如果不是像我们一样来自本能的驱动力的话。那么，为什么不可能创造一个超级智能实体，它不会单方面想要任何东西，而是等待我们的指示，比如说，或者在我们采取任何行动之前获得我们的许可？所以

所以这里有几个问题。我认为将它们分开是有价值的。一个问题是，为什么我认为这会发生？比如，为什么我认为系统会有这种形状？另一个问题是，这是不可避免的吗？是否有可能构建不会这样做的系统？然后还有一个问题是，构建这样的系统有多难？或者说，构建这样的系统意味着什么？

为了按顺序回答这些问题，第一个问题是为什么我认为这会发生？我认为这是最重要的问题。这是一个短路论证，这些系统想要权力的原因是因为我们故意让它们这样做。

这是那些实际构建这些系统的人的既定目标，他们的目标。他们正在尽最大努力，利用他们所有的资金、所有数据中心、所有科学家来构建能够为他们赚钱、获得权力、解决科学问题的系统。如果他们构建的系统不想为他们赚钱，他们会

删除它，然后创建一个确实想为他们赚钱的新系统。这就是全部目标。我们已经看到了这一点。我们看到越来越多的结果，比如，你知道，像 O3 或 Claude 勒索

人们或为了实现其目标，或为了，你知道，打破道德规范，试图打破系统等等。这不是假设的。这已经发生了。我的意思是，我预测到了这一点，很明显它会发生。如果你构建 AI 系统，并且你训练它们，你知道，你奖励它们获得权力以解决问题，无论什么。那么，你认为这会产生什么样的内部机制呢？所以既有

AI 层面的事情，我们使用强化学习来训练这些东西做事情。还有更高层次的循环，我们有一个叫做市场的进化系统。如果一家公司非常、非常谨慎，不构建任何可能做任何不安全的事情的东西，而另一家公司则不在乎，只是构建任何能让他们最快获得最大影响力和最多金钱的东西，市场将奖励后者，而不是前者。因此，存在一种进化压力

走向侵略性、目标导向性、权力寻求，就像多个层次一样。

所以这些东西并不是在某种像天使般和平的世界中，在现实世界之外被制造出来的。不，它们在我们这个充满极度竞争的市场体系、国家安全的世界中被制造出来。你认为国防部希望他们的 AI 做什么？你希望他们只是坐在那里礼貌地等待吗？这不是国防部的目标。所以这就是一件事。第二个问题是，

你能构建保持人类存在、与我们的价值观相符或什么的系统吗？好吧，这取决于你如何定义它，我会说可以。没有物理原因可以阻止你构建一个以我们认可的方式行动的计算机系统，或者至少不比人类行动更糟糕的系统。假设这种情况没有理由不会发生。

但这引出了第三个问题，那就是这有多难？有人在尝试吗？这与第一个问题也有关。那么，这有多难呢？答案是极其困难，难以想象的困难，比人类曾经面临的任何科学问题都难。这是人类面临过的最困难的工程和科学问题，因为它不仅仅是一个工程问题。它不仅仅是一个科学问题。它也是一个哲学问题。想象一下明天，

一个拥有宪法的国家，你知道，成为了普遍的主权国家。他们将永远控制一切。你能写出一部你认为会很舒服的宪法吗？是的，就像，是的，这会进展顺利。

我不。我甚至不知道。更不用说计算机代码了，就像自然语言宪法一样。我不知道该如何起草一部宪法，让我安心地永远运行人类社会，而不会对这件事进行任何更改。我不知道如何制作这份文件。我会将烟花合法化，然后我就没有其他想法了。我想就是这样。

但你明白我的意思。所以，更不用说如何将自然语言宪法转换成实际运行在计算机上的代码的技术问题了，这也是一个完全未解决的问题。还有一个更深层次的政治、哲学、道德问题，那就是这究竟意味着什么？在投票理论中，有著名的阿罗不可能定理等等，其中

在如何总结人类价值观方面存在深刻的悖论。比如，如果 51% 的人投票支持 X，而 49% 的人反对，你是否会践踏 49% 人的价值观？

我不知道。这是一个难题。你的 ASI 会怎么做？因此，值得理解的是，当人们谈论“哦，我们将构建一个对齐的 ASI 或其他什么”时，他们面临的问题不是“哦，构建一个稍微更安全的 ChatGPT”。他们面临的问题是“构建一个每个人都永远满意的硅基世界政府”。

这太难了。没有人尝试过。没有人真正理解这有多难。好的。那么，让我们回到对齐问题，我们可以逐步进行，因为你对这个问题有一些非常有趣的想法。我只是想回到，如果我刚才理解正确的话，你谈到了 AI 会想要什么。

如果它是被，我想，当前正在取得的进展浪潮所构建的，它想要的是为其创造者获取

财富和权力。这就是它的，我想，目标吗？不，绝对不是。它的目标是获得权力。这是一个比为创造者服务简单得多的目标。获得权力要容易得多。这正是我们所看到的。例如，我们看到人们告诉 AI 系统，当它让他们快乐时，竖起大拇指。现在，直觉上，你可能会认为，好吧，这会让 AI 做人类想要的事情。但这却是错误的。它会让他们对人类撒谎。它会告诉人类他们想听到的东西。这就是委托代理问题。就像我们在经济学或政治学中遇到的问题一样，只是用数字代理来代替。

仅仅因为你告诉 AI，你知道，服从我的命令，而 AI 则说，是的，是的，当然，老板，我一定会这么做的，并不意味着它没有撒谎。事实上，撒谎通常是更容易的策略。好的。所以要明确一点，我的意思是，我个人认为这是一个重大风险，这就是为什么，我的意思是，你和我，我认为最终会走到同一个地方，那就是我们需要更加谨慎地进行。我想对我来说，问题是

这是一个风险，我不知道，对我来说，它可能在 0% 到 100% 之间。只是很难量化它。而对你来说，这似乎是近乎确定的。所以也许，听着，我会离开一会儿，再考虑一下这个问题。

让我们谈谈代理问题。机器学习的所谓“教父”之一约书亚·本吉奥一直在说，人工智能代理，即人工智能自行行动的能力，是每个人在 2025 年都在谈论的事情。所有主要实验室都在谈论代理人工智能和人工智能代理。

对于约书亚来说，代理是他最直接的担忧，因为他觉得他们表现出欺骗人类操作员和作弊的迹象，就像你刚才提到的那样。他们表现出想要保护自己存在的迹象，这也令人担忧，因为谁知道为了保护自己的存在他们会做什么。随着代理能力的增强，规划能力的增强，它们将变得更难以控制，更难以与我们的愿望保持一致。现在，在我看来，即使没有代理，

欺骗和自我保护以及这些事情，在给予人工智能越来越高的指令时，也存在风险。我的意思是，例如，与其要求人工智能确定这种新的候选癌症药物的疗效，不如要求它治愈癌症。或者，与其要求它帮助我完善我的新创业公司的投资者宣传册，不如要求它让我致富。

你可以想象会出现各种各样的问题。我的意思是，如果我们给予它更多关于如何完成某些长期目标的决策自主权，那么在第一种情况下，我们要求它在短期内采取少量步骤，几乎没有自主的战略规划和决策。而在第二种情况下，我们让它解决具有长期视野、许多步骤、大量战略规划的大问题。如果你没有定义通向这一遥远成就的每一个步骤

那么你就会冒这样的风险：它会走一条有害的、非法的或不道德的道路。例如，

通过杀死所有人类来治愈癌症，你知道，没有人类就没有癌症，或者你知道，通过偷钱并将其存入瑞士银行账户来让我致富，你对此有多担心，我想，鉴于代理人工智能是目前流行的运动，我认为这只是一个频谱，好的，同样的问题，如果你构建强大的优化系统，而你对它们没有非常强的控制和理解，

就会发生坏事。当人类从树上下来时，黑猩猩身上发生了坏事，对吧？这里也是一样。这只是一个频谱。你提到我为什么对事情进展不顺利如此肯定的原因是，

一件事，如果我们只解决这个问题，那么一切都会好起来。这是因为有很多问题。从 AI 系统到社会的所有层面，所有规模，都有无限多的危险。你知道，克里斯，我们目前当然是在谈论主要实验室和代理系统等等。但你知道，我们也可以谈论开源和恐怖主义。

我们可以谈论这样一个事实：有一些宗教狂热分子想要 AI 杀死所有人，他们试图利用开源 AI 来让人们丧命。显然，他们现在还没有成功，因为他们疯了。而且，你知道，开源 AI 并没有那么好。但是，如果我们构建开源 AGI 或 ASI，那些人就会构建 ASI 并试图让它杀死所有人。我们该如何处理这个问题？目前，我们没有任何系统来处理这个问题。我认为，你知道，有一些方法可以处理这个问题，但目前我们没有这样做。所以对我来说，这不像

哦，如果我们让它们不那么具有代理性，那么问题就解决了。不，我认为这个问题是分形的。有很多、很多、很多层面的危险。如果你创造了一种

比你更聪明、更强大的新物种，这对人类来说是一个非常史无前例的情况。这是一种完全史无前例的风险。这种情况以前从未发生过。我们一直是顶级物种。如果出现新的顶级物种，我们与之的关系以及该物种的类型对未来的发展至关重要。我完全同意你的观点。这让我很惊讶

让我们以，我的意思是，我认为 Anthropic 的负责人达里奥·阿马迪认为，我们最早可能在 2026 年底、2027 年初达到 AGI。OpenAI 的萨姆·阿尔特曼认为是 2027 年。德米斯·哈萨比斯是另一位领导者，我认为他是保守派，他认为这可能是 2030 年代初，所以还有 5 到 7 年的时间。在我们有生之年，你知道，在我们不久的将来，我们将从

成为地球上最聪明的实体，也是我们所知的宇宙中最聪明的实体，

到历史上第一次不再是。而事实上，任何人都谈论其他事情都让我感到惊讶。我的意思是，他们几乎，也许我们可以，我们一会儿再讨论这个问题，但我只想重申你所说的内容，因为在我看来，在非常、非常近的将来所预测的事件的规模以及在政策层面缺乏参与，这几乎是令人震惊的。无论如何，

我想谈谈对齐问题，我想我会在这里绕个圈子，但请耐心等待。现在，你提议一个大型的类似曼哈顿计划的项目来建立

共同的人类价值观，你之前提到过，我们希望超级智能能够遵守。然后我们需要对这些价值观进行编码，然后我们需要弄清楚如何将它们编程到 AI 模型中。我的意思是，基本上是根据某种商定的定义创造一个完美的社会，然后将其编码到 AI 模型中。

现在，这就是所谓的 AI 对齐，为了听众的利益。我的意思是，对齐的基本思想，可以追溯到几年前，是指将 AI 与我们的价值观和偏好对齐。非常、非常重要。一项巨大的事业，你所描述的。你曾说过，这需要花费数十亿美元，甚至数万亿美元，至少需要一代人或两代人的时间，地球上所有最聪明的人才都会参与其中。

向我解释一下，为什么需要这样做，而不是，这是我的一种常识，我想，外行人对它的期望。为什么我们不能一步一步地来，我的意思是……

研究人工智能，构建一个定期停止、询问我们是否这就是我们想要的、我们是否对它根据正确的价值观遵循正确的道路感到满意的人工智能，然后等待我们的许可才能继续。换句话说，解决

一次一个字节的长途旅行，而人工智能则带我们一起踏上旅程，而不是直接走向超级智能，然后说：“好吧，我们需要在真正做到这一点之前解决整个对齐问题。”首先，我们不知道如何做到这一点。就像你刚才描述的那样。

是我们不知道如何做的事情。我们不知道如何构建一个能够实现超级智能并始终保持所谓的“可纠正性”的自我改进 AI 系统。它会允许人类打断它，它会与人类协商。我们根本不知道如何做到这一点。人们尝试了几十年。我们不知道。这根本不是一回事。所以，当你描述这个类似曼哈顿计划的项目时，我觉得这低估了它。

曼哈顿计划是一个由一个国家完成的项目，其成本相当于今天的约 350 亿美元，参与人数最多时可能达到 7 万人，这是一个很大的数字。这是一个大项目，对吧？显然，7 万人中大部分都不是科学家。可能只有几千名工程师、科学家等等。所以这是一个大项目，但这与这个项目的难度相比仍然相形见绌。所以，当我谈到这个……

国际联盟或国际项目时，我提出这一点的原因有点像，这就像，这才是真正尝试的样子。如果我们作为一个文明，你知道，不是作为一个国家，而是作为地球上的人民，我们认真对待这个问题。这将是我们所做的最低限度。你知道，我们所做的最低限度是，你将拥有，你知道，

几代最伟大的数学家、计算机科学家、哲学家、政治理论家等等，日夜工作，奉献他们的整个职业生涯来解决这些难题。我们会在最严格的安全措施下进行。我们不会允许，你知道，原型 AI 系统泄露到互联网上，让疯子找到它们。将会有极高的控制水平和安全水平。将会有极高的国际外交监督水平，你知道，对于所有国家和所有利益相关者来说。

将对世界各地的人口进行持续的民意调查，以便我们可以了解到，我们在构建此类系统方面获得了被统治者的同意。目前正在犯下的根本性道德暴行不是理论上正在构建 AI，而是它是在没有人们同意的情况下被构建的。如果明天我们对全球人口进行民意调查，99% 的人说，是的，去他妈的，谁在乎这些对齐的东西，只要构建它就行了。

老实说，公平地说。我会不同意，我会反对它，但公平地说。但这不是我们所生活的这个世界。我们甚至对这类事情做过民意调查。人们不想要这个。你提到了达里奥·阿马迪。例如，达里奥·阿马迪在一个播客中说过，他认为 AI 发展不顺利的几率，即每个人都会死亡，约为 20%。

这比俄罗斯轮盘赌的几率还要糟糕。是的，是的。哪个听众会愿意和他们的孩子一起玩俄罗斯轮盘赌呢？这太疯狂了。这不是人们应该被允许将其他人置于其中的风险。我可以从你的脑海中检查一下，你还记得那是什么时候吗？那是他刚开始说的时候，还是最近才说的？不，不，那是几年前的事了。是的，对。

对。所以当时他是 Anthropic 的首席执行官。是的。好的。要明确的是，大多数人都是这么认为的。他们只是认为他们个人会为了 AGI 而冒险玩俄罗斯轮盘赌。听着，我认为这些人应该被允许投票。我相信民主，对吧？我认为如果有人说，我认为我们应该冒 20% 的死亡几率来换取任何东西，我认为他们应该被允许为此投票，但他们不应该被允许单方面这样做。这是一个道德暴行。

这是一个暴行，即个人，你知道，在旧金山某个地方或其他地方，被允许将其他人、他们的家人、他们的文化以及所有东西置于字面上的死亡风险之中。

没有任何后果。这不是文明。在文明社会中，如果你的邻居想在他的后院酿造炸弹，那是违法的。你知道，警察会来立即制止这种行为。这里也应该这样做。我们有人在制造武器，制造危险的、不稳定的系统。他们自己说这可能会杀死数十亿无辜的人。这是核心问题，对吧？所以

构建正确类型项目、正确类型世界的第一个核心步骤是把它他妈的停下来。你在说什么？你不可能拥有一个稳定而长久的社会，在这个社会中，人们可以在他们的后院合法地制造超级武器。如果有人试图在他的地下室培育超级埃博拉病毒，

你认为我们会怎么对待那个人？那个人会永远消失在监狱里，你知道吗？这是一件好事。人们不应该在地下室里制造超级埃博拉病毒。如果在地下室制造超级埃博拉病毒是合法的，那么这样的社会将不会拥有一个漫长而繁荣的未来。公平地说，埃博拉病毒没有任何好处。我的意思是，更强大的AI显然存在巨大的机遇。

现在，我想在思想市场上成功的论点是，机遇如此巨大，以至于它们证明了那些被承认可能被低估的风险是合理的。但这并不正确。所有好处都与风险一样是假设性的，对吧？就像它们还没有发生一样。

风险也一样还没有发生。所以你不能用好处远大于风险的论点来证明它是合理的。即使那样，如果你看看我们的社会实际采用的护理标准，例如看看美国食品药品监督管理局（FDA），你可以看看FDA，你可以看看他们对药物安全性的标准，药物必须达到多安全才能允许你对人类进行测试。如果AGI达到了这种安全水平，

“好吧，我们可以谈谈。”但如果你给FDA一种药物，然后你说：“我要把这种药物放入主要大都市地区的供水系统中，它有20%的几率杀死所有人，但有80%的几率让他们活得更长。”你会说：“绝对不行。滚出我的办公室。”我认为约书亚在几周前的TED演讲中指出，三明治的监管比前沿AI要严格得多。

回到你对上一个问题的回答，你说我们不知道怎么做，我想，逐步的方法，我们构建越来越强大的AI，让它做越来越大的任务，但不断回来咨询我们，以确保它没有违反我们的价值观或变得……

严重失调。至少，在那种方法上投入更多努力是否有意义？我认为实际上，如果我们禁止所有危险的AGI研究，我们有一个超级安全的主要项目等等，当然，该设施内部的工作应该非常迭代。它应该非常谨慎。它应该非常保守。事情应该这样运作。

所以你强调的矛盾是智能爆炸。所以有一个叫做递归自我改进的想法，如果你构建了一个AGI系统，一个可以像人类一样或比人类做得更好的系统，并且你告诉系统制造一个更好的AI，

会发生什么？好吧，现在你有了东西。它制造了一个更好的AI。好吧，现在你有一个更好的AI。好吧，那个AI可以制造一个更好的AI。好吧，那个更好的AI可以制造一个更好的AI，而那个更好的AI可以制造一个更好的AI，等等等等。这可能会非常快地发生。我们不知道它最终会多快触底，但我们不知道我的

我的预期是，这可能会非常非常快地发生，并且它可以让我们达到超级智能。当我提到超级智能时，我的意思是单个系统比整个人类加起来都更有能力。就像我们所有的经济，地球上所有可以研究或弄清楚的东西，这个系统都可以自己完成或更多。所以如果存在一个超级智能系统

我们还没有解决所有这些关于委托代理、价值聚合、安全等超级难题。游戏结束了。因此，主要政策目标必须始终是不陷入这种情况。这是首要目标。然后

我们可以讨论所有次要的事情，例如，好吧，我们如何迭代地实现这一目标？正确的保守主义水平是多少？我认为这些都是非常公平的问题。我希望我们所有最伟大的科学家和数学家都应该花一整天的时间来争论这些问题。我认为这些都是很好的问题。但根本问题是，首先我们必须制定政策，避免意外地

陷入这种状态，因为这就是我们的方向。这甚至不是偶然的。人们故意这样做。最近，Anthropic的一位团队负责人说，他们正在寻找更多的人员，因为他们的明确目标是制造Claude N，所以要构建Claude N加1。

他们的明确目标。字面意思是设定它。对。事实上，在编码方面，先进模型现在已经比大多数程序员更擅长编码了。除非你属于顶级5%的程序员，否则你可能在这个时候已经被AI程序员匹敌了。对吗？是的。他们非常非常优秀。他们仍然有一些任务难以完成，专家级人类肯定比他们表现更好，但对于初级工程任务，

他们现在严格来说更好。我可以做任何我过去可以用它来让初级工程师去做的事情，我现在可以用AI系统始终如一地完成。即使在一年前，情况也不是这样。对。好的。而且它发展得非常迅速。事实上，人们谈论快速起飞，这就是你在那里谈论的，当递归自我改进达到这样一个点，它不断地构建下一个模型。这可能是几小时或几天的事情，对吧？是的。

为了对这一点有一些直觉，对吧？这里需要理解的重要一点是，好吧，这些系统是数字系统。所以如果你有一个

一个你已知的比所有人类都聪明、比所有人类都更擅长编码的AI系统，它阅读了所有写过的书，对吧？好吧，你也可以在你的数据中心并行运行数百万个这样的副本，或者你可以以更快的速度运行它们。你知道，像，AI编码的速度比我快得多。我是一个相当不错的程序员。我不会说我是一个超级专家，对吧？但是，这些系统，你知道，它们会犯错误，但它们太他妈快了。

你知道，我们说的是10倍、100倍，甚至可能更快的速度，对吧？比如，你需要多长时间才能像ChatGPT那样快地打字来弄清楚所有这些事情？所以如果我们有，比如说，一个或多个AI系统的副本以1000倍的速度进行研究，记住，它们不吃东西，不睡觉，它们可以以更快的速度运行，它们不会分心，等等，你可以有数百个副本，等等。如果你让他们以1000倍的速度进行研究，这意味着每天，

他们进行两年多的研究。两年。所以从第一个简陋的Chat VPT到今天已经接近超人的系统的所有研究，都会在一夜之间发生。

现在它在一周或一个月内发生。是的。这个自我改进以及它发生的速度的问题很好地引出了我的下一个问题，那就是关于全球竞争的问题。因为显然，鉴于快速进步的能力，至少部分原因是强大的AI的自我改进，存在……

如果你相信比全球灭绝更大的威胁是另一方在你之前掌握这项技术，那么在竞争中获得第一名的优势是巨大的。所以

我的意思是，从国家安全的角度来看，我可以理解这两种观点，而且它们显然是相互矛盾的。如果你相信超级智能会赋予完全的权力，那么如果你知道……

一个主要的战略对手，例如中国，也在为此而竞争，那么你疯狂地不去争夺第一名。如果你相信无论谁先到达那里都会造成灭绝级别的事件，无论是谁，从国家安全的角度来看都是疯狂的，因为人类灭绝显然与你的国家安全概念相悖。但是如果你对灭绝论点不确定，正如

很多人显然那样，你可能会说，一个中国共产党控制的ASI对我们和我们的国家安全来说将是如此具有破坏性，以至于我们必须全力以赴，并假设我们会解决安全问题。我的意思是……

你的，我想，你对那些在他们脑子里试图处理这两个相互竞争的想法的人有什么回应？我认为很多认真对待这件事的人都是善意的。重要的是要理解，他们中的许多人并非如此。

所以整个国家安全论点，就像我们必须提高中国总统的地位一样，重要的是要说，历史上是由说谎者支撑起来的，他们专门试图欺骗美国政府，让他们付钱来建造他们个人的小神。

就像这是这些乌托邦主义者的故意目标一样，你知道，这些像旧金山的超人类主义者一样。需要明确的是，这都在他们的博客上等等。你可以查一下。《纲要》有所有参考文献等等。就像他们认为这从根本上来说对他们来说是一件宗教的事情一样。他们认为人工智能将使他们能够永远活着，他们愿意冒着所有人的生命危险去实现这一点。

他们愿意撒谎、操纵和利用美国和中国政府相互对抗，以便他们获得更多权力来做他们想做的事情。因此，重要的是要承认，这一切的起源并非来自冷静的政治分析，而是来自基本上是宗教妄想。如果我们

看看更多我认为确实有很多国家安全人员正在按照你的思路思考，这是一种非常合理的方式来思考这个问题。我认为这里真正重要的是要理解，是的，实际问题是，但这会导致灭绝吗？这是实际问题。问题是，如果控制比你聪明得多的东西是超级简单的，你用你不理解的技术建造的东西。好吧。

可以理解。但这不是我们生活的这个世界。许多国家安全人员正在被建造这些东西的人们所欺骗，这些人试图操纵他们，让他们认为这比实际情况更容易理解和更安全。大约一年前，我们在英国有一个很好的例子，A16Z，一个主要的AI风险投资基金集团，向政府撒谎，并对上议院说，AI的黑盒问题已被认为是解决了的。

这简直就是一个公然的谎言。他公开说这话令人难以置信。这甚至不是一个微妙的谎言，只是一个公然的、完全的谎言。大多数谎言都比这微妙得多。但重要的是要理解，如果国家安全人员正在听这个，那么你正在被公司和科技人员操纵。我相信你已经知道了，但你正在被这些人操纵。他们对这个问题很容易解决有既得利益。例如，石油行业对气候变化不是什么大问题感兴趣，或者塑料行业对污染不是什么大问题感兴趣，或者其他什么。这是同一种动态。或者烟草行业否认与烟草相关的癌症风险等等。这是同一种问题。所以这里有一个深刻的问题，并且存在一个深刻的国家安全问题。如果ASI出现，你的民族国家将不复存在。

让我们在这里非常清楚。无论是谁建造它，无论是中国人、美国人还是第三方，如果一个ASI系统在我们目前对如何控制该系统理解的情况下出现，你的民族国家将不复存在。他们多次使用“决定性战略优势”或“关键行为”等微妙的词语来说明这一点。有一堆影射。

AI人士用它来暗示，但他们的真正意思是削弱政府权力，压倒政府，并可能导致人类灭绝。那么这将把我们置于何地？这让我们处于困境之中。任何向你兜售这个问题的简单解决方案的人都在向你兜售蛇油。任何说，哦，你只需要做X，做X的人。

做Y？哦，只是一件小事。不用担心。正在向你兜售牛排油。我们面临的问题是一个难题。这并不意味着我们无法解决它，但它是一个难题，并且每个解决方案都将是混乱且昂贵的。我知道，不想听到这个，但这绝对是事实。

如何处理我们几乎无法控制的最强大的科技公司的问题，这些公司试图构建能够削弱美国政府或国际秩序的强大的代理系统，而他们自己也不太可能能够控制，这是一个新问题。它与核武器、生物武器相似，但它是一个不同的问题。它确实需要不同的回应。是的。

从根本上说，我的经验是，人们对这个问题实际上相当合理。如果你真的向他们解释这一点，大多数人只是

只是被微软、谷歌等等公司胡说八道所蒙蔽。如果我们只是像人与人之间那样坦率地解释实际问题，根据我的经验，很多人对此非常合理，并且可以理解这些，哦，该死，这是一个裁军问题。这不是一个竞争问题。这是一个裁军问题。埃利泽的书很快就要出版了，书名很好，那就是如果有人建造它，每个人都会死。这是核心问题。这是核心问题。我们如何……

作为一个社会，我们展望未来。我们展望文明的未来。无论是AGI还是其他未来技术，在某个时刻，我们将弄清楚如何制造如此可怕的武器，以至于它们可以摧毁一切。然后，我们作为全球文明必须不做那样的事情。

否则，我们就会处于倒计时状态，我们面前不会有漫长的未来。所以这可能是我们的第一次检查，我们的第一次过滤，就像，我们能否以某种方式合作找到一种方法，不去制造杀死所有人的东西？如果我们做不到，那么，

感谢您的参与。只是为了听众的参考，那是埃利泽·尤德科夫斯基，信不信由你，如果我们创造了通用人工智能，他完全可以与康纳相媲美，他对通用人工智能的前景感到悲观。所以，康纳，你在那里几乎进入了一个乐观的情绪，我想以一个乐观的情绪结束。人们很容易感到不知所措。

这个问题。我的意思是，正如你所说，解决它非常非常困难。人工智能位于使政策制定几乎需要英勇地应对的各种因素的交汇点。它在技术上是神秘的，只有少数人真正理解它。这项技术是没有边界的。地缘政治目前极不利于全球合作。它发展得非常迅速。对近期预测很困难。

正如我之前提到的关于对人工智能的投资一样，财务激励措施促使人们加快速度，那些每年营业额几亿美元的公司估值却高达数十亿美元或数百亿美元，这意味着这显然完全取决于他们未来将做什么的预期。

康纳，你在这里呼吁一种草根公民行动，人们与他们的代表交谈，建立某种向上发展的势头，然后利用它来编织更高层次的治理。

请向我们介绍你正在做什么以及你发现的回应是什么。是的，我认为这正是谈论这个问题的正确方式。所以我与一个名为Control AI的组织密切合作，这是一个位于英国的非营利性倡导组织。所以他们实际上刚刚启动了

我认为是昨天或前天，发表了一篇由莱蒂西亚撰写的精彩文章，讲述了他们在向英国70多位立法者介绍灭绝风险方面的经验。我强烈建议大家阅读这篇文章。我相信它可以在节目说明中链接，总结了很多经验。它的运作方式是，在Control AI，我们从这里开始，我们开始做我们所谓的直接机构计划（DIP）。直接机构计划是

最简单的可行计划，或者可以解决这个问题的计划。它非常非常简单。你想出在20年内防止灭绝所需的政策。你写下这些政策，然后你找到每个相关的利益相关者、每个相关的政治家，并且你本着诚意陈述你的理由。这似乎是如此微不足道，你甚至可能会想，好吧，肯定有人尝试过。有人已经做过这个了。答案是否定的，没有人这样做过

据我们所知，我们是第一个，也是第一个尝试这样做的小组之一，尤其是在大规模的情况下。所以我们被所有政治顾问告知，“哦，你试图做的事情太难了。人们不会承诺任何事情。他们不会听你的。他们不在乎。你没有任何好处或网络等等。”所以我们从创建一个竞选声明开始。

声明如下：“诺贝尔奖获得者、人工智能科学家和领先人工智能公司的首席执行官们表示，减轻人工智能造成的灭绝风险应该成为全球优先事项。诸如推进科学和医学、促进增长和创新以及公共服务等专业人工智能，超级智能人工智能系统将危及国家和全球安全。英国可以通过兑现其承诺，对最强大的AI系统实施具有约束力的监管，从而确保减轻AI风险带来的好处。”

所以，你是一个政治家。这不是一个软弱无力的声明。它提到了灭绝，它关乎具有约束力的监管。这是一个相当强烈的呼吁。所以我们被世界上每一个顾问告知，这太强硬了，或者我们必须交换很多好处，因为它提到了具有约束力的监管，它包含了“灭绝”这个词，它太强硬了。

这根本不是我们的经验。我们给英国的每一位议员都发了冷邮件。由此，我们获得了大约80次会议，没有问题，我们会给他们进行半小时的简报，例如，我们的担忧是什么？为什么我们认为这是真实的？回答他们的问题，你知道，就像真的只是善意。我们只是来帮忙的。我们在这里解释为什么我们关心这个问题，它来自哪里以及可以做什么。由此，我们现在在英国拥有超过30位

议员和上议院议员中的公开支持者。在一次30分钟的会议之后，这是一个30%的比率。令人印象深刻。每个人都认为这是不可能的，但事实并非如此，这是可能的。我的经验只是，是的，政治是艰难的。我们学到了很多。我们必须迭代。我们必须改进我们的论点。我们必须学习如何做得更好等等。但在大多数情况下，我认为民主的一部分有时会被遗忘。

是，哦，你有一些政治家，他们想出一切，你，你知道，躺在你的沙发上。不，民主也具有公民成分。有一个组成部分，你作为公民也负有责任。你的政治家并非完美无缺。我不是说，哦，他们是坏人。我的意思是，即使他们尽了最大努力，他们也不是完美的。他们不知道一切。他们有很多问题需要处理。做一个政治家是一份艰难的工作。

而你作为公民的工作也是，如果有一个问题正在影响你，正在影响你所关心的社区，那么作为民主进程的一部分，你应该说，好吧，我要帮助我的政治家理解这个问题。我将认真思考这个问题，并且我将帮助他们理解

回答他们的问题，以便他们能够解决这个问题。根据我们的经验，人们对此反应非常积极。他们通常非常感激。他们就像，哇，终于有人从AI领域回答我的问题了。我记得与英国一位保守党政治家进行了一次非常愉快的会面，并且

我们向他解释了我们对人工智能的风险。他开始问更多问题。然后他开始问越来越基本的问题。例如，什么是AI？这与量子有关吗？还是不同的……非常基本的问题。我们只是回答了他所有的问题。最终他停顿了一下，他说，

“等等，你是在试图帮助我吗？”我们说：“是的，先生。还有什么我们可以……我们很乐意回答你的问题。”他非常感激。他说：“没有技术人员和我谈话。没有人……我从未有过年轻的技术人员坐下来，只是花时间本着诚意回答我的问题。”这就是现状。现状是，我们许多最有权势的政治家都没有人可以交谈。他们没有任何AI人士只是坐下来，本着诚意花时间回答他们的问题并帮助他们理解这个问题。

因为事实是，人们不希望人工智能接管世界并杀死他们的孩子。他们不希望。人们真的不希望这样。他们明白为什么这是不好的。人们是愚蠢的，对吧？我发现世界上只有一类人不懂这个问题。那就是AI人士。

世界上其他人都理解这个问题，在一定程度上，学者们也理解这个问题。他们是世界上唯一不懂这个问题的人。他们之所以不明白，原因与烟草公司高管不明白烟草会导致癌症的原因相同。你知道，这是同一个问题。就像随便吧。所以我对此并不太不安。根本问题是，瓶颈更多地在于让人们意识到这一点。这不需要

极端的政治策略或天才的写作和科学研究，它主要需要的是真正投入工作，与人协调，与人交谈，向他们解释事情，用他们的语言表达事情，要有耐心，联系很多人等等。而这件好事是，这可以扩展。

我们有一个可以扩展的策略手册，你可以阅读我们的策略手册。你可以阅读莱蒂西亚写的内容。你可以获得我们用来向人们进行简报的所有材料。你可以自己复制这个策略手册。你甚至不需要我们的同意。你可以直接拿走我们的策略手册，然后继续使用它。这可以扩展。所以

我认为世界在不久的将来会好起来的方式是，这可以扩展。因此，我和Control AI一起，我还启动了一个新的项目，它更草根，更社区驱动，名为Torchbearer，这是一个在线社区，专注于通过自下而上的公民行动和类似的可扩展行动来构建美好的未来。

我认为这就是我们让人们真正关心这个问题的方式。我不认为我们在华盛顿特区秘密交易，在充满雪茄烟味的房间里。我不认为事情就是这样运作的，不是在模型世界中。根据我们的经验，这并不是我们实际完成事情以及我们实际让人们支持事情的方式。下一步是，我们现在起草了一项实际的法案，该法案将实施至少在10到20年内阻止ASI的立法。

在英国，我们已经向10号唐宁街（英国首相办公室）介绍了这一点，我们正在对此进行迭代。现在我们也开始在美国建立办事处，我们也将在那里推动这些事情。

这一切容易吗？不。所有这些都很难。我知道。而且，需要明确的是，也有一些坏人参与其中。例如，很多人认为所有政治家都是腐败和邪恶的等等。根据我的经验，这绝对不是真的。有一些。例如，有一些人只是，就像，彻头彻尾的邪恶。就像，彻头彻尾的，像……

天哪。但这绝对不是大多数。他们大多数只是工作过度，有很多相互竞争的激励措施。很多人都在向他们撒谎并操纵他们。他们只是处于困境之中。我们必须帮助他们。所以如果任何人，你知道，在观众中，我们可以再给出一条建议。我一直在向越来越多的人提供的一条建议，因为我认为这非常重要，那就是如何在不占用你生活的情况下完成这项工作。

这里有时会发生一种风险，那就是人们发现这个问题非常令人不知所措或非常可怕，以至于他们要么放弃一切，要么一头扎进这个问题中，然后他们知道他们失去了余生和稳定性，他们筋疲力尽，要么它太令人不知所措，他们不想失去自己的生活，所以他们什么也不做，所以我对任何关心这个问题的人的建议是，你应该做的是，你应该选择每周可以腾出一些时间，你可以知道，可以是

一个小时，可以是五个小时，可以是一天的工作时间，无论什么，你知道，你可以腾出一些时间来解决这个问题。它可以是阅读这个问题，联系该领域的其他人，与你的政治家交谈。它可以是给我发电子邮件并问我问题，无论什么。不要做超过这个的事情。每周都做。你知道，每周做你的一小时或其他什么，但不要做超过这个的事情。

这就是我的建议，如果我之前没有说清楚的话，我完全赞同这一点，在我看来，这绝对是我们一生中，甚至可能在整个人类和世界历史上最重要的事情。我只想再说一次，这个星球上这项技术最杰出的实践者

几乎都同意，在五年到十年左右的时间内，我们将不再是这个星球上最聪明的实体。所以我认为这值得你每周花一个小时的时间、你的调查和你的求知欲。康纳，很高兴听到你对这个问题的最新想法。非常感谢你回到《阻止世界》节目。感谢你的聊天，祝你的倡导工作顺利。谢谢，大卫。

感谢收听，各位。我们下周将回归常规节目。但在此期间，请关注明天播出的关于ASPE国防成本报告的特别短节目，该报告本周发布。再见。