The Narrow Path: Sam Hammond on AI, Institutions, and the Fragile Future
47:55 Share

嘿，大家好。欢迎收听《全神贯注》。我是埃扎·拉斯金。我是丹尼尔·巴凯。今天的嘉宾是萨姆·汉蒙德。他是美国创新基金会的首席经济学家。我很高兴能与萨姆进行这次对话，部分原因是我们来自不同的背景。我们有不同的世界观，对世界采取不同的立场。然而，在最重要的事情上，

我们似乎达成了共识。所以我们真的想把这次对话变成关于人工智能将如何发展以及如何使其良好发展的讨论。

回顾一下，人工智能公司和全球超级大国正在竞相开发功能越来越强大的模型，速度越来越快，而且没有防护措施。当然，这种动态是不稳定的。普京说过，谁赢得了人工智能，谁就赢得了世界。埃隆·马斯克说，人工智能可能是第三次世界大战的导火索。我们刚刚超过了最新的人工智能模型的阈值，开始拥有专家级的病毒学技能。

我们在这个播客中讨论过两种最终状态，我认为萨姆也看到了两种。那就是我们最终要么陷入反乌托邦，少数几个国家和公司获得……

前所未有的财富和权力，要么权力分配给每个人，而世界最终陷入越来越无法控制的混乱之中，这将使转向反乌托邦的可能性更大。因此，存在一条狭窄的道路可以使事情正确进行，即在各个层面将权力与责任相匹配，但目前我们并没有走在这条道路上。因此，今天的节目实际上是关于我们如何才能走上这条道路。

萨姆，非常感谢你来到《全神贯注》。感谢你们的邀请。萨姆，你可能已经听出来了，我刚感冒好一点，但我真的很期待这次谈话，所以我不会让它阻止我。正如埃扎在引言中所说，你对人工智能的看法与我们许多嘉宾不同。我们邀请的许多人主要来自人工智能安全或风险降低领域。在这里，在CHT，这也是我们的首要任务。

但你对人工智能发展采取了一些人可能称之为“创新优先”的方法。你曾将自己描述为前加速主义者，是马克·安德烈森那种类型的技术乐观主义者。但你也谈到过，由于我们制度的脆弱性，你更新了自己的世界观。你能告诉我们的听众一些关于你的背景以及你如何看待技术和人工智能的概要吗？

当然。我一直认为自己更像是一个技术现实主义者，而不是乐观主义者。我从小就对心灵哲学、认知科学、进化生物学、辩论感兴趣，例如，心灵是否是一台计算机？并在很小的时候就得出结论，从某种描述来看，它确实是一台计算机。

并试图对其进行反向工程。从智力上讲，我认为我早期的一种哲学转变是，我曾经是一个非常顽固的自由主义者，后来通过对历史的理解意识到，诸如财产权、法治、宗教自由等制度实际上是新近构建的，而不是自然的。它们是近代西方历史的一部分

世界历史。它们并不一定源于薄弱的国家，对吧？它们在某些情况下源于从封建时代加强国家，伴随着有利于军队巩固的早期技术增长、早期征税能力、正式的官僚机构。这些都是印刷术、其他技术潮流推动的。因此，技术塑造和改变我们制度性质的方式对我来说变得非常明显。与此同时，我对政治哲学也很感兴趣。我对创新和技术的许多兴趣来自于对工业革命历史的理解以及我们处于何种不平衡状态。我们日常使用的许多发明，影响最大的发明，

是在不到100年的时间里发明的。你可以把它看作是第一次奇点，对吧？乔治亚·麦克洛斯基称之为历史中的“球棍曲线”，你观察一段时间内的GDP增长，在人类历史的大部分时间里，它基本上为零。然后在大约1700年代末或1800年代左右，它垂直上升。我们正处于这条垂直曲线上，我们对文明的所有贡献都是这种惊人的经济增长的结果。

所以这就引出了一个问题，这种情况还会再次发生吗？在不久的将来是否会有另一个拐点？所以你谈到的第一次奇点，工业奇点，就像我们现在生活在一个纯粹的工业化世界中，对吧？这与我们以前的情况大相径庭。你认为，进入另一个世界，它可能与工业社会和前工业社会之间的差异一样大，对吧？

谈谈你如何看待这种转变，因为你也是从这种混合的角度来看待这个问题的：这可能是一个美丽的转变，但也可能是一个相当混乱的转变。

如果要发生另一次技术转变，我认为我们应该默认假设会发生类似规模的制度转变。没有人能够预见，大约在1611年，随着《钦定版圣经》的首次出版，几百年后，我们将拥有第一条铁路和启蒙时代的电报网络。所以我完全预料到，如果我们真的达到了AGI，我认为我们已经非常接近了，我们将经历类似的转变，但这种转变的时间可能要短得多。

这将挑战我们对有效治理、适当规模的机构以及现代民族国家的各种装饰的所有假设。

所以，你知道，我第一次了解你的作品，萨姆，我认为我们去年在伯克利的一个小型会议上第一次见面。你在做演讲，事实上，根据你的演讲内容，我们为特里斯坦刚刚在TED上关于“狭窄道路”的演讲做了一些准备。我认为你借鉴了我们人工智能困境演讲中关于监控和其他方面的一些内容。看到这种互惠互利真是太好了。

事实上，我马上就要请你概括一下那次演讲的5到10分钟版本。我认为其中有很多非常好的观点。但我认为我们应该从你在那次演讲中提出的一个思想实验开始，即你发明了一种新技术，它揭示了一类新的责任，然后社会必须做出回应，你用X光眼镜作为例子。所以我很想让你举这个例子。

是的，顺便说一下，这里的直觉来自于观察即使是小的技术变化也能导致非常大的定性结果的方式。例如，避孕药片给社会带来了定性变化。所以，你知道，在这个演讲中，我用一个思想实验开头。你知道，想象一下，有一天我们醒来，就像，

就像《天降神人》一样，我们戴上了X光眼镜，可以看穿墙壁，看穿衣服，你可以用X光眼镜做任何事情。社会真正有三种典型的方式可以回应。

有一种是文化进化路径，也就是说，我们都适应了一个后隐私规范的世界。我们习惯了裸体主义。然后是适应缓解路径。好吧，我能稍微减慢一点速度吗？如果你正在听这个，那么如果你发明了X光眼镜，每个人突然都能做什么？他们可以看到墙壁，看到衣服，世界的一部分。

我们社会中我们依赖的部分，我们已经习惯了不透明的部分，突然变得透明了，事情就崩溃了，所以无论如何继续吧，对吧？然后是适应缓解路径，对吧？我们可以，你知道，用铜线改造我们的房屋，或者可以阻挡X射线的东西，我们可以穿铅内衣，我们可以采取各种缓解措施

然后是监管和执法路径，也许政府利用这种对力量的垄断来收回所有额外的眼镜，说只有我们被允许使用额外的眼镜。社会可能会有这三种情况的混合。但不会发生的事情是没有变化。

对。所以这是一个典型的集体行动问题。所以我喜欢这个例子的一点是，一方面，你知道，如果每个人都戴上X光眼镜，你就会陷入这种混乱之中，所有这些人都在做他们不应该做的事情，了解建筑物何时没有上锁，人们何时不在家。它会给社会带来混乱。另一方面，如果只有政府拥有X光眼镜，那么你就会进入这种反乌托邦状态，对吧？在那里

这是腐败，国家权力过度扩张。或者在你所说的第三种情况下，我们只是适应这一切。就像抛弃所有社会规范一样。我们必须从头开始创造一个新的社会。感觉我们不想要这三种情况中的任何一种，对吧？我们想找到一条狭窄的道路，这样我们就不用担心每个人都会造成破坏。我们不必担心政府拥有所有权力。我们不必担心我们建立整个社会的所有社会规范都会崩溃。

我们CHT致力于在这三种糟糕的结果之间找到一条狭窄的道路。我们可能对如何到达那里有一些不同的意见，我们可以讨论。但我希望给你一个机会来为这次谈话设定赌注。例如，我们做错事情的不同陷阱是什么？为什么人们应该关心我们是否能正确进行这种转变？

是的，你知道，这与我的自由主义进化联系起来，一部分是将工业革命理解为一种打包交易，对吧？经济学家泰勒·考恩有一篇名为《自由主义悖论》的旧文章，他在文章中指出，你知道，围绕自由放任市场、资本主义的自由主义思想催生了工业革命，并启动了这一惊人的增长阶段。

但与此同时，它也引发了一系列动态和新技术、能力、新型负外部性，这使得首先需要发展官僚机构来规范公共卫生和安全等问题，然后需要发展福利国家来为那些并非由于自身过错而失业的人提供补偿。所以总会有这些权衡。所以“狭窄道路”的概念来自加伦·阿西莫古尔，这位诺贝尔经济学奖得主现在有一本书叫做《狭窄走廊》，

其中讲述了向现代性过渡的历史，以及在英国内战和宗教战争之后，人们意识到我们需要在民族国家内部巩固权力，同时也要尊重宗教自由、法治、法律面前人人平等。

并在国家权力和社会权力之间取得平衡。所以挑战就像，几乎就像微积分一样，我们如何才能保持在这条稳定的道路上，并应对同时增强国家权力和社会权力的冲击，对吧？因为人工智能不仅仅是使……

安全机构能够进行更多的大规模数据收集等工作，它还在总体上使个人拥有中央情报局或摩萨德特工的权力，对吧？

随着社会仅仅由于每个人都可以使用更多的计算能力而开始压倒国家的能力，这在总体上对社会意味着什么？许多人认为，你只需要改变技术，那么它就不会像你想象的那样深刻地改变社会。我认为这是对的。但我认为我们相信我们可以做得更好或更糟。我听到人们举起双手说，哦，这只是不可避免的变化。

我们将不得不改变一切，这没关系。而我却担心这一点，对吧？我认为我们可以在这方面做得更好或更糟。我担心的是，如果你只是说这是一个打包交易，那么我们就没有考虑到我们自己的能动性来使事情变得不同。你知道，历史上有一些关键时刻，人类的能动性非常重要。但是你不能仅仅，你知道，要成为一个优秀的冲浪者，你需要知道何时抓住浪潮。

而知道如何冲浪是必要的，但不是充分的条件。有更好的冲浪者和更差的冲浪者。但如果浪潮没有达到顶峰，那么你就不会做任何事情。所以历史上有一些巨大的潮汐力量。然后还有一些方法，由于它们改变了我们在社会中拥有的协调机制的方式，事情实际上是打包交易。去年我们为十周年庆典举办了一场盛会，我们邀请了传统基金会主席凯文·罗伯茨发表演讲，

一个非常保守的组织。Dvarkash播客的Dvarkash Patel采访了他，并询问了他对超级智能的看法，我认为这很有趣。他说，如果我们拥有超级智能，我们的GDP增长率可能会达到10%或更高，但我们也可能迅速沿着进化树的后人类分支发展。

凯文·罗伯茨说，哦，我是一个保守派。我喜欢GDP增长。我完全赞成10%的GDP增长，但我也是一个基督教保守派。我不想变成后人类。指出这是一个打包交易并不是要否认它的能动性，而是让我们反思在某些情况下你不能同时拥有两者的情况。如果我们要清晰地走向未来，那么我们需要现实地看待这些事物是如何捆绑在一起的。

好的，所以我明白了，也就是说，技术总是会改变游戏进行的格局。所以游戏将会改变。你无法避免这一点。但是你决定在这个游戏板上玩哪个游戏仍然取决于你。初始条件非常重要。是的。

但我确实想看看我能否让你稍微解释一下，只是想象一下工业革命的“不及格”会是什么样子。我之所以想让你描绘出来，是因为我认为现在我们几乎没有国家权力干预来为人工智能设置防护措施。

我很想知道，如果我们现在处于与工业革命相同的位置，那会是什么样子。那会是什么样子？是的，我的意思是，我们可能会发生核大屠杀，对吧？我们可能会看到……

第三帝国对欧洲的侵略，或者苏联占领世界。你可以得到一些情况，你被锁定在一个不太理想的平衡中。你知道，我认为到目前为止我们还没有自我毁灭，这是一种奇迹。你知道，工业革命对人类生活水平、福祉和知识创造与理解来说，

是一个巨大的福音。我认为这是值得的，即使我们不得不经历所有这些灾难。与此同时，你知道，印刷术可以说是……

用远不如现在的技术引发了宗教战争。是的，我认为我们不会否认这一点，就像，你知道，我很高兴我们有文字、书籍、学术出版物以及所有这些东西。

我的前同事埃利·多拉多有一篇博客文章，名为《论复杂社会的崩溃》，回顾了一些关于复杂文明如何崩溃的文献。其中一个反复出现的主题是，你经常会看到这些技术趋势发展速度快于制度适应的速度。制度未能适应的部分原因是，存在一个既得利益者正在阻止最终必要的适应过程。

我看到这种情况在围绕人工智能的辩论中上演。而且，你知道，这就像我们将不得不放弃一些东西，对吧？也许其中一件事情就是……

我们对知识产权的理解。可能是，你知道，我们可能希望对监控的水平和程度有所限制，但是，你知道，至少从我的角度来看，这似乎是，我并不是说这是好是坏，只是某种监控状态可能在我们的未来是不可避免的。问题是，防护措施和限制是什么？它实际上是如何管理的？

所以，我认为，在试图引导狭窄走廊的过程中，存在着同等程度的风险，这种方式实际上并没有取得任何进展，并没有真正认真对待社会的进步轨迹，实际上以一种奇怪的方式试图坚持古代政权的某些方面。

事实上，我认为你刚才提到的关于普遍存在的技术监控的问题，我听到的次数还不够多。那就是，如果没有人工智能，普遍存在的监控是不可能的。但有了人工智能，这是不可避免的。人工智能已经使Wi-Fi路由器和5G能够看穿墙壁。当然，对于下一代手机6G来说也是如此。

诺基亚和爱立信等公司将其作为一个特性来谈论，即网络作为传感器，也就是说，因为它处于太赫兹范围，网络可以告诉你你的心率、面部表情、微表情、你的手在哪里。这意味着在城市中人类存在的地方，

一切都是已知的。当你没有任何秘密时，你如何与敌人作战？这似乎是我们讨论得不够多的事情。这与接下来的问题有关，对吧？就像，现在在国会，你知道，有人试图偷偷加入一项条款，规定各州不能制定自己的规则

围绕人工智能，这只能在联邦层面发生。这意味着不能有任何规则驱动的创新，除非是针对整个美国。因此，要真正走上狭窄的道路，以及我们应该做什么

作为一个社会，就在这里。就在现在。我真的很想让你谈谈，因为你说你不喜欢先发制人的监管。在你看来，我们应该做什么？我们如何走上狭窄的道路？我认为有一些方面显然是好的。首先要回到初始条件点。

我观察了阿拉伯之春的经验，较弱的国家实际上失败了，这有效地归因于信息技术，即Facebook。

他们对突然普遍存在的协调、动员和批评政府行为以及揭露腐败或虚伪的能力适应性较差。现在，从中走出来，中国和其他国家看到了正在发生的事情。这就像，该死，我们需要控制信息生态系统。

从某种意义上说，中国现在已经很好地适应了一个普遍存在的开源人工智能模型和各种强大的信息技术的世界，因为他们控制着管道。

所以问题是，从这些初始条件来看，如果中国或西方首先获得非常强大的情报，那么是否存在一种赢家通吃的动态，其中一方以与美国在GDP和技术能力方面领先苏联相同的方式领先，并可能出口技术，你知道，这使得较弱的国家能够以不尊重人权和公民自由的方式监视其公民？所以我认为这是

A点是，如果我们关心西方的自由民主价值观，那么西方有责任保持和扩大其在人工智能方面的领先地位，并将技术出口到世界各地。在某些情况下，出口的工具将用于监视，但其中包含了增强隐私和公民自由的原则和价值观。

你补充说，这不仅仅是关于监控，而是关于技术，特别是人工智能，可能会从根本上改变中央集权国家与分散化国家的博弈论。在20世纪最终胜出的资本主义民主国家。

这可能是工业化技术环境的产物。但现在人工智能可能会给高度集权的政府带来优势。正如你所说，我想生活在一个我们保持人权、民主价值观以及这些东西的世界中。但是，我们必须弄清楚这在人工智能世界中是如何运作的。

是的，绝对的。绝对的。但我认为这在许多情况下将是一种持续的边做边学。问题是谁在做这种边做边学？所以，你知道，我的零阶，比如政策建议总是，你知道，

不惜一切代价确保美国和更广泛的西方保持其在人工智能、硬件、模型本身、能源以及进入这些模型的投入方面的优势，然后积极参与世界其他地区的采用。是的，让我们详细讨论一下。就像你呼吁开展人工智能曼哈顿计划来做一些这些事情一样。是的。

告诉我们一些关于你认为应该发生什么才能保持这种竞争优势或确保人工智能增强我们社会的事情。是的，需要明确的是，我写的那篇文章是关于人工智能安全的曼哈顿计划。是的，我可能在谈话中稍微利用了一下它。是的。

我一直批评这种观点，即联邦政府应该拥有某种秘密的黑色基地、5吉瓦数据中心，并在实验室中构建AGI。我认为这将非常危险，实际上在某些方面是减速的，因为如果我们只是让公司继续前进，它们的速度将比国防部快得多。因此，这其中将包含一个国家标准制定部分。

这其中一部分是解决我们自己在能源许可、数据中心基础设施方面的问题，然后控制我们最先进硬件的出口。例如视频芯片。中国有一个万亿元（1380亿美元）的国家风险投资公司，从某种意义上说，这是他们的星门项目。它正在大力推动为其领先的科技公司建设数据中心。现在，世界上最好的芯片都是出口管制的。

所以这场猫捉老鼠的游戏正在进行中，我们如何分配全球计算能力。所以我认为这是保持在西方国家或我们密切盟友管辖范围内的总计算量的非常重要的途径。我认为其中一个……

这场谈话中的挑战是，我经常认为关键点被忽略了，我很想知道你会如何回应，那就是人工智能作为一项技术与其他所有技术都非常不同，因为对于其他技术，例如，如果你需要制造一架更强大的飞机，这意味着你需要更多地了解飞机的工作原理，如果你想建造一座更高的摩天大楼，你需要更多地了解建筑的基础，但对于人工智能来说

你实际上并不需要更多地了解人工智能内部的工作原理来构建更大、更快、更强大、更智能的人工智能。这意味着，我认为当我们说我们需要在……

方面击败中国时，存在一种混淆，也就是说，这意味着无论我们正在构建什么，我们都能控制。但实际上我们看到的是，模型越强大，我们就越无法控制它们。那么，这场竞争不应该是加强社会，而不是争夺一种我们还不知道如何单独或通过人机结合来控制的技术吗？我想我有点质疑这个前提，嗯，

我认为随着这些模型变得越来越强大，在某种意义上，它们也更容易对齐。我认为我们正迅速进入一个强化学习训练后时代，我认为这将引发一系列其他问题。但就我们今天所处的位置而言，在某种意义上，最大、最强大的LLM比两三年前的LLM对齐和可控性要好得多。尽管我们也看到了越来越多的O3欺骗行为，比以前的模型多得多。

我认为这些都不是无法克服的。所以许多人工智能安全辩论最终将人们的各种担忧混为一谈。其中一个是经典的对齐问题。我们如何控制非常强大的超级智能？我一直在谈论的事情更多的是，假设我们拥有非常可控的超级智能。世界仍然看起来大相径庭。

我认为我们将进入一个并非只有一个单一人工智能接管的世界，而是一个非常强大的能力分散到许多人手中，强大的AI代理更多或更少地按照你的要求去做。而且，你知道，可能会有所谓的“流氓AI”的例子，比如……

关闭殖民地管道或进行勒索软件攻击之类的事情。但我认为对于使用基本的访问控制技术，我认为我们不需要对这些模型的工作原理有完整的机械可解释的理解，就可以在物理学的层面上知道……

它们具有我们期望的行为。我们仍然进入这个全新的世界。大多数最大的问题仍然没有解决，因为显然人们的利益大相径庭，对吧？你知道，一个前男友可以利用一个恶意的人工智能机器人，这个机器人完全对齐，因为它……

完全按照他的要求去做，然后让它自主复制自己，并不断恐吓她。这些事情不是对齐失败，而是人类没有对齐。公平地说。如果我们退一步，你谈论的是有两个大问题。对齐通常是一个问题，即人工智能是否正在做你要求它做的事情？对吧？

然后是关于我们制度脆弱性的问题。先忘记对齐问题吧。让我们假设你是对的。我对此有点疑问。我认为确保这些事情对齐会困难得多，但没关系。让我们先把这个放在一边。

你经常谈论我们制度的脆弱性，我真的很想让你更深入地探讨这个问题，因为我担心我们的制度将无法跟上这一变化，即使在人工智能对齐的情况下，我们也可能进入一个非常混乱的转型时期，在我看来，这是完全可以避免的。我认为我读过你的一些文章，我们在这方面看法一致，那就是我们需要密切关注，确保在社会上不加考虑地部署人工智能不会造成我们希望从未做过的一系列混乱。

那么，你能向我们介绍一下你对人工智能与制度脆弱性的看法，以及我们可以做些什么来避免这种情况吗？当然。总的来说，我看到的是公共部门和私营部门人工智能扩散之间存在差异化的军备竞赛，人工智能在私营部门的扩散速度远快于公共部门。因此，我认为公共部门需要加快采用速度。这是第一点。

但这并没有真正触及问题的核心，对吧？因为如果你考虑人工智能将造成的各种影响，这些影响并非源于滥用，而是源于

前所未有的规模上的有效使用，例如，本质上是对机构的拒绝服务攻击，你可以想象一下，如果我们每个人口袋里都有AI律师，我们都可以不断地互相起诉。除非法院采用某种形式的AI法官，否则法院将不堪重负。因为我无法预见我们的法院系统（在技术上，他们仍然使用人工速记员）会以这样的速度采用AI，我认为存在一种替代效应。

就像优步和Lyft以及现代的叫车技术取代了持牌出租车委员会一样，对吧？也许我们会拥有类似于药物审批的优步，或者类似于裁决合同和商业纠纷的优步。当你提到优步时，你的意思是说某个地方的某个初创公司会说，啊哈，我要解决这个问题。

将会出现一个新的，就像法院，但没有所有元音的法院。嗯，

然后，国家的一部分转移到私营部门，而这个私营部门现在受制于所有风险投资的激励。这就是你所说的吗？是的，它可能不是一家公司。它可能是竞争性或自下而上完成的事情。你可以很容易地想象一个世界，在这个世界里，今天需要正式的制度程序和官僚机构的许多事情都被推到了使用各种原始情报的边缘。

这可能不是来自任何一家公司，但它看起来将是一种非常不同的经营方式。你能告诉我们，你认为哪些机构最容易受到人工智能带来的破坏吗？你预计会看到哪些类型的破坏？首先，你要看看哪些领域将取得最快速的进展，以及我们已经有哪些机构来管理这些过程。然后，他们愿意适应和共同进化吗？

看看哪些领域可能会有非常快速的人工智能进展。达里奥·阿马迪在他的《爱的恩典机器》一文中谈到了在不久的将来，人工智能科学家能够自主地与数千名其他人工智能科学家并行地进行生物学和其他领域的研发。理论上，这可能导致科学发现的速度加快，将过去需要一个世纪才能完成的事情压缩到十年或更短的时间内。如果

我们有像FDA这样的机构负责批准药物，他们通过三期临床试验过程来做到这一点，你必须让志愿者或患者接受两种不同的治疗和对照。这是一个非常漫长而冗长的过程。如果你把这个过程延长足够长的时间，你甚至可以想象我们有一天会在硅片中拥有能够完全描述药物对特定患者的影响的人体模型。

疾病，而无需进行人体试验，并将其与人体进行验证以证明其准确性。障碍不是FDA的人没有预见到这一点，而是这些内容被写进了法律。

而且，你知道，FDA适应速度有多快的问题，从根本上来说就是国会制定新法律的速度有多快，以及他们的前瞻性有多强的问题？而让它如此困难的是，这不仅仅是FDA，不仅仅是药物，不仅仅是科学，它将是所有的一切，无处不在，同时发生。所以这就是让我觉得我们无法完全正确地处理这一切，并且事情会转向私营部门解决方案的原因。好吧，但是帮我看看其中的平衡，因为……

在你的博客文章《关于人工智能的95条论点》中，你提到的一点是，快速的技术变革时期往往伴随着乌托邦式的政治和宗教运动，而这些运动通常结局都很糟糕。你知道，当你这么说的时候，好吧，我们将彻底改革FDA，我们将让它自行发展，我们没有为即将到来的变化做好准备，这让我想到的是，这感觉就像

一个乌托邦式的运动，说我们可以让它在我们制度中横冲直撞，而这通常会以糟糕告终。所以，帮我看看这里的平衡点在哪里？我同意我们不想让现有的制度拖累我们，使我们陷入困境。但与此同时，我也不希望一些粗心大意的想法，认为一切都会好起来，会让我们陷入这种宗教式的信念，认为事情会进展顺利，而不会让我们认真思考如何推出这项技术。是的，我当然不相信事情一定会进展顺利。我认为乌托邦运动的特点是相信某种最终状态或知道故事的结局，并试图让我们更接近故事的结局。而我不知道故事的结局。我认为没有人真正知道故事的结局。

我认为我们可以知道的是复杂自适应系统的一些普遍原则。没有人负责我们称之为“美国”的东西。当我看到阻碍人工智能发展的因素时，你之前提到了有人提出的暂停人工智能发展的建议。我认为这是基于这样一个错误的假设，即减缓人工智能发展的是针对人工智能的具体法律。

而实际上，减缓人工智能扩散的是所有处理其他一切的法律，对吧？医疗保健、金融或教育方面的法律。因此，如果我能挥舞我的魔杖并同时做两件事，我会，你知道，一方面，在某种程度上对人工智能实验室进行更严格的监督，进行更多针对人工智能的具体研究。

为开发强大的AGI形式制定安全规则和标准。与此同时，我基本上是在对目前大多数行业中存在的法规进行一次大赦。这并不是因为我们想要一个完全不受监管的世界，而是因为这些法规开始失去其适用性。我听到你说的是我们需要新的范式机构。这实际上让我想起了我上次参加洞察论坛时的情景

那是历史上第一次，国会召集了来自IBM、OpenAI和谷歌的所有首席执行官。埃隆·马斯克和马克·扎克伯格来到国会，回答诸如“即将发生什么？”、“这如何才能进展顺利？”之类的问题。坐在价值6万亿美元的财富对面，对我来说是一件很有趣的事情。

但在那次活动之后，我最终在华盛顿特区进行了长时间的散步，不知怎么的，我来到了杰斐逊纪念堂。在东南门廊，我看到了一段我从未见过的他的引言。上面写着：“我不是经常修改法律和宪法的倡导者，但法律和制度必须与人类思想的进步齐头并进。随着人类思想变得更加发达、更加开明、发现了新的真理以及改变了观点，随着环境的变化，制度也必须进步以适应时代。我们不妨要求一个人仍然穿着小时候适合他的外套，就像一个文明社会永远处于他们野蛮祖先的统治之下一样。”结束。

这真的触动了我，那就是我坐在国会大厦里，我们基本上是在进行一场辩论，而我们甚至没有真正进行交流。这就像一个如此古老的制度。有很多方法可以使用新技术来更新我们的制度，使其能够与人工智能一起扩展。所以我只想让你具体说明一下。你开始谈到一些我们可以从根本上升级我们制度的其他方法。是的。

是的，事实上，现在国会正在辩论这项大型法案，这项大型税收法案，有超过一千页。为什么国会议员（他们经常只有24或48小时来阅读这些文件）没有AI工具，让他们可以将法案放进去，然后询问这项法案对我的州有什么影响？这项法案是否有任何毒丸条款？这项法律中是否有任何规定表面上说一回事，但却可以用来做另一件事？

你可以想象，这将非常有用，不仅本身有用，而且因为国会的人员配备非常不足。这只是一个领域，我在这方面做了一些工作，并推动国会对其技术堆栈进行现代化改造，并真正开始采用这些工具。因为就目前而言，我与之交谈的大多数国会办公室都在定期使用ChatGPT，但这违反了他们自己的规定。当然，对。而且，你知道，你也会在联邦机构中看到这种情况。这回到了我关于FDA的观点，那就是

仅仅为FDA官员提供AI副驾驶是不够的。我们将需要进行根本性的流程改革。

我认为许多这些更具可扩展性的机制将与Twitter从拥有信任和安全团队到拥有社区笔记的转变类似，他们从某种可以认为是精英人士决定哪些帖子违反规则的机制，转变为自下而上的机制。我们可以批评埃隆·马斯克更广泛的干预及其自身的可靠性，但社区笔记算法非常重要。

具有创造性，并且实际上使激励机制协调一致，因此，如果不同意的群体就特定笔记达成一致，则该笔记将被放大。那么，对于政府所做的事情，还有其他类似社区笔记的解决方案吗？然后，政府中有哪些领域会真正过时？

对。我认为这将是最大的拔牙练习，因为政府所做的事情的某些方面是技术相关的。如果所有汽车都是自动驾驶的，而且没有一起交通事故死亡，我们还需要国家公路交通安全管理局吗？而且，你知道，它会逐渐消失还是会变成某种其他的野兽？而且，你知道，我认为这将是一场最大的斗争。

我必须承认，我既充满希望，例如我喜欢这种亲民主的技术角度，特别是使用LLM来寻找增强我们治理能力的方法，而不是使用这种19世纪、20世纪的系统来尝试，你知道，真正进行治理，而是深入其中并改变其中的一些东西。但与此同时，我也担心这些短暂的时间线会将一项技术引入我们今天最重要的政府层面中。

我们仍然不太了解它的工作原理，或者它是否已准备好。你对这些转变应该如何进行有什么想法吗？在什么时间范围内？这项技术何时准备好集成？我的意思是，当现实情况出现时，你有什么具体的建议吗？

是的，我要说一些听起来有点矛盾的话。一方面，我认为重要的是要为政府内部的人员开放实验的能力。而现在，例如，IT采购的规则制定方式完全围绕合规性和风险最小化。这是一种非常规避风险的文化。

但这种规避风险的做法是源于对过去有效流程的规范化。我有时会举一个例子，当你设计一个公园或大学的广场时，你可以铺设你认为合适的侧道，或者你可以让场地保持荒芜，让人们选择他们走的路。当你开始看到一条路形成时，那就是你建造人行道的地方。我

我认为在使用人工智能方面也会有类似的情况，因为它是一种通用技术，我们不知道人们能够以多少种富有成效的方式使用它。因此，我们需要有试点项目，以及政府、公司和其他大型机构内部的个人在无需许可的情况下进行实验并查看效果的更大权限。然后，你才开始将事情规范化。

与此同时，我们也看到，当政府进行这些类型的项目，特别是大型项目或大规模采用项目时，重要的是不要太早。你知道，即使你比一项技术早几年，而每个人都看到了事情的发展方向，你也会被锁定在某种劣质的东西上。因此，事情过去的工作方式是美国政府

一直是企业部门的快速追随者。因此，我认为在这个时代，我们需要看到类似的情况，在这个时代，我们今天的超级规模公司就像早期时代的卡内基和洛克菲勒等等。他们需要将他们的经验带入政府，并使政府也实现超级规模化。你似乎在这里倡导的是将政府更像一家公司一样对待。我们刚刚看到Doge和埃隆做了一些版本，你知道，

一群20多岁的年轻人涌入政府。事实上，当我们上次在Curve大会上交谈时，你非常乐观。现在我们已经看到了一些情况，我很想知道。你当时说，我们可能生活在最好的世界里。我们生活在最好的世界里吗？情况如何？事先，我认为并且仍然认为，如果存在这样一条狭窄的走廊路径，它将需要像Doge这样的东西。一些……

与所有这些政治约束和公共选择问题脱节的东西，这些问题会阻碍更激进的改革。随着Doge的发展，它显然是一个巨大的混合体，对吧？这可能是因为它们不是单一的东西。Doge在某种程度上是执行总统议程的工具。他们选择美国国际开发署作为他们的第一个目标的原因是，总统签署了一项行政命令，暂停所有对外援助。

因此，埃隆或Doge的孩子们并不是针对对外援助。这是因为他们被委派使用信息技术作为重新建立行政部门对官僚机构的控制的渠道。而这恰好是事情的进展方式。与此同时，而且这并没有得到充分报道，在幕后，正在进行许多真正的现代化工作。我认识一位在卫生与公众服务部工作的朋友，他现在是

的首席信息官。卫生与公众服务部是一个庞大的机构。我认为他们有17或19个其他下属首席信息官。他目前的工作之一是，政府中没有人可以与卫生与公众服务部的其他人共享文件，因为他们都在使用不同的文件系统。正是这种随着时间的推移而积累起来的平凡的碎片化，我认为Doge应该试图解决。

因为在某些时候，我们将拥有非常强大的人工智能官僚，姑且这么说吧，工具和代理，可以取代政府内部数十万名全职员工。我们需要一些这样的基础设施。而且需要进行一些基本的固件级政府改革。Doge正在解决这些问题，同时也像一头蛮牛一样闯入瓷器店。

因此，我们似乎陷入了你刚才谈到的这种适应机制之间，例如我们如何使美国政府具有弹性和采用人工智能？但你也担心这可能不足以导致这些机构完全崩溃。这似乎让我们回到了悖论的领域。你能谈谈这个吗？你认为这种适应会奏效吗？

我之前提到过创新者的困境。例如，出租车委员会会建造他们自己的优步和Lyft吗？默认情况下，他们不会。问题是，你能做到不可能的事情，打破创新者的困境吗？而且……

像联邦政府这样的公共机构，与私人机构相比，它们的一个主要劣势是，私人机构、私人公司不断诞生，然后消亡。这是一个持续的更新过程。我们只有一个联邦政府。话虽如此，美国政府经历过你可以称之为重新建立或重启的事情，无论是林肯还是罗斯福，或者你可以说“伟大社会”是一个部分。我们过去经历过这些宪法重置，其中

我将特朗普政府更广泛地视为试图促成这些宪法休会中的另一次。现在，它与围绕贸易、移民等我不一定同意的各种其他政治承诺捆绑在一起。归根结底是，官僚机构是这只永不停歇的无头野兽吗？还是政府内部有一些代理机构能够真正开始重组它并为重大变化做好准备？这又回到了我

之前关于我们不能乌托邦式地知道最终状态是什么的观点，但我们可以应用复杂自适应系统的一般原则。其中之一是快速反馈循环、实验、故障安全测试。而我们目前完全缺乏这样做的基础设施。因此，需要做一些预备工作。

我很喜欢。就像我认为你相信需要一个曼哈顿计划来确保人工智能安全一样，我认为我们需要一个阿波罗计划来大幅升级社会的防御能力，因为风险投资公司通常不会投入资金。因此，市场直到为时已晚才会真正实现这一点。我们在网络安全领域已经看到了这种情况，随着我们基础设施的数字化，

私人公司根本没有强烈的动力来大力投资其防御能力。这使得美国的网络能力极度脆弱。因此，我认为除非我们能够进行某种大规模的阿波罗计划，否则我们现在将看到类似的情况，这并不是说要进行某种大型的集中式行动，但我们肯定需要足够的资源来加强我们的防御能力。是的。

我一直回到你的《关于人工智能的95条论点》，因为其中有很多珍宝。

但我真的很喜欢其中一条，那就是，建造一个统一的超级智能是一个意识形态目标，而不是既成事实。这里有一些东西真的引起了我的共鸣。你会听到人们谈论，我们正在建造AGI，我们即将建造超级智能，这是一个目标。你会听到人们谈论这个，就像它甚至不是一个目标一样，就像它是一个既成事实一样，就像它只是摆在我们面前的技术路径一样。但是，你知道，

阿萨和我非常一致，我们如何构建这项技术很大程度上取决于我们自己，以及我们是在朝着一个目标还是另一个目标前进，这是一个选择。你能谈谈为什么你说这是一个意识形态目标，以及你如何看待这一点吗？机器学习和深度学习是一种通用技术，我们可以用它来构建更好的天气预报或解决蛋白质折叠问题。

但是，我们需要一个单一的、连贯的、统一的系统，拥有代理、感知能力等等，并且在各个方面都远远优于人类智力，这在我看来似乎没有必要。这不像对这种东西有很大的市场需求。我确实担心，这会涉及到硅谷的意识形态暗流，

那里存在一种强烈的弥赛亚式的氛围，我们将带来天空之神，而且我不认为我们知道这是否不可避免，如果发生这样的事情，这似乎很清楚

这不是什么大的结构性问题。当然，中国并没有竞相建造人工智能天空之神。他们竞相建造自动化工厂。他们更务实、更实际。这将取决于少数几家公司的首席执行官，他们的眼中闪烁着光芒。我认为这是一个非常重要的观点。例如，杰伦·莱尼尔谈到我们应该像建造工具一样建造人工智能，而不是像建造生物一样。

就我个人而言，我认为这是一个真正的选择，它不是什么既成事实。我们可以用人工智能创造一个更像工具的未来，而不仅仅是创造天空之神。这当然会更安全。为了不创造这样的东西或安全地部署它们，将需要人类做也许是最难的事情，那就是解决多极陷阱，学习如何协调它们。

通常情况下，我们的行为受到我输给你、我的公司输给你的公司、我的国家输给你的国家的恐惧的约束。但是

但我们所有人失败的恐惧必须大于这种偏执的恐惧，即我输给你。对我来说，这就是如何走狭窄的道路或狭窄走廊的标志，那就是在保持诚实竞争的同时，解决大规模协调能力的问题。是的，完全正确。世界上有足够少的参与者能够在短期内构建这些系统，因此，至少在理论上，他们应该能够像我们过去那样进行协调。

核武器扩散、生物武器化、化学武器，甚至现在，你知道，功能获得性研究，对吧？在许多方面，在这些人工智能实验室中发生的事情是一种功能获得性研究。对。对于不知道功能获得性研究的听众来说，在生物学中，功能获得性研究是指你故意训练科学家

进入生物体，一种不良特性，例如，跨物种跳跃的能力或变得更具传染性的能力。然后你试图研究它，并弄清楚是什么导致了这种情况。理论上，这样你就可以防止这种情况发生，对吧？但这就是傲慢自大的地方。你非常普罗米修斯式。你赋予生物体一种你不想让它拥有的能力。然后你假设你可以控制它。

唯一值得庆幸的是，人工智能模型不会进入你的呼吸道。对，对。它们只会进入你的经济，进入你的政治。然后进入你的思想。好吧，我只想说，萨姆，很高兴你来到播客节目。我们真的处于一个滑动的、即将关闭的窗口中

人工智能是什么，在它完全与我们的GDP纠缠在一起并且我们无法做出改变之前。我们正处于最后的抉择时期。即使我们来自截然不同的意识形态立场，我们似乎也达成了很多共识，我们没有

但我非常感谢能够进行这次谈话，并将其传播给更广泛的群体。所以非常感谢你来到《你全部的注意力》节目。谢谢。这很有趣。是的，谢谢，萨姆。这很棒。《你全部的注意力》由人文技术中心制作，这是一个致力于催化人文未来的非营利组织。

我们的高级制作人是茱莉亚·斯科特。乔什·拉什是我们的研究员和制作人。我们的执行制作人是萨莎·费根。本集由杰夫·苏德金混音。原创音乐由瑞安和海耶斯·霍利迪创作。特别感谢人文技术中心全体团队使这个播客成为可能。你可以在humantech.com上找到节目说明、文字记录等等。

如果你喜欢这个播客，我们非常感谢你可以在Apple Podcasts上对其进行评分。这有助于其他人找到这个节目。如果你一直坚持到这里，感谢你给予我们全部的注意力。