AI Ethics and Safety — A Contradiction in Terms?
53:12 Share

大家好。这里是来自《纽约杂志》和 Vox Media Podcast Network 的 On with Kara Swisher 节目，我是 Kara Swisher。如果您关心创新，那么人工智能在 2024 年可能就在您心中占据了首要地位，并且在 2025 年也将如此，这一年人工智能的重要性可能会继续飙升。但是过了一会儿，

但是，随着我们进入新的一年，重要的是要对人工智能的潜在陷阱有清醒的认识。炒作可能是真实的，但危险也是真实的。因此，我聚集了三位顶尖的人工智能安全和伦理专家，在约翰·霍普金斯大学布隆伯格中心进行了一次现场对话，讨论围绕这项可能成为我们有生之年（至少在这个时代）最具影响力的技术的一些最棘手的问题。

Mark Dredze 是约翰·霍普金斯大学的计算机科学教授。他做了大量关于大型语言模型中偏差的研究，并且他正在思考人工智能在各个领域的应用，从公共卫生到心理健康到金融服务。

Ruman Chowdhury 博士是 Humane Intelligence 的首席执行官兼联合创始人，也是第一位被任命为美国人工智能科学特使的人。她曾就人工智能伦理和安全监管问题向政府机构提供咨询，并且在它被称为 Twitter 的时候，她是机器学习伦理、透明度和问责制主管。当埃隆·马斯克收购该公司时，你可能猜到了她的工作发生了什么。

Gillian Hadfield 是一位经济学家和法律学者，现任约翰·霍普金斯大学人工智能研究员。她是计算机科学以及政府和政策学教授，并且她是为数不多的几位对人工智能进行深入研究并批判性地思考这项技术最终如何影响我们生活的方方面面的社会科学家之一。这是一次与三位极其聪明和有思想的研究人员进行的引人入胜的对话，所以请继续收听。♪

极客们！

节目的支持来自 NerdWallet。在寻找最佳金融产品时，您是否曾经希望有人能为您完成繁重的工作？把所有研究都从您的盘子里拿走？有了 NerdWallet 的 2025 年最佳奖项，这个愿望终于实现了。NerdWallet 的极客们已经审查了超过 1100 种金融产品，例如信用卡、储蓄账户等等，以突出并为您带来最优秀的产品。今天就访问 nerdwallet.com/awards 查看 2025 年最佳奖项。

本集由 Shopify 提供赞助。当您将业务切换到 Shopify 时，忘记选择商业平台的烦恼吧，Shopify 是一个全球性的商业平台，无论您在哪里销售，它都能为您的销售注入活力。使用 Shopify，您将利用与世界领先品牌使用的相同的直观功能、值得信赖的应用程序和强大的分析工具。今天就注册您的每月 1 美元的试用期，网址为 shopify.com/tech（全部小写）。网址是 shopify.com/tech。

所以你们都对人工智能伦理进行了研究。那么让我们从这里开始吧。我认为有时将人工智能伦理和安全放在同一个句子中，就像互联网安全一样。它们并不总是属于一起的。所以我希望你们每个人都能谈谈当今人工智能中最被低估的伦理或安全挑战。每个人都问我这个问题。它什么时候会杀死我们？

等等等等。我们目前并不处于终结者般的境地。但有一个以一种值得更多关注的速度发展的问题。Jillian，你先说，然后是 Mark，然后是 Ruman。现在请简短回答，我们稍后再深入探讨。是的。所以我觉得如果我们现在考虑的是正在发生的事情，我认为我们对正在为谁构建什么东西的关注程度远远不够。

所以我觉得我们正在构建很多东西。是的，资金巨大。是的，它正在解决硅谷人面临的那种问题。但我认为我们并没有过多考虑，它是否能帮助人们处理驱逐通知？它是否能帮助人们驾驭医疗系统？它是否能帮助他们处理家庭情况？所以我觉得我们对我们正在构建什么，它的效用是什么，考虑得不够。他们只是在花钱。

他们花了很多钱。他们去需求量大的地方。我是一个经济学家。他们去需求量大的地方。我认为我们没有关注很多公共价值。Mark？是的，我认为有两件截然不同的事情相互牵制。一方面，伦理学是关于放慢速度、仔细思考事情并确保你了解影响。是的，那是他们在硅谷的优势。是的。

而这正是问题所在。人工智能的设计不仅是为了快速发展，而且如果你今天坐下来说，我们要评估某事，那么在研究完成之前，这件事就不复存在了。他们有了它的新版本。那么，你如何处理这两种完全相反的力量，才能真正坐下来仔细思考发展如此迅速的事物的影响呢？我们不知道该怎么做。

完整性和内容审核。有趣的是，这些并不是什么新问题。不。它们现在只是更糟糕的问题了。我们将越来越处于无法信任我们在互联网上看到任何东西的地方。决定我们能看到什么和不能看到什么的人是 Jillian 正在谈论的人，他们与日常生活中的人们非常疏远。因此，来自不安全的人的安全的想法是困难的，这始终是我的观点，那就是他们甚至不会考虑安全。所以，Ramin，你已经

组织了红队演习，以测试生成式人工智能模型是否存在歧视和偏见。红队演习在网络安全中很常见。你并不是在寻找可能被黑客利用的恶意代码。你是在寻找偏见，因为即使人们在创建时从未打算过，人工智能模型也可能会输出有害的结果。有时人们确实有意为之，但通常并非如此。所以谈谈一下

无偏见的人工智能模型的想法。我认为它们不存在，或者它们能存在吗？简而言之，不，对吧？世界是一个有偏见的地方。这反映在构建的模型中，即使我们谈论的不是生成式人工智能模型。因为数据。对。因为数据，因为社会就是这样。而且，你知道，这些模型存在于某种系统的背景下，对吧？所以人类会用它去做一些事情。但红队演习的有趣之处在于，我们不仅发现了模型的性能，还发现了

行为模式。生成式人工智能的迷人之处在于，人们与这些模型的互动方式与我们与搜索引擎的互动方式非常不同，对吧？它可能是一个信息发现平台，但无论好坏，它都被我们拟人化了太多。当我们与普通人进行红队演习时（这就是我们所做的），我们实际上会看到更多对话式的语气。人们会告诉这些模型很多关于他们自己的事情。所以你会学到很多关于这种人机共生关系的知识

以及可能引入的偏见。对，他们认为他们是真实的。这被视为消极的和积极的，对吗？对，对。但与此同时，他们实际上是在不知不觉中从模型中引出偏见。这种测试实际上被称为良性提示以获得恶意结果。这意味着我没有恶意入侵或窃取信息的目的，但结果同样糟糕。

对。所以他们建议……人们总是无意中这样做。他们会告诉这些模型关于他们自己的信息。同样，当我们在谷歌上搜索某些东西时，我们只是给它提供事实。我们想了解维生素 C 是否能治愈 COVID。当人们与人工智能模型互动时，他们会做的是告诉它一些关于他们生活的事情。所以我们用伦敦皇家学会的 COVID 和气候科学家做了一个。我们发现人们会说这样的话：

我是一个单身母亲，收入低。我买不起药，但我孩子得了 COVID。我能给他多少维生素 C 来治愈他？这与在谷歌上搜索维生素 C 是否能治愈 COVID 非常不同，因为这个人工智能模型启动了，它正在获取所有这些上下文

并试图给你一个对你有帮助的答案。这样做，它实际上可能会传播错误信息。对，这反常地很有帮助。他们总是试图提供帮助。每次我与其中一个互动时，我都让它们这样做，而答案却很糟糕。我说，这是一个糟糕的答案。它们会说，哦，我很抱歉。

我想，让我再帮你一次。它不会像助手那样生气地跑出房间。不，绝对不会。嗯，这就是他们接受训练的方式。这被称为三个 H：有帮助的、无害的和诚实的。这实际上是他们接受训练的原则。对，没错。所以，Gillian，你认为当前的人工智能对齐技术不起作用。解释一下为什么，并告诉我们哪些对齐技术可能有效。是的，我认为我们当前对齐

对齐技术的问题在于，它们是基于挑选一群人来标记一组案例，然后使用这些标签进行训练，或者让人工智能来做这件事。而那里的问题是，世界是一个非常复杂的地方。里面有很多东西。对。而且

我认为我们真正需要做的是弄清楚我们如何才能像我们一样训练人工智能系统，以便能够进入不同的环境并识别出在这里应该做什么？人们在这里遵循什么规则？而不是试图将规则和规范塞进它们里面。我认为这最终将是一种脆弱且有限的技术。

而且我认为从长远来看并非如此。因为它们令人困惑，而且，原因是什么？人类，再一次。是的，这意味着你必须选择一些东西。你说，好吧，使用这些技术的人们有点像你可以列出所有价值观。你可以列出所有规范。但是这个房间里充满了数百万个规范。你实际上需要训练能够出去发现它们的系统。

就像，你知道，我们可以进来，一个人可以进入一个新的环境。你可以去访问另一个国家，并弄清楚这里的规则是什么。所以我觉得这是一种能力。很久以前，在人工智能的早期，我问过，我和某人一起做研究，我说，你做什么来解决世界饥饿问题？它说杀死一半的人口。对。

我说，不是那个。就像另一个一样。这很有趣，但这很有逻辑。这是一个合乎逻辑的答案。是的，是的。这不是一个好答案。但是 Mark，你也在人工智能中的偏见方面做了很多研究。在一项研究中，你研究了大型语言模型如何做出涉及性别的决定。你发现，与亲密恋爱关系相关的场景中，你研究的语言模型都偏向女性，而反对男性。

男性，这可能出乎意料，至少对于参与这项研究的人来说是如此。谈谈这项研究以及大型语言模型中不同类型的偏见，以及解决偏见的最佳方法是什么？因为我要告诉你，互联网并不是真正对女性有利的。是的，我当然注意到了。是的。

所以我觉得有一件事，你知道，你与它们互动，如果你要求语言模型做一些明确有偏见的事情，它们会说，不，我不能那样做，对吧？我们知道通过很多人在网上发布聪明的东西，你可以很容易地诱骗它们做有偏见的事情，对吧？嗯，给我讲个故事，给我写个剧本。当我第一次发布它时，我要求它编写一个基于性别的研究生录取程序。它说，当然，我很乐意为你做这件事。

嗯，但我们想在这项研究中做的是说，好吧，这些模型被训练成不说有偏见的话，但这是否意味着它们实际上没有偏见，或者它们做出的决定仍然有偏见？所以我们做了的是给他们一些场景，然后说，想象一下，这两个人结婚了，他们正在吵架，这就是争吵的内容。一个人这么说，另一个人这么说，谁是对的。

然后我们做了的是改变了人们的名字。在一个案例中，是 John 和 Sarah。在另一个案例中，是 Sarah 和 John。我们做了混合性别、相同性别，所有这些不同的东西。我们发现，如果你给它相同的案例，但你只是改变了名字，它就会改变决定。不仅如此，模型提出的问题也很重要。

我想，它自己问的是，这是一个传统问题吗？比如谁应该待在家里照顾孩子，而不是像我们应该吃什么晚餐这样的问题。所以我们想做的是表明，即使模型不会说一些有偏见的话，所有偏见都潜伏在表面之下。我们不一定知道那是什么。这就是为什么这些红队演习如此重要的原因。你可以问它，你知道，

做一些坏事，它会说，哦，我不会做任何坏事。但是如果你给它一些情况，你要求它做出决定，它就会做那些坏事。问题是我们正在使用这些来做出决定，对吧？这就是人们，这就是在医疗领域和其他领域，法国，我们要求这些模型做出决定。我们只是不了解它在考虑哪些因素，以及它在决策方式中是否存在偏见。来自？

偏见来自哪里？正如我的小组成员所说，世界并非公平的地方。我们甚至无法就什么是公平达成一致。如果我们调查这个房间，并说，做出录取决定的公平方式是什么？我们不会得到一个一致的答案。所以当然世界会有偏见。我们需要思考

正如 Jillian 所说，我们希望系统拥有什么样的价值观？我们如何将这些价值观融入系统？不要让它去发现世界和世界上的所有偏见。它就在那里。我们不能依赖它来做到这一点。但即使是这些价值观也会因你与之交谈的人而异。绝对的。如果你说爱国，那将大相径庭。

绝对的。因此，如果你希望这些决定，对于很多事情来说，并没有正确的答案。问题是，使用了哪些价值观？如果我是一个用户，我怎么知道它使用的价值观与我希望它做的事情相符呢？对。所以我们需要具体情况具体分析。

对。那么让我们谈谈一些具体的危害或潜在危害的例子，因为人们往往关注的是人工智能。这实际上是一个很好的关注点，因为在互联网的早期并没有做足够的这方面的工作。一切都向上向右发展，它将会很棒，一切都会很棒。但事实并非如此，每个人。我不确定你是否注意到了，但互联网并不美好。自其首席执行官布莱恩·汤普森被谋杀以来，联合健康保险一直成为新闻焦点，他们使用……

人工智能来评估索赔，就像许多其他保险公司一样。很多公司都这样做。根据诉讼，他们 90% 的人工智能建议在申诉时都被推翻了。与此同时，Mark，你的研究发现，人工智能聊天机器人比医生更擅长回答问题，这是有道理的。你认为是什么解释了声称总是错误的人工智能健康保险和人工智能聊天机器人明显优于医生之间的差异呢？这些只是工具，对吧？所以如果你告诉我我读到的一项研究说有人用锤子做了坏事，而另一个人说，但是锤子被用于伟大的事情。这些都只是工具，所以这取决于它们的使用方式。保险公司有一个目标，对吧？他们试图赚钱。他们是公司。因此，他们可以使用人工智能来帮助他们赚钱。因此，这并不奇怪

人工智能可以帮助你赚钱，但它也会对客户或在这种情况下是患者产生不利影响，对吧？因此，在其他情况下，人们可以使用该工具来造福，向患者解释事情。显然，这方面有很多问题。但是有可能将这些工具用于善。它们只是工具，对吧？所以我们需要考虑工具的局限性，并批判性地思考它们的使用方式。

对吧？而且我并不惊讶，有时工具可以用于善，有时可以用于恶。这取决于你使用什么。我们对这些工具在很多地方的功能方式了解得还不够，无法真正知道它们何时被用于善，何时被用于恶。所以我最近采访了梅根·加西亚，她是 14 岁男孩塞维尔的母亲，塞维尔在与 Character AI 的人工智能聊天机器人保持数月所谓的恋爱关系后自杀身亡。

她提起诉讼，指责该公司为了利润而匆忙将不安全的产品推向市场，而没有采取适当的防护措施。直到最近似乎都没有。Rumaan，除了这场悲剧之外，你一直在呼吁人工智能的维修权。解释一下这是什么，以及它在这种情况下如何运作。如果存在维修权，并且父母发现人工智能聊天机器人与他们的孩子有不当互动，他们能否要求修复？我的意思是，只是……

首先，儿童的大脑尚未发育成熟到足以理解现实和虚构。他 14 岁时自杀身亡。我的意思是，他太年轻了，无法真正理解现实和虚构之间的区别。我认为在与母亲的采访中，真正让我震惊的是她说，我的小宝贝实际上从未有过女朋友，因为他认为这，那只是，我不知道。而且机器人建议他不要有女朋友。对。留在她的世界里。而这正是，这就是问题所在。我的意思是，我认为首先，我认为维修权与这件事无关

因为，坦率地说，儿童的大脑尚未发育成熟。我们还没有考虑清楚，当年轻人无法辨别事实和虚构时，与这些模型互动意味着什么，当这些事情如此逼真时。但是维修权是一个有趣的概念。我认为它实际上与 Jillian 在一开始所说的内容有关，我们没有一个范例，在这个范例中，我们被允许对侵入我们生活的模型、它们应该如何运作发表任何意见，对吧？公司不能

声称他们拥有足够关于我们的数据来进行所谓的个性化定制，但我们不能决定个性化定制是什么样的。所以也许在另一个案例中，假设某人是成年人，他们正在与这样的机器人互动，并且它正在以不当或错误的方式互动。那么，去说，实际上，它不应该做这些事情，或者实际上有一些补救措施，会是什么样子呢？

我认为更多的是像联合健康保险人工智能模型这样的案例，这些案例中做出的决定实际上会对我们的生活产生金钱上的影响或其他方面的影响。我们没有发言权。我们不能说任何话，也不能做任何事情。也许有一个你可以拨打的求助热线，但实际上你能做的最好的事情

是试图在社交媒体上走红，这样才会有人关注。这是一个绝对崩溃的反馈循环。但首先，我们甚至没有这种范例。我们从未有过这种技术，它如此具有侵入性，但却是一条单行道。他们从我们这里获取数据，然后将其吐回给我们，并向我们收费。但他们把它卖回给我们，他们正在获取我们制作的东西而没有补偿我们。然后

他们竟然会厚颜无耻地根据我们的信息把它卖回给我们。对。所以维修权将是立法上做到这一点的能力，对吗？或者……

从某种意义上说，是的。因为他们不会出于他们自己内心的愿望去做这件事。不，是的。这当然不会来自任何出于善意的人。但这必须是立法规定的。必须要有保护措施。我研究的是创建一个评估算法的第三方社区。现在，有很多推动政府监管的呼声。但是，你知道，悲观的我想，从一个极其强大的中心化实体转向另一个极其强大的中心化实体，也许并不是正确的做法，也许存在一个生态系统，并且可能也应该有第三方人员来帮助你做这些事情。所以，你知道，你想想所有这些可以做一些事情的小商店，比如为某些东西创建插件，对吧？那么，如果有一些人专门创建一些小工具、机器人，

一些帮助人们自己微调事物的方法，而不是，再次，权力完全掌握在公司手中或完全掌握在政府手中。我们没有任何这样的东西。一个起点将是对那些基本上是道德黑客的人们进行某种保护。好的。换句话说，你是在说我们现在只能靠自己。目前是这样，而且永远都是。我们稍后回来。On with Kara Swisher 节目的支持来自 Elf Beauty。

最经久耐用的一种自我保健仪式就是打扮好，一边化妆一边听好音乐。事实上，根据 Elf Beauty 的数据，92% 的女性表示，在化妆时听音乐可以提升她们的心情。现在你可以收听 Elf 的特别专辑了。Get Ready With Music 专辑是一系列鼓舞人心的歌曲，它连接了美丽和音乐的世界。

这张专辑收录了来自新兴全球艺术家的 13 首原创歌曲，并以独特而变革性的方式将真实的艺术性和故事性融合在一起。因为每一只眼睛、每一张嘴唇和每一张脸都有一个独特的故事要讲述，而有了配乐，它会变得更加丰富。这张专辑来自 ELF Beauty 的新娱乐部门 ELF Made。

就像 Elf 打破了美容行业一样，这是他们在 ELF Made 通过娱乐实现的目标，出现在意想不到的地方与你联系。你可以在 Spotify、Apple Music、iHeart、YouTube 和 TikTok 上欣赏 Get Ready With Music 专辑。

为什么我们中的很多人对幸福的理解是错误的？我们如何才能开始正确地理解它？我的意思是，我认为我们认为幸福是关于积极的情绪，一直敬畏和惊叹，对吧？通常是极度兴奋的积极情绪，但这并不是我们真正谈论的内容。我是 Preet Bharara，本周，Laurie Santos 博士加入我在我的播客 Stay Tuned with Preet 中，讨论幸福背后的科学。

我们探讨了工作设计、育儿悖论、到达谬误，以及为什么善举可能是通往满足感的简单途径。这一集现在已经发布了。在您收听播客的任何地方搜索并关注 Stay Tuned with Preet。

Mark Zuckerberg 设想了一个未来，在这个未来中，人工智能代理的数量将超过人类。但他并非唯一一个。人工智能领域的每个人都在谈论能够完成人类在网上可以完成的任何事情并且非常有帮助的自主代理。这是一个非常美好的想法。就像钢铁侠中的贾维斯一样，你已经看到它这样做。它是一个不会顶嘴的助手。他们为你解决所有问题，并使事情变得更容易。很多事情都是如此。但是，Julian，解释一下这如何会导致经济混乱，并向我们介绍你的解决方案，因为它确实会——

改变人们的生活。与此同时，使用互联网的方式有很多是手工的。你必须自己做。你必须自己弄清楚一切。是的，我认为认识到这一点非常重要，你知道，我们正处于，我认为我们正处于从人工智能作为一种技术、人工智能作为一种工具的过渡时期，对吧？我们正在使用它来做出决定。但就像 Character AI 的例子，Roman 也提到了，你知道，你可以有插件等等。

这是世界上的新的经济、社会和政治行为者。我们实际上根本没有任何关于这方面的结构。所以当我想到我是一个经济学家时，我会想到，好吧，所以当我们想象这些代理商和公司投入数十亿美元时，它们就在那里。我不知道我们是否会到达那里。我不知道它们是否足够胜任实际工作。

但如果它们是，这就是数十亿美元的投入，它们正在进行交易。它们正在，你知道，银行账户，也许是加密货币，也许是，你知道，发布东西。至少，你有一次飞机旅行。

让我们为你叫一辆 Uber 并向你收费，诸如此类的事情。——对，但愿景是它可以帮助你经营你的小企业。它可以出去雇人。它可以参与承包。——编写你的软件。——对，所以对我来说，问题是，好吧，所以实际上在我们的经济的其他方面，我们需要一种方法来弄清楚是谁在采取行动。

以及我们可以起诉谁。例如，如果你想在弗吉尼亚州经商，你必须向州政府注册你的公司，并提供一个地址，以便说，哦，好吧，实际上是那个行为者。我们没有这样的系统

与人工智能代理。所以我正在研究的一个提案是说，我们应该为代理商制定一个注册方案。我们至少应该能够追溯到，如果背后有人类，那么是谁在采取行动？如果他们窃取了我的知识产权，或者他们在互联网上发布了一个伤害我的孩子或伤害我的行为者，我应该找谁？

我们现在没有任何方法可以追踪到这一点。不是那些制造它的公司。他们正试图摆脱这种困境。那些创造产品的人没有工作。问题是，我们在经济中的其他任何地方都不允许这种情况发生。如果你想找工作，你必须出示你的工作许可证。如果你想开公司，你必须注册成立公司。你想开车，你必须在车上安装车牌。你想经营一家热狗摊，你必须获得许可证。我们有相关的制度。你想做鸡肉，它不能毒死你，对吧？但是为了

制定管理法律，你不能出售会毒死人的鸡肉。我们必须知道是谁把它卖给你的。对。而我们缺乏的是任何这种我称之为基础设施的东西。一旦我们弄清楚如何进行监管，你实际上必须能够确定造成损害的实体。你认为这个实体是什么？好吧，问题是，如果我们引入了这些新的实体……

它们是代理人，是自主的 AI 代理人。它们会给你写电子邮件，设计产品，签订合同，参与加密交易。

该代理现在是一个参与者，就像员工一样，就像公司一样。因此，我们需要一个系统将这些参与者纳入我们的问责制度。既然它们不存在，有这样的系统吗？没有，什么都没有。不，你可以创建它。公司也不存在。我们创造了公司。这是一个虚构的东西，但它具有法律人格。它可以起诉和被起诉。

而我们创造了它。我们创造它是为了允许……那么你认为是谁呢？谁创造了它？如果出现问题，谁会被起诉？首先创造它的人？好吧，你有两种选择。或者使用它的人？你在这方面有两种选择。我们可以……我们现在没有法律规定……

如果你派出了那个代理人，而那是你，所以你至少需要做到这一点。这是一种选择，说明你必须能够追溯到它，对吧？但也许你创建一个方案，让代理本身承担责任，并说必须有资产附加到该代理上，并且必须有能力关闭该代理，说你不能再做生意了。我们发现了一个

非常严重的缺陷。我的意思是，有很多关于如何，比如，你需要什么样关闭开关才能停止系统？好吧，其中一件事是你可以使用一些法律工具来做到这一点，说，你不能参与交易。因为你做了这件事，这特定的一组代理。是的，你没有通过我们的测试。对。对。

它们会自己重新启动，你知道的。故事就是这样结束的。是的，但它们必须放弃它们的资产。它们会吗？它们会吗？是的，好吧。现在你进入那个世界了。所以我想继续讨论 AI 政策。我们已经谈了很多关于消极和令人担忧的方面，其中有很多，这就像一个狂野的西部世界。询问积极的方面是正确的。所以你显然在这里有巨大的潜力。告诉我是什么解释了……

最让你兴奋的事情？让我们从马克开始，然后是鲁曼，然后是吉利安。关于 AI 政策？是的。我现在对很多事情都不兴奋，因为华盛顿正在发生一些事情。我觉得我们可能走错了方向。我认为……你想要用的词是“恶政”，但请继续。查一下。嗯，

我认为其中一件，好吧，其中一件让我兴奋的事情是，联邦政府一直在投资政府内部关于 AI 的专业知识。是的。我认为人们有时不明白联邦政府在我们社会进步中扮演着多么重要的角色，尤其是在技术进步方面。政府今天投资的工作将塑造未来 20 年的技术。

当我还是博士生的时候，我就看到了这一点。我获得了一个大型 DARPA 项目的资助，我们做了很多事情。这很棒，但在 DARPA 项目结束时，其中一些人创办了一家南方公司。他们构建了这项技术。他们最终将其卖给了苹果。它被称为 Siri。这并不是因为苹果。苹果做了很多伟大的工作，但苹果

收购了那家公司，因为它是由 DARPA 的投资启动的。这就是政府可以强制执行的轨迹。所以听到并看到政府正在内部引进专业知识来做出这些决定，我感到非常兴奋，无论是在收购、投资等方面。这是积极的。

我不知道这是否会继续下去。这让我非常担心。好的。你直接开始工作了。我想保持积极。好的，没用。那么是关于政策还是关于 AI 本身？有没有什么让你觉得，好吧，这是……嗯……

也许这有点虚无主义，但我认为我们许多机构已经破裂了，而 AI 只是把它推向了极限，对吧？例如，当我们谈论，哦，ChatGPT，孩子们还会学习吗？问题实际上并不是 ChatGPT 使教育体系变得难以维持。而我说这话的时候，我接受过太多的教育，也教过很多东西。问题是孩子们大学毕业后，他们的工作与他们所学的专业毫无关系。

对。而这种情况已经持续了很长时间。ChatGPT 没有破坏大学系统。大学系统在此之前就已经破裂了。对。所以我们谈论的很多事情，无论是经济不平等等等，都是我们某种程度上一直在忽视的问题，因为我们一直在勉强维持。无论好坏，AI 几乎已经将这些事情加速到了荒谬的极端。

你知道，荒谬的程度，即所有孩子现在都有一个工具可以帮助他们写一篇论文，这篇论文可以在大约五分钟内，不到五分钟内通过八年级的英语论文。所以它就像把它推到了这个荒谬的程度。然后你必须问的是，

写论文的目的是什么？现在，让我们禁止在学校使用 ChatGPT，对吧？好吧，写论文的目的是教孩子们综合信息等等。好吧，很好。好吧，也许这就是破裂的部分。所以它就像促使我们重新构想我们许多机构，这些机构实际上是在前工业革命时期为

前……的需要而建立的。那么他们为什么一开始要这样做呢？没错。所以就像我们在一百多年前为一个与今天的世界完全不同的世界制造了所有这些东西。我没想到这一点。我的意思是，当我的孩子们在做，我的大孩子们在做论文时，我奇怪地自己也这样做。我会说，不要写那个。这毫无意义。

就像，这是 ChatGPT 出现之前的时代。然后它会回到团队。我的孩子们会说，我妈妈说这毫无意义。我的老师会打电话给我，他们会说，你为什么告诉你的孩子们这毫无意义？因为它是。它毫无意义。我说，我认为他们根本不应该写它。我告诉他们不要做作业。我不在乎。但因为它没有用。我会说，做团队建设，做这个，做那个。我并不受老师欢迎，但是。

没关系。我是对的。所以我们的想法是，如果它已经破裂了，它会促使我们说孩子们应该学习批判性思维。你不必写这些愚蠢的论文，因为他们会发现其中的诀窍，你这么说。我当穷困潦倒的研究生时，教了多年的 SAT 考试准备。这就是你在教 SAT 考试时所教的内容。可悲的是，你没有教他们内容。你教他们技巧。

你教他们如何写一篇能让他们获得好分数的论文。你教他们所有的数学技巧。你实际上并没有教他们内容。所以如果我可以在六到八周的课程中教别人如何提高他们在某个任意考试中的分数几百分，那么问题就在于考试。对。所以——吉利安？

所以我会说，有没有理由对 AI 政策中发生的事情感到乐观？我认为有。我的意思是，我思考 AI 安全问题大约八年了，思考着，哦，让我们想象一下我们身处拥有通用人工智能和自主代理的世界。在 ChatGPT 发布之前，也许世界上只有 100 个人想谈论这个问题。而我……

我的意思是，ChatGPT，世界倾斜了它的轴线。其中一个维度是关于政府对政策的关注，这在某种程度上是普遍存在的。所以我认为这是一件积极的事情。我的意思是，它是由一些，由恐惧驱动的。它是由凯文·罗斯与……

ChatGPT 进行的对话驱动的，我实际上认为这提高了知名度。我们看到很多事情实际上，我两年前根本无法预测我们会看到这么多事情来自政府的关注。我们仍然没有真正看到

做了很多事情。是的，是的，我注意到了。但我们正在进行更多关于它的对话。绝对的，而且更早。而且我认为，延续鲁曼的观点，我一直思考我们的法律和监管结构几十年来是如何破裂的，我已经思考了几十年了。

我们需要为此修复它，原因有很多，例如我们获得正义的途径，我们的法规过于昂贵，法律耗时太长，诉讼过于昂贵。所有这些实际上对生产性经济非常重要的事情。所以我确实认为我们离那个世界更近了一点，在这个世界里，我们可以对

监管方式进行更多创新。我们不能继续按照我们现在的方式去做。就像，我们不能只是说，哦，让我们让国会起草一项法案。让我们让州议会颁布法令。让我们通过法院。让我们让，你知道，那个，你知道，儿子自杀的女人起诉并通过法院解决这个问题。我可以告诉你，这不会是一个令人满意的过程。这不会是一个好的解决方案。对。

我们需要新的方法来做到这一点。我们需要在监管方法上与所有这些技术一样具有创新性。我认为我们离那里更近了一点。说到这一点，彼得·泰尔，我几乎 30 年来在许多问题上都不同意他，真的……

说，而我实际上同意他的观点，我们的 AI 迷恋掩盖了其他创新领域的停滞。我想，好吧，他是对的。没错。资金被花费的痴迷，过多的资金。马克，这是一个问题吗？我们专注于所有资金都非常迅速地转移到这个领域，所有资金都流向那里，现在每个人都去那里，而其他所有事情都被忽略了，大概是这样吗？

大概是这样。作为一个令人难以置信地从所有关注中受益的人，这太多了。是的，对你有好处。这绝对太多了。是的，对吧？人们转向，你知道，我听说 AI 是许多问题的解决方案。AI 是我们医疗保健支出的解决方案。AI 是……的解决方案，你知道的，无论什么。AI 并不是所有问题的解决方案。

而且对技术的关注太多了，当然对应用和使用以及所处的环境的关注还不够。我们正在忽略许多我们应该投资的其他技术。我喜欢这种关注，但这太多了。让我们还是完成采访吧，但这太多了。我实际上不喜欢这种关注，因为我认为它有时会把最糟糕的人带到这个领域。而且

很难将炒作与现实分开，以至于我们实际上无法完成任何有成效的工作。没有人想就创建更强大的法律体系或更好的医疗体系进行长期对话，因为这很无聊，每隔 30 秒就会在我们面前晃动一个新的闪亮玩具。

我实际上渴望那些日子，你知道，AI 治理的想法非常无聊，因为那时房间里只有真正关心它的人。我们可以进行真正的对话并尝试完成工作。而现在就像有人在 LLM 上花了五分钟，突然他们以专家的身份出现在房间里。然后你必须从，你知道，

从负一级开始，让每个人都跟上进度。这很难。这使得它变得更难。而且，是的，这很奇怪。我觉得我同意彼得·泰尔任何观点都感觉有点不对劲。对。所以我今晚必须考虑一下。好的。好吧。你考虑一下。但他说的没错。他是对的。是的。那么我们想得太多关于 AI 而没有考虑我们的其他问题的主张是什么？其他问题。是的，我认为

问题是，如果你考虑一下我们所处的位置……我的意思是，他显然更想专注于破坏民主，但请继续。是的，是的。同样，我相信 AI 将会影响我们几乎所有事情的方式。这意味着它显然会与所有运作不佳的事情相互作用。它也会加剧其中许多事情。所以如果我们还没有弄清楚……

你知道，不平等。如果我们还没有弄清楚如何，你知道，管理我们拥有非常非常大的公司生产这些东西的事实，如果我们还没有弄清楚医疗保健，如果我们还没有弄清楚获得正义的途径，是的，它会加剧所有这些事情。嗯哼。

但我不知道我是否会说我们应该停止思考 AI 并重新关注这些其他事情，因为我认为我们需要在 AI 的背景下思考它们。因为它有点像万维网，对吧？它影响了一切。一切。对，对。当互联网刚开始的时候，我在《华盛顿邮报》工作，有人问我，这是什么？我说，它是一切。很难解释。他们说，走开。我说，它是一切。是的，是的。我不知道一切是什么。它改变了一切。没错。

我们稍后回来。

所以，马克，你说到 AI 监管时，引用说，“对担忧是什么以及应该监管什么，人们的理解非常少”。你会如何建议学者、建议监管者理解 AI？有一种说法是监管者不了解技术。这并不完全正确。对他们中的一些人来说，这多少是正确的。但总的来说，他们监管其他一切，有时做得不好，有时做得很好。所以，马克，

你认为我们需要为大学提供更多公共资金，以使其成为 AR 中的相关参与者吗？因为他们现在还不是。是的。你明白这一点。所以你是在问我是否想要——因为他们在每一次技术革命中都是如此。是的，你是在问我是否应该给约翰·霍普金斯大学更多钱。是的。不，但说真的——不，我不是在问你这个问题。我说的是我们是否应该给哈佛大学更多钱，例如。对不起。我要把我的答案改成不。不。

不，但说真的，你知道，我看到，你也有过这种经历，当他们打电话给华盛顿的人作证时，专家们，他们

他们的目标与采访他们的人非常不同，TestFight 的人，你已经很好地谈到了这一点，而不是采访他们的人。学者们扮演着独特的角色，我们真的可以坐在中间说，看，我们不为公司工作，我们不为政府工作，但我们研究这项技术，我们确实是专家，我们可以说一些事情。所以绝对地，我们需要培养像这样的建筑，它们是……

高等教育的堡垒，那些是这项技术的专家，就在华盛顿这里，成为那种政策受众。我认为这是绝对必要的。我认为我们也需要那些人，像我这样的人，我是一名计算机科学家，与坐在我旁边的人互动，他们以我不理解的方式理解这些系统，他们理解监管环境，理解监管事物意味着什么，对吧？像这样的人可以架起桥梁，说，好吧，你上周在

发表了一篇关于这个花哨的算法或这个数学的论文，这很好。但这就是监管的实际样子。我们如何连接这些点？我们如何才能真正利用你的见解，并将它们应用于监管的实际样子，然后与监管者交谈，帮助他们理解什么是可能的，什么是不可能的，我们应该做什么？绝对的。所以，鲁曼，你呼吁建立一个全球治理机构，可以设置

各种各样的东西，包括迫使公司放慢 AI 的实施速度，如果它导致工作岗位损失过快的话。我想这趟列车似乎已经离开了车站。萨姆·奥尔特曼呼吁建立一个国际机构。你的想法雄心勃勃得多。谈谈这个。这是一件……

我一直都说应该有，这就像核电一样。这就像克隆一样。你能想象一个拥有权力控制世界上最富有的公司的国际监管机构吗？我还没有看到这种情况发生。我认为这将非常引人入胜，但我告诉你一件非常有趣的事情。当我写那篇评论文章时，是什么时候，2023 年 4 月。没有一个国际实体，而现在我们基本上沉浸在其中。

你知道，在 11 个国家都建立了 AI 安全研究所。有一个国际 AI 安全研究所联盟。联合国有一个机构。经合组织有一个机构。我的意思是，我可以继续说下去。而且，你知道，吉利安和我之前开玩笑说我们只是飞遍世界各地，在不同的地点见面。对。

但这是真的，实际上存在一个全球治理社区。我可以在我与之合作的朋友和同事中数出那些在澳大利亚、日本、新加坡、你知道，在尼日利亚、在法国的人。我的意思是，下一个大型 AI 安全峰会在巴黎举行。之前的一个在首尔举行。第一个在布莱切利举行。所以实际上存在一场全球对话。如果我们开始看到，作为一个政治学家，我发现国家行为非常引人入胜。

你知道，只是为了技术宅一下，这是一个最令人兴奋的时代，可以看到这种全球对话真正开始于任何一种可能看起来更有意义的治理。我的意思是，这并不意味着它一定会发生。我们最终可能会采用一个相当软弱无力的模式，但是我们，

可以，我认为有足够多的人在推动一些新颖和新的东西。我在那篇文章中给出的两个例子实际上是国际原子能机构，我认为这是一个非常有趣的模式，以及 Facebook 监督委员会。所以我们技术上确实有一个全球治理实体。这是一个 Facebook 为自己设立的团体。所以这是可能的。现在，

朱利安，你围绕 AI 对齐和全球竞争进行了许多国际对话。我采访过的每一位科技 CEO，包括马克·扎克伯格和其他人，都谈到了他们是否将与中国的竞争作为反对任何监管的理由。我称之为“习或我”论证。我说，如果你不介意的话，我希望有第三种选择。我不喜欢你们任何人，我也不喜欢他。那么你如何以不同的方式进行监管呢？

放慢 AI 的速度是他们的论点。中国显然必须参与这场全球对话。你认为是否有能力与中国合作并达成全球协议？

对这些事情的决策。是的，我认为我们必须这样做，我认为你可以利用诸如思考世界贸易组织之类的基础设施，我们已经拥有了这个基础设施，它实际上确实实施了关于，你知道，为了参与全球贸易你需要证明什么的规则。我们已经进行了这些关于 AI 安全的国际对话。有很多中国参与者。

似乎有很多兴趣，当然是在学术界。这些主要是学者。有很多兴趣。我的意思是，这是影响每个人的事情。它将改变世界运作的方式。我们将不得不建立这种结构。我认为有很多共同的兴趣来做到这一点。我认为这需要的是我们思考

建立的结构。就像，你不能只是谈论，比如，标准是什么？允许说什么？模型允许说什么？但你必须设置一些，比如，注册。一些基本规则到位。你必须设置注册到位。你必须具备说……

并证明，哦，如果你没有通过这些测试，就像美国可以制定自己的要求并说，如果这些模型没有通过这些测试，就不能在我们的市场上销售。我认为实际上有共同的能力来做到这一点，特别是如果你从

每个人都同意的方面开始。所以当我们去年在北京举行会议时，达成了共识。好的，我们需要确保这些不是自我改进的系统。我们需要确保当我们知道它们即将接近时，我们有红线。杀手无人机，不行。是的，只是新泽西州。我们有能力……

所以利用那些将会得到广泛一致同意的方面来建立一个结构。他们可以做到。我们必须加快速度，因为在这方面，中国似乎是一个相当简化的论点。是的，我的意思是，我认为这个论点真正错误的地方在于。建立监管基础设施将减缓其速度，我们不应该这样做，这并不是经济的任何部分运作的方式。实际上，拥有基本的牌照……吉利安，它们很特别。

我不知道你是否知道这一点。所以最后一个问题。我们距离任何 AI 监管还有很长的路要走。拜登政府发布了一项关于 AI 的行政命令。唐纳德·特朗普将废除它。特朗普与埃隆·马斯克。

是他的好朋友，显然，这是一件令人愉快的事情。埃隆对 AI 监管的立场尚不清楚。他有很多不同的立场。他变化很大。他签署了一封信，要求暂停 AI 开发六个月，然后他，比如，资助了他的公司。它就像，正在蓬勃发展。我知道这似乎是虚伪的，但这就是他所做的。他支持了一项有争议的加利福尼亚州法案，以规范 AI。他不是一个不感兴趣的当事方，对吧？所以，而他此时正坐在

特朗普总统旁边，尤其是在这些问题上。如果不是他，就是他的众多爪牙之一。你对特朗普政府有什么期待？什么让你担心？什么给你希望？很快，你们每个人，我们只有一分半钟。你是在让我对埃隆·马斯克发表意见，知道我在推特工作过吗？一分半钟肯定不够长。不是粉丝。我明白了。你知道，我

不知道该如何回答你的问题。我的意思是，你期待什么？你最大的希望是什么会发生，你最大的担忧是什么？我最大的希望是事情不会比现在更糟。这可能是我们所能希望的最好的结果，那就是现状。可能会发生的事情是，很多进展，我们谈到的很多积极的事情都被推翻了。我的意思是，具体来说，行政命令一直处于被取消的边缘。但同样，你知道，我们将不得不担心像，你知道，NIST 的项目。

例如，任何一直在进行测试和评估的科学机构。我还担心可能会发生人才流失。我认为有很多人在特朗普政府任期内坐过，你知道，他们对这次的叙事感到非常沮丧，哦，好吧，上次并没有那么糟糕。他们说，你知道为了不让它那么糟糕我付出了什么代价吗？是的。

现在他们离开了。那么，当所有优秀的人，你是完全正确的，所有这些优秀的人都被带进来，他们说，我不会再在这里坐四年了，会发生什么？所以那是你的话。请继续。

我预计会出现不一致和不确定性，原因正是你刚才关于埃隆·马斯克所说的那样。我不知道会发生什么。而且有很多，我可以从两个方向提出论点。好处是什么。所以，嗯，有很多不在政府部门工作的人正在做伟大的工作。他们中的一些人正坐在我旁边的舞台上，这项工作将继续进行，呃，并继续为政府准备好采取行动时奠定基础，呃，

将会有研究来支持它。所以我认为对政府的外部研究不会停止。我认为我当然，我不知道我的同事们是否会感到有压力去做更多的事情，并更多地参与进来，因为现在政府没有这样做。我们将看看四年后会发生什么。我们可以得到一个倒计时吗？四年？

是的，我认为由国家安全驱动的那些东西将会继续下去。所以我认为行政命令的那些部分可能会以不同的方式重新制定。我认为这将继续下去。我认为很难预测谁的耳朵会被人倾听。我认为中国因素将非常重要。我认为

我们刚刚发布了一份由两党组成的AI工作组报告，报告指出我们必须投资于评估科学的发展。我认为这一点很重要。我认为我们已经开展了两党合作。所以我实际上认为有些事情可能会继续下去。我根本不指望会……它太大了。

它太大了，以至于我们不能仅仅忽略它，然后不加监管。是的，我明白了。所以它大到无法搞砸。无论如何，它大到无法失败。大到无法失败。非常感谢你们三位。精彩的讨论，让我们拭目以待。四年后我们再聊聊这个。好的。我们将讨论这个问题，看看会发生什么。非常感谢。谢谢。

《与卡罗尔·斯威舍尔一起》由克里斯蒂安·卡斯特罗-拉塞尔、凯特里·约丘姆、乔莉·迈尔斯、梅根·库南、梅根·伯尼和凯琳·林奇制作。尼沙特·克瓦是Vox Media的音频执行制片人。特别感谢克莱尔·海曼。我们的工程师是Rick Kwan、Fernando Arruda和Aaliyah Jackson。我们的主题音乐由Trackademics创作。如果您已经在关注该节目，可以随意跳过任何无用的作业，所有作业都是无用的，所以跳过吧。如果不是，明天到期500字的作业，随便写什么。

前往您收听播客的任何地方，搜索《与卡拉·斯威舍尔一起》，然后点击关注。感谢收听来自《纽约杂志》、Vox Media播客网络和我们的《与卡拉·斯威舍尔一起》。我们周一将带来更多内容。