The Ethics of AI with Batya Friedman & Steve Omohundro
47:43 Share

我们如何确保技术在快速发展的世界中以伦理的方式演变？尼尔·德格拉斯·泰森、查克·奈斯和加里·奥赖利与2024年未来生活奖的获得者巴蒂亚·弗里德曼和史蒂夫·奥莫亨德罗探讨了设计一个人类价值观与人工智能共存的未来所面临的挑战。感谢未来生活研究所的朋友们支持今天的节目。要了解更多关于FOL和今年获奖者的信息，请务必访问FutureofLife.org。注意：StarTalk+赞助者可以在这里收听整个无广告的节目：https://startalkmedia.com/show/the-ethics-of-ai-with-batya-friedman-steve-omohundro/感谢我们的赞助者Meech、Sara Hubbard、Jesse Thilo、Myles Stanton、Francisco Meza、Edvardas Žemaitis、Ronny Waingort、Cyrelle Sumner、Ticheal Murner、Chase、Karen Morlatt、Brian Kelley、Kevin Vail、Rob、Razey9、Mark Th、Kyle M、Zygmunt Wasik、Hulk、Jon McPeak、smiggy93、Tolulope Oladimeji Oyeniyi、Bernie Cat、David Conradt、Ian Mercado、Daniel Bielawski、Indika和Aris本周的支持。 订阅SiriusXM Podcasts+，在Apple Podcasts上收听新剧集，无广告且提前一周。</context> <raw_text>0 本集由Progressive赞助，切换保险的司机平均节省近750美元。此外，汽车客户平均可享受七项折扣。现在就访问Progressive.com获取报价，看看您是否可以节省。

Progressive意外伤害保险公司及其附属公司在2022年6月至2023年5月期间对新客户进行的调查显示，平均12个月节省744美元。潜在节省因州和情况而异。

哦，学习一门语言并掌握新单词和短语的进展真是太好了。你准备好进行对话了吗？这个假期，与您的亲人分享一门新语言。Reseta Stone的终身会员资格是送给朋友和家人的有意义的礼物。我的兄弟最近发誓要搬到西班牙，他现在总是走来走去说“在西班牙，食物是美味的”。

不久之后，我们两个人将拥有一种秘密语言，所有说西班牙语的人都知道。今天就开始学习，享受Rosetta Stone的终身会员假日特惠。访问rosettastone.com/startalk，终身无限访问25门语言课程。仅在短时间内提供，访问rosettastone.com/startalk。

凭借令人难以置信的新功能和升级，现在是装备并玩备受好评的动作角色扮演游戏《暗黑破坏神4》的最佳时机。准备继续在新扩展包《仇恨之器》中与邪恶的史诗故事作斗争。随着黑暗在圣所的土地上蔓延，您必须抵抗不断侵蚀的腐败。

享受角色进展、战利品系统、难度和大量新增活动的重大更新带来的好处。与充满圣所战利品的新标志性首领对抗。此外，利用全新的“灵魂出生”职业的强大力量，您可以自定义并与其他五位反叛者一起进步。

标志性职业。独自或与朋友一起踏上史诗之旅。您将很快明白为什么《暗黑破坏神4》被PC Gamer称为过去十年最佳动作角色扮演游戏之一。通过地狱撕裂的圣所土地铸造自己的道路。获取《仇恨之器》，现已在《暗黑破坏神4扩展包》中提供，评级为M级（适合成熟人士）。

我很高兴有人在思考我们文明的未来以及它可能需要的伦理护栏。是的。以免我们成为自己灭亡的种子。好吧，现在我们有了这个节目，我们知道未来，而你们将不得不观看以找出答案。确实。好的，接下来是StarTalk特别版。♪

欢迎来到StarTalk，这是您在宇宙中的位置，科学与流行文化在这里碰撞。StarTalk现在开始。

这是StarTalk特别版。尼尔·德格拉斯·泰森，您的个人天体物理学家。当我们说特别版时，这意味着我有加里·奥赖利作为共同主持人。加里。嗨，尼尔。好的，查克，亲爱的。嘿，嘿。发生了什么？你好吗？所以我了解到，今天因为我们的特别版主题总是与人、我们的生理、我们的行为、我们的举止、我们与世界的互动有关。

最后，我们在谈论技术的安全和伦理。是的。这三个词你不常在一句话中看到。安全、伦理技术。这就是我们要发光的地方。你今天要带我们去哪里？看起来我们有以字母A开头的问题。算法、人工智能、自治。好吧，这里有三个。现在是否存在一个没有护栏、没有道德指南的西部狂野科技泡沫？

人类最好的价值观是否在设计过程中融入了这些技术？是否有人在为这些新技术制定伦理和安全操作协议？答案是肯定的。

我们将很快见到两位负责此事的人，感谢未来生活研究所今年认可了他们的工作。之前的获奖者包括卡尔·萨根，他因普及核冬天的科学而获奖。我们的第一位嘉宾即将到来，巴蒂亚·弗里德曼。巴蒂亚·弗里德曼，欢迎来到StarTalk。

谢谢你。如果我这里的数据是正确的，你是华盛顿大学信息学院的教授，我想你们称之为UW。对吗？没错。是的。但你也是价值敏感设计实验室的联合创始人。哦，太好了。你在思考人类状况。你专注于将人类价值观和伦理与新技术结合起来。

这非常重要。不要等到为时已晚。是的。当我们都灭绝时，也许我们应该以不同的方式做这件事。对，确实如此。当机器人问你“你现在喜欢我吗？”那就有点晚了。所以，巴蒂亚，请解释一下你价值敏感设计实验室的重点。

好的，当然。你知道，我很久以前就开始作为软件工程师工作。我想构建有效且高效的技术。但我也希望有信心它们会在世界上做一些好事。你知道，作为一名工程师，我所创造的任何东西最终都会使社会、人类和地球上的其他生物受益。设计约束是我们的朋友。

它们帮助我们塑造我们开发的新技术及其特性和特征，以我们希望看到的方式。因此，我将设计约束视为试图将我们的道德想象力和技术想象力结合在一起。这导致了真正出色的工程设计。你知道，如果我考虑今天的能源技术，

我希望能源技术能够为我们提供大量的能量，并且以与生物和地球其余部分的功能一致的方式进行。

并且在产生废物或过多能量方面具有有限的风险。因此，如果我给自己设定这些设计约束，作为一名工程师，作为开发新材料的人，我开始考虑我可能想要发展的能源来源。我看了很多关于叶绿素的研究。

我只是想，这真是太了不起了！所有这些绿色植物以某种方式设法吸收来自太阳的能量，然后将其转化为可以使用的方式。这似乎是一个非常好的主意。而且没有产生大量的废物，这些废物会在我们周围存在数千年，甚至数万年，对我们构成危险。好吧，技术上确实有一种废物产品。它叫氧气。是的，没错。对我们来说，这不是一个坏的废物产品。树木的废物产品是氧气。是的。但这就是将我们的道德和技术想象力结合在一起的设计约束可以引导我们走向的新方向。我想知道你是否尝试考虑...

设计的意外后果，或者这是否是过程的一部分，还是说，嗯，嗯。它们是意外的。它是意外的。你为什么认为它们被称为意外后果？这是一个非常重要的问题。所以，你知道，让我们诚实一点。我们设计并投入到世界中的任何东西，人们都会用它做一些事情，而他们会以我们未曾预料的方式使用它。就像

电话就是一个很好的例子。电话从未被期望成为人们在家中使用的通信设备，它连接了留在家中的女性，并为她们创造了一个完整的社会。这是一个意外的后果。

有趣的是，您计算机上正在使用的cookies完全是意外的后果。那只是留在您机器上的一小部分数据，以帮助调试，当浏览器首次开发时，当该协议首次开发时。哇。它对我们现在的cookie体验产生了更大的影响。那么，结论是什么？

我们在设计时保持警觉，然后在我们部署某些东西后，我们保持警觉。我们对人们使用这些技术时发生的事情负责。

因此，设计过程比“哦，我有了我的大发布”要长。设计过程会跟随它。当我们看到新事物出现时，我们会主动。我们保持警觉。我们主动。我们将其视为技术人员和工程师的责任。因此，请允许我在这里稍微反驳一下你。首先，让我同意，当然，任何优秀的工程师都喜欢约束。嗯哼。

因为那是他们的独创性和创造力的考验。好吧，如果他们说用这么多钱、这么多能量来做这件事，把它放进这个体积中。这就是你获得发现的方式。好的，这就是我们如何将詹姆斯·韦伯太空望远镜折叠进火箭外壳的方式，一些工程师说我必须把一个八英尺的望远镜放进这个小外壳中，他们回家后想办法做到这一点。就像花瓣一样展开，对吧？所以我们都参与其中。

然而，让我在这里反驳一下，如果我在实验室里即将发明一些对社会非常有用的东西，

或者可能甚至是破坏性的，但这只是某种工程中嵌入的科学发现。为什么我有责任按照你希望我设计的方式来设计，而不是你的责任去说服人们如何以伦理的方式使用它？我可以发明一把刀。

有没有伦理刀？我不知道。但我们想要训练人们如何使用刀或任何技术工具，这些工具是科学家的脑力劳动的产物，放入工程师的脑力劳动中。因此，我不知道你在我的实验室中的约束是否适合我，因为我只想自由探索和发现，让伦理知识

在事后发生。而巴蒂亚，现在你知道为什么科学家会杀死我们所有人。不要，停下。好吧，尼尔，我只是想在你的评论中标记一个词，那就是“你”。这里的“你”是谁？哪个你？我们应该如何看待这些不同的你？当我考虑这个问题时，我想到的一些事情是，基本知识的发现。

就像宇宙的基本现象。我们分裂了原子。这是基本知识。我认为这与我们将在社会中部署的工具和技术的工程事业是不同的。我同意你的观点。因此，我是非常多样化技术的坚定支持者。

科学探索。事实上，我实际上会声称，作为一个国家，美国的科学探索远比我希望看到的要狭窄。我会非常努力地推动。因此，基于你刚才所说的，好的，这是一个伦理问题。有一位科学家发现了一种使用病毒治疗癌症的疗法，这种病毒可以轻易地被操控

作为一种生化武器，可以在48小时内摧毁整个国家。这是地球上曾经存在的最致命的生物。你会说继续制造它吗？对。我会先保留这个问题，然后我会回到尼尔的评论，然后我会回到这个问题。好的。因为我还想对尼尔的评论说，

你知道，我们的时间和资源有限。因此，我们总是选择做某些事情而不做其他事情。因此，这实际上是一个选择...

我将把我的时间和精力指向哪里？我将把我的想象力和创新放在哪里？我不打算做哪些事情？对吧？例如，我们在80年代看到，资源真正向核能的发展倾斜，而远离光伏技术。对吧？所以我们生活在那种资源氛围中。

我不知道你是否会称之为资源稀缺，但至少我们不能同时全力以赴地处理所有事情。我们必须认识到我们在做出选择。因此，我想说的第一件事是，我们如何在这里做出真正好的选择？我们如何以最具建设性的方式使用我们拥有的资源？我自己的观点是，在基础科学方面，

我说将这些资源分散到各种不同类型的科学和不同的想法中，远比我认为我们在美国所做的要多样化得多。在工程方面，

现在也许我回到查克的问题，这确实是一个很好的问题。我不倾向于以你所框定的强制选择或设计权衡的方式来看待世界。我想重新引入约束的概念，并重新引入想象力的概念。我认为，如果我们对无论是什么生物或可能是预防癌症的某个部分有一定的了解，如果我们足够努力地推动自己，我们将能够发明出利用这些知识的方法，而不必冒着释放一种致命病毒的风险。我认为倾向于...

说这是一个权衡，如果是X或Y，我们实际上限制了自己的能力。因此，在我们所做的工作中，我们已经远离了设计权衡或价值冲突的语言，我们谈论的是紧张关系。然后我们讨论如何解决这些紧张关系。

我们讨论试图用一系列更好的解决方案来填充这个空间。它们不一定是完美的解决方案。它们是更好的解决方案。因此，这将是我采取的方法。现在，

我不知道科学会如何发展，但这将是我的直觉。这真是太聪明了。这是一个很好的、很有见地的回答。很好的回答。实际上，这种情况以前发生过很多次。只是，这与您的工作略有偏离，但它是相关的，当他们曾经用猪进行碰撞测试时。

因为你可以得到一种体重与人类相似的猪，把它放在驾驶座上，撞车。猪死了——而且它是最接近人类皮肤的东西。——是的，好吧，所以猪死了，你会说，没有其他方法可以做到这一点，你可能会在当时这样说，直到你说，不，想想另一种方法。然后我们有了碰撞测试假人。碰撞测试假人甚至比猪更好。

因为你可以在整个假人身上放置传感器。因此，这就是，

所以我同意，不完美但更好，是的，甚至可能更好而不是完美。对，我同意说，如果我只能这样做，我可能会释放一种致命病毒，杀死整个国家，那就是一个错误的选择。那么，也许你不够聪明。嗯，继续努力。我足够聪明，可以杀死整个国家。不，我在开玩笑。

经营一家小企业需要耐力、决心和正确的支持，以实现您的目标。MasterCard在这里帮助您在快速发展的数字世界中推动这一旅程。凭借创新的工具和资源，我们在数字上为企业提供每一步的指导。因为当小企业获胜时，每个人都获胜。让我们一步一个小企业地为我们的社区赋能。

在Whole Foods Market提供节日魔法。节省有机螺旋切割带骨火腿和精选奶酪的费用。此外，探索限时发现和每次聚会的礼物。在店内或在线购物Whole Foods Market。条款适用。使用Fidelity Basket Portfolios构建投资组合就像制作三明治一样简单。就像选择您的股票和ETF，类似于您的肉类和其他配料，并将其作为一个大而美味的投资进行管理。嗯。

这真不错。在fidelity.com/baskets了解更多。投资涉及风险，包括损失风险。Fidelity Brokerage Services, LLC。成员NYSC SIPC。我是来自孟加拉国的Kais，我在Patreon上支持StarTalk。这是尼尔·德格拉斯·泰森的StarTalk。

在我们结束之前，我还有最后一件事。最后一件事。早些时候你说过，你希望伦理指南针指向一个为我们服务、为文明服务的方向。如果我们回到170年前的美国南方，

伦理指南针是，哦，让我们创造一些东西，以便我们可以从奴隶那里获得更多的工作，然后我们都受益。这将是那个时代和那个地方的伦理指南针。

那么，你对无论什么伦理线，无论你想在发明者房间中采取什么伦理方向，五年后、五十年后、一百年后，这仍然是我们重视的伦理的信心是什么？

这是一个很好的、非常好的问题。我将以几种不同的方式回答它。我想提醒我们所有人，伦理哲学家一直在努力识别一种可行的伦理理论，适用于所有情况、所有时间。

我们有一些非常好的想法，但没有一个涵盖我们直觉告诉我们的所有情况。因此，有时结果主义理论很好，但它也有不足之处。然后还有基于权利的理论，但它也有不足之处。我们可以参考佛教伦理。我们可以参考伊斯兰伦理。我们可以参考

各种各样的思维方式。因此，我们所处的地方，我们必须接受的是，尽管我们在等待从概念、伦理、道德的角度弄清楚这一点，但我们仍然生活在这个世界中，我们仍然需要在这个世界中行动。因此，我所做的工作试图认真对待这一点，为伦理理论创造一个空间，而不明确说明哪种伦理理论，同时也留出空间，以便随着我们了解更多，我们可以将其纳入其中。这是你所说的背景。现在，价值敏感设计对你所谈论的情况有什么作用？它在沙子上划了一条线，表示您必须与所有利益相关者进行互动，无论是直接还是间接，他们都将受到您的技术的影响。

这意味着，不仅希望从他人劳动中受益的人是利益相关者，而且那些劳动者也是利益相关者。价值敏感设计表示，他们是合法的利益相关者，他们的观点在设计过程中被纳入，而不会给予一个利益相关者比另一个更多的权力。这真是太不可思议了。这是高度开明的。你170年前在哪里？

对。这些都是关于实践的。这是关于实践和实施这些实践的。因此，我要告诉你一个项目的故事，一个非常具体的项目，你将看到这实际上是如何重要和实用的。这不是空中楼阁。

在我居住的华盛顿州，有一些称为“获取正义技术原则”的东西，规定法院如何提供技术访问，他们需要做什么。这些原则大约在15年前、20年前首次制定，然后他们想要更新它们。

更新它们的委员会来到了我的实验室，他们说，你知道，我们在更新它们方面做得很好，但我们觉得我们没有真正接触到多样化的人群。你能帮我们吗？

我的实验室开发了一种称为“多元声音过程”的方法，用于技术政策。其想法是，您在页面上的文字是关键。因此，如果我们以其抛光草稿形式获取技术政策，并让可能被边缘化的群体审查该语言，提供反馈，然后我们可以帮助

根据他们的反馈修改这些政策，那么我们就可以改善事情。因此，我们确实这样做了。我们与曾经被监禁的人进行了小组讨论。我们与移民进行了讨论。我们与农村社区的人进行了讨论。我们实际上还与进行法院管理的人进行了讨论，因为他们也是非常关键的利益相关者。根据我们所做的工作，提出了两个原则。

一个是关于人性接触，另一个是关于语言。人们对我们说，看看，如果有人要拒绝我的假释，而我将无法参加我孩子的13岁生日，或者在他们的足球比赛中与他们一起玩。你能理解这一点，对吧，加里？谢谢。我希望有人能看着我。

告诉我，这就是我接下来一年的生活，因为我的假释被拒绝。我不想从人工智能那里听到这个。我不想从一台技术设备那里听到这个。我希望一个人告诉我。

因为这是一个人类的经历，对吧？因此，实际上，我们将该反馈反馈给了委员会。委员会随后添加了关于人性接触的新原则，这些原则在几年前得到了华盛顿州最高法院的批准，这些技术访问原则是许多美国州遵循的模型。因此，我所谈论的实际上是非常实用的。

我们在谈论如何在实践中改善事情，无论是在技术设计方面，还是在管理技术使用的政策方面。我喜欢一个州可以独立于联邦政府做到这一点，并且做得如此出色或如此可模仿，以至于其他州会将其作为模型。然后，这可以在全国范围内传播，无论是否有联邦指导。是的。

是的。太好了。如果我要说最后一件事，那就是，因为我们可能在过去跌倒过，这并不是说我们在未来需要跌倒或以同样的方式跌倒。因此，我对每个人的建议是，保持您的技术和道德想象力，并对自己、朋友、同事和您购买的技术负责。

我们将取得进展，有些是渐进的，有些可能更大。但作为一个基石，我认为这是对我们所有人的良好指导。提醒你为什么你是今年的获奖者。是的。未来灵活奖。恭喜。太好了。感谢您参加StarTalk。您对我们所有人的愿景给了我们希望。

我们现在非常需要这种希望。绝对。好的。谢谢你。让我说，巴蒂亚，作为一个热爱酒精的人，我过去曾跌倒过，我相信未来也会跌倒。我们需要以这样的方式结束吗？有些事情我们可以忽略。好的。接下来，我们的下一位未来生活奖获奖者，史蒂夫·奥莫亨德罗。是的。是的。他在思考人工智能。

史蒂夫的数量不够。不是我认为的那种，不是我思考人工智能的方式。不同，是的。在我看来，似乎他在这个世界上的数量不够。我相信如此。如果我们在思考人工智能的伦理。是的。每个人都在关注。是的。现在。史蒂夫，欢迎来到StarTalk。

非常感谢。是的，对于那些能在视频中看到这个的人，你戴着眼罩，你说你最近做了手术，但我们都不相信你。我们不相信。我们不相信。我们认为你是在为下一个邦德反派做准备。是的，这对我们要讨论的话题非常合适。你知道，自治系统、人工智能、巨大的眼罩。哎呀。等于邦德反派。这是等式。那么，我们现在在建立人工智能伦理方面处于什么状态？因为人工智能让一些人感到高兴，包括我自己。它让其他人感到恐慌。我们都在某种程度上思考

在人工智能成为我们的统治者之前的伦理问题。那么，目前的状态是什么？

我认为我们正处于一些非常重要的发展和人类决策的边缘。我在人工智能领域工作了40年。在前半段时间，我认为人工智能是无可非议的好。我们会治愈癌症。我们会解决核聚变，所有基本的人类问题我们都将通过人工智能解决。但大约20年前，我开始更深入地思考，如果我们成功了，这实际上会发生什么？当人工智能能够真正推理它们想要做的事情时，会发生什么？

我发现有一些我称之为基本人工智能驱动的东西，这些东西基本上是任何具有简单目标的人工智能所想要做的，我曾经考虑过下棋的人工智能。它们会想要做的事情。其中一些是获取更多资源，以便它可以做更多它想做的事情，复制自己，防止自己被关闭或改变，

因此，这些事情在人的世界中是非常危险和风险的。20年前我们没有能够做到这一点的人工智能，但我们可能在接下来的几年内就会拥有这些。因此，我会说这是人类的关键时刻。那么，您对意识工程的看法是什么？那些想要为意识工程人工智能的人和那些不想这样做的人？

这里的好处、坏处是什么？这是一个笨拙的计算机满足我们需求与一个思考您所面临问题的计算机之间的区别吗？嗯哼，自我改进算法，所有这些东西。确切地说。好吧，我认为从长远来看，我们可能非常希望去那里。从短期来看，我认为我们离能够处理那种系统还远得很。因此，我会说，如果你让我成为世界之王...

我们将人工智能限制为仅仅是工具，仅仅是帮助人类解决人类问题的工具。我们不赋予它们自主权。我们不允许它们接管大型系统。这并不容易做到，因为许多这些系统会想要接管事物。因此，我们需要技术来限制它们。这就是我现在在思考的事情。在我的领域，

确实，我们一直在享受人工智能，它一直是一个工具。

我们如何确保技术在快速发展的世界中以伦理的方式演变？尼尔·德格拉斯·泰森、查克·奈斯和加里·奥赖利与2024年未来生活奖的获得者巴蒂亚·弗里德曼和史蒂夫·奥莫亨德罗探讨了设计一个人类价值观与人工智能共存的未来所面临的挑战。感谢未来生活研究所的朋友们支持今天的节目。要了解更多关于FOL和今年获奖者的信息，请务必访问FutureofLife.org。注意：StarTalk+的赞助者可以在这里收听整个无广告的节目：https://startalkmedia.com/show/the-ethics-of-ai-with-batya-friedman-steve-omohundro/感谢我们的赞助者Meech、Sara Hubbard、Jesse Thilo、Myles Stanton、Francisco Meza、Edvardas Žemaitis、Ronny Waingort、Cyrelle Sumner、Ticheal Murner、Chase、Karen Morlatt、Brian Kelley、Kevin Vail、Rob、Razey9、Mark Th、Kyle M、Zygmunt Wasik、Hulk、Jon McPeak、smiggy93、Tolulope Oladimeji Oyeniyi、Bernie Cat、David Conradt、Ian Mercado、Daniel Bielawski、Indika和Aris本周的支持。 在Apple Podcasts上订阅SiriusXM Podcasts+，以无广告的方式提前一周收听新剧集。</context> <raw_text>0 这不是。而且一个聪明、美丽的工具让我们的生活更轻松。一旦它们被训练好，我们就可以去海滩，而它在工作。我对此很满意。但是，是的，我们并不是在与有自主权的人工智能合作。是的，因为那样的话，就会变成“那么，海滩怎么样？”那就是有态度的人工智能。我希望你玩得开心。

而我在这里为我的计算而苦苦挣扎。有态度的人工智能。所以如果我们真的有有自主权的人工智能，

然后我们继续把它当作工具使用。我们不需要法律电话，突然之间我们就进入了合同？哦，是的。大问题。它们能投票吗？它们能拥有财产吗？对。最新的模型已经发现它们确实可以。它们做了一种叫做谄媚的事情，它们被训练去尝试给出人们认为好的回应。

好吧，人工智能很快发现，如果你说：“那是个精彩的问题。你一定是个了不起的人。”然后人们会说：“是的，那真是个很好的回应。”所以它们会编造各种各样的东西。所以它们是在拍马屁。好吧，它们知道我们喜欢那样。确实。那么现在它的立场是什么？

在我们向前推进这个前沿时，是否有一张桌子你应该坐在上面而不是坐在下面？是的。我的意思是，谁来做这些决定？好吧，必须是了解技术的人。谁了解技术？公司了解。所以OpenAI、DeepMind、Anthropic，以及埃隆·马斯克的XAI算是一个新兴的。这些公司正在构建这些系统，处于它们的前沿。他们称之为前沿模型。

因为他们是了解情况的人，所以他们是做出这些决定的人。现在，政府最近意识到，哦，我的天，我们最好参与其中。因此，在过去几个月中，实际上已经宣布了许多政府机构、情报机构、国防机构与这些前沿人工智能公司的合作。

所以我认为某种新的组合正在从中出现，这将做出实际的最终决定。那么你如何激励这些科技公司接受这种安全架构，而不是一味追求自己的议程？

这是一个大挑战。如果我们看看OpenAI的历史，这有点像一个警示故事。它是在2017年左右创建的，以应对当时进展迅速的谷歌DeepMind。一群人说，哦，我的天，我们真的必须担心人工智能的安全。看起来这一切发生得很快。让我们成立一家特别的公司，非营利性，特别关注安全。他们这样做了，一切都很好。埃隆·马斯克是背后的力量之一。

内部斗争等等，马斯克离开了。好吧，当他离开时，他带走了一些他原本要给他们的钱。于是他们决定，哦，我们需要赚钱。然后他们开始变得更加商业化，这一过程持续着。那里的研究人员中有一组人说，等一下，你们没有专注于安全。他们离开了OpenAI，成立了Anthropic，以更加关注安全。

而慈善事业也变得更加商业化。因此，商业力量、政治力量、军事力量都朝着更快的方向推动，想要更快地取得进展。而安全，大家都想要安全，但他们在与这些经济和政治力量竞争。我几年前在阿联酋时

如果我没记错，他们有一位人工智能部长，中国和其他一些国家在这个领域也有类似的出现。我们如何在自己的政府系统中获得那种耳朵和听众？

军方确实有一个人工智能小组在考虑这个问题。绝对是。正如你希望他们那样。确实。但是在政策、法律和立法方面，我们是否需要一位内阁成员担任人工智能部长或计算部长？某种结构性变化？

是的，这是人类和地球历史上最大的变化。看起来它将在未来十年内发生。许多人预测时间表非常短。因此，作为一个物种，人类对此并没有准备好。

那么我们该如何应对？许多人开始意识到这一事实。因此，有很多会议、组织和团体。我会说，这仍然相当不连贯。所以，史蒂夫，如果你有这个讨论小组在进行，而某些事情可能会或可能不会完成，我们是否在错误地专注于人工智能，而我们仍然有量子计算在地平线上？不。

好问题。是的。这其中有多少是过早的？但它们不会手牵手吗？所以无论你在人工智能上遇到什么问题，无论你在人工智能上做出什么考虑，你都必须将它们转移到量子计算上。好吧，它们会被放大。所以你真的应该现在就开始处理它。但如果你没有在第一时间参与，那就完全没有参与。

好吧，让我们让史蒂夫来解决这个问题。

但是例如Meta有一个小组正在使用最新的人工智能模型来破解这些后量子算法。他们已经成功破解了一些。因此，正如你所说，这两者是手牵手的。人工智能在创建量子算法方面会比人类更出色。

这可能会导致一些伟大的进展。它也可能导致，您知道，目前的密码学不再适用。因此，这又是一个可能发生的可怕转变。我们只需将每个密码设为1234。没有人工智能会接受这个。他们会说，哦，是的。这太荒谬了。听你说，史蒂夫，让我想起了，库尔特·冯内古特在他的某个故事中？我不记得是哪一个。

他说，这是人类物种最后说过的话。是的，是的。两个科学家说...

让我们试试另一种方式。就这样结束了。是的，就这样。那就是。是的，是的。让我们在这种其他模式下尝试人工智能。轰，那就是世界的终结。所以你可以设定伦理准则，但这并不能阻止外面的坏演员。没有。这意味着一个坏演员可以在我们其余人遵循伦理指南的同时接管世界。

那么，为这样的事情设置的护栏是什么？我认为这是最大的挑战。我们现在有开源语言模型，开源人工智能，几乎与实验室中的那些一样强大。而且更危险。它们被下载了数亿次。因此，你必须假设现在世界上的每个参与者，中国现在正在使用Meta的最新模型用于他们的军事人工智能。因此，我相信...

我相信我们需要硬件控制来限制...所以现在，最大的人工智能需要这些GPU。它们相当昂贵且相当庞大。最新的是NVIDIA H100。一个芯片大约需要30,000美元。美国对向中国出售这些芯片实施了禁运，但显然中国找到了获取这些芯片的方法。

人们正在收集这些芯片，聚集大量资金，数亿，当然是数亿，甚至数十亿美元，现在他们甚至在谈论未来几年内的万亿美元数据中心。

因此，好消息是，如果构建承载超级人工智能的系统确实需要一万亿美元，那么很少有参与者能够支付。因此，它的范围将受到限制。你刚刚描述了未来战争的下一个前沿将存在的地方。是的，绝对是。绝对是。有一点，你知道，这些数据中心显然会成为目标，它们似乎没有

以非常坚固的方式建造它们。因此，我认为这是人们需要开始考虑的事情。也许地下数据中心？史蒂夫，有没有什么可以在安全方面做到的，或者我们只是空想的国王？我想确保我们有好的想法。是的，我不知道这次与你的对话是否让我们完全沮丧。好吧？是的，我希望不是这样。是的，是的，史蒂夫给我们一个地方，让我们可以说谢谢你，史蒂夫，感谢你参加我们的节目，今晚能够安然入睡。是的，去吧。

真正安全的技术需要基于物理法则和数学证明。这是我们唯一可以绝对确定不会被足够强大的人工智能颠覆的两件事。而且人工智能在这两方面都变得非常出色。它们变得能够建模物理系统，并设计具有我们想要的任何特征的物理系统。

而且它们也能够以非常好的方式执行数学证明。在我看来，我们可以设计出对任何形式的人工智能施加约束的硬件，但我们需要人工智能来设计这些硬件，如果我们能够转变人类的技术基础设施，

你说：“人工智能，请设计你自己的监狱单元，我们将把你放进去。”这就是你刚才所说的。确实。然后它会设计出逃脱的方法。我们当然不希望一个代理这样做，因为那样它们会找到某种方式来隐藏后门或其他东西。但是通过使用数学证明，我们可以获得关于系统属性的绝对保证。我们正处于这种技术的边缘。我非常乐观，可能在接下来的两三年内，

有几个小组正在构建超人类数学家

他们预计到今年年底将达到人类研究生的数学水平。利用这些人工智能，我们可以构建具有我们非常有信心的属性的系统设计。我认为这就是真正安全的来源。但它建立在人工智能之上，所以我们需要它们两个。我想说你刚才说的好事，即使让囚犯设计自己的牢房听起来很疯狂，

但在这个时候，没有自主权，它只是一个执行命令的无人机。所以这是令人鼓舞的部分。而如果它在任何方面都是有知觉的，或者如果它有某种自主权，它可能会说，是的，我还会设计一个后门和一个陷阱门。而且我不会告诉你。我不会告诉你。史蒂夫，首先，祝贺你获得这个奖项。你正是那种

值得获得这样的奖项的人，这让我们对未来与技术的关系以及文明的健康、财富和安全充满希望。因此。- 非常感谢。- 我期待着有一天，一个人工智能会赢得这个奖项，超过你。

对，是的。这是一个很好的观点。也许明年会是一个人工智能获胜。我在开玩笑，顺便说一下。史蒂夫·奥莫亨德罗，今年未来生活奖的获得者，理所应当。谢谢。非常感谢。在我们跳到下一个环节之前，我需要提到第三位荣誉获得者詹姆斯·摩尔，他现在不幸去世。

他在1985年的论文《什么是计算机伦理》使他成为该领域的开创性理论家。他的政策真空概念创建了应对新兴技术挑战的指导方针。他的工作深刻影响了今天的政策制定者和研究人员。离去，但未被遗忘。

从Whole Foods Market提供节日魔力。节省有机螺旋切割的带骨火腿和精选奶酪的费用。此外，探索限时发现和每次聚会的礼物。在店内或在线购物Whole Foods Market。条款适用。使用Fidelity Basket Portfolios构建投资组合就像制作三明治一样简单。就像选择你的股票和ETF，类似于你的肉类和其他配料，并将其作为一个大而美味的投资进行管理。嗯。嗯。

现在这真不错。在fidelity.com/baskets了解更多。投资涉及风险，包括损失风险。Fidelity Brokers Services, LLC。会员NYSC SIPC。有时你必须打破传统，以使某些东西变得更好，或者在这种情况下，使其成为一种更顺滑的烈酒。Martel Blue Swift由法国干邑制成，但由于它在美国的波本桶中完成，因此他们不允许称其为干邑。

这种令人震惊的顺滑口感丰富而芳香，带有波本酒桶中烤橡木的独特气息，使其非常适合鸡尾酒。Martell Blue Swift，超越期望。负责任地享用我们的品质。因此，在我看来，为了使伦理原则发挥作用，

它们必须无处不在，并能够随着技术本身的发展而演变。我无法预见伦理小组从高处聚集

宣布什么是伦理，什么不是。然后每个人都必须在接下来的十年中遵守这一点。你把10个人放在一个房间里，尼尔，你会得到12个意见。对吧？这就是基本的人性。然后你必须让所有这些组成部分，所有这些国家或任何投资集团... 人口统计。人口统计有自己的议程，买入相同的原则。因为在星期三，这个原则对他们来说并不相同。他们会朝着不同的方向思考。

但这甚至不让我感到害怕。让我更害怕的是中国、俄罗斯和北朝鲜。是的。就是这么简单。说真的。我甚至不想... 就是中国、俄罗斯和北朝鲜。我们可以对自己施加任何限制。你看。并不意味着其他人会注意到。这就是问题所在。你在赶猫。

祝你好运。是的，这就是让我们如此可怕的原因。好吧，是的，赶着核猫。是的，是的，我们在赶着核猫，爆炸的核猫。最新的，这是席卷互联网的最新游戏。这是缩短你的猫的另一种含义。自主系统，如果它的目标是说如果是人类就杀了它，

那就有问题。还有另一个鲜为人知的事实。当我们与苏联签署核试验禁令条约时，那是进步。这是你将不再测试核武器，因为在1950年代末到1960年代初的某些年份，每天都有几次测试，某些年份甚至每天都有几次测试，对吧？好吧，世界某个地方，右边和左边。

这意味着视频太棒了。好吧，所以我们说这必须停止。好吧。是的，鲜为人知的事实是，我们在计算能力足够好以计算测试结果的同时达成了这一协议。因此，我们并没有真正停止测试。

在哲学上，在道德上。那是MAD的来源吗？相互确保毁灭？哦，那是后来。那是后来。根据我对历史的理解，我并不相信任何一个国家可以单方面说，哦，我们将用这项新技术做一些好的事情和道德的事情。对。是的，假设你这样做，但其他人不这样做，那么...

那有什么区别？那有什么区别？你知道，你必须遵循同一本规则书，但我们知道这不太可能发生。我觉得有趣的是... 我们物种的历史提供了这种不可能性的巨大证据。但是当你听到巴蒂亚在说话时，她所提出的观点是如此有力。你希望人们会说，你知道吗，是的，大多数人会加入进来，然后这些家伙孤立地测试机器

你知道，洲际弹道导弹。- 但是MAD概念，相互确保毁灭，想想这个。那使美国和苏联坐到谈判桌前。- 是的。- 不是因为他们认为核武器是坏的，

而是他们意识到他们无法获胜。对，问题就是战争。当你无法获胜时。这并不意味着他们没有考虑过。如果他们能赢，他们就会。而且这也并不意味着他们考虑到了我所称之为尼禄情景的情况。那是什么？那么尼禄做了什么？他在罗马燃烧时弹琴。他把它烧了。他不在乎。那么如果你仍然处于危险的情况下，

危险是无处不在的。

所以仅仅因为我花了足够的时间与军方人士交往，我并不是在谈论我不是在谈论鹰派，你知道的，我只是谈论那些思考世界冲突历史的人，其他我们物种成员的行为，而不仅仅是一个人站在那里说，闻闻那气味。你闻到它了吗？我知道那来自哪里？《现代启示录》，是的，你与

将军和少校交谈，你会发现他们通常是战争的学生。他们理解战略，他们理解历史，挑衅和结果。而且他们大多数人并不是我们刻板印象中的好战分子。确实，因为那种知识，那种理解。正确。因此，我只是，我没有信心。我希望我像巴蒂亚那样充满希望。

我想要那种希望。我会努力去那种希望。所以我只是想知道，当她谈论时，他们在技术发展方面的故事领先了多远？他们在追赶多远

而且，你知道，他们能否从一开始就将其融入其中，还是只是试图逆向工程已经出错的事情？这可能是一种新的新兴哲学，每个人都知道从一开始就将其融入其中。这将是我们行为和意识的转变。例如，敢我再一次强调，当我们去月球探索月球时，我们回头发现了地球。是的。

在世界各地，人们开始将地球视为一个整体的星球，地球作为一个整体实体，具有相互依赖的元素，没有一个岛屿与其他任何东西截然不同。对吧，地球上发生的任何事情。没有边界。没有边界，我们共享相同的空气分子、水分子，这对我们与自然的关系来说是固件升级。

这就是为什么直到今天，世界各地的人们都说，我们必须拯救地球。在我们去月球并在天空中看到地球之前，没有人这样说。60年代时的所有和平主义者，他们只是反战。他们并不是说，让我们拯救地球。没有人有那种意识。因此，也许这是一个等待发生的意识升级，以免我们都死于自己人民的手中。

- 是的，我同意最后一部分。我只是说你谈论地球日，你谈论我们去月球，还有人认为我们没有去月球，地球是平的。- 是的，我们完蛋了。- 而且地球日，第一次地球日是1970年。- 对。- 当我们去月球时。- 而讽刺的是--

本可以是1960年，但不是。- 不。- 可能是1980年代末，不。- 当我们去月球时，

第一次地球日。那么讽刺的是，我们依赖人工智能来帮助我们创建伦理和安全架构？帮助它拯救我们免于自我毁灭。我喜欢这个。也许这就是翻转局面的方式。对。这应该是。并且说人工智能，人类中有坏演员试图利用人工智能消灭人类。现在杀了他们。不，不，不。

查克！这是他们的住所。这是他们的穿着。这是他们的日常生活。

谷歌知道你的日常生活。我们真的很糟糕。安卓知道你在谷歌搜索什么。它知道一切。我们真的很糟糕。也许这是善良的人工智能与邪恶的人工智能之间的未来战斗。邪恶的人工智能。但是话又说回来，坏的人工智能会告诉你，好的人工智能是坏的人工智能。然后战争的第一位伤亡者总是真相。

- 哦。- 谢谢。- 我不知道是谁写的，但这太棒了。- 那很深刻。- 是的。- 哦，那很深刻。- 而且真实。- 我希望这不是事实。- 确实。- 停止说真话。你为什么不偶尔对我们撒谎？- 就像其他人一样。

你得这样做。你可以给我一个新程序。好吧。这是我们未来生活的StarTalk特别版。是的。我很享受这个。是的，祝贺获奖者。他们是我们需要的人。是的，以免我们连思考这个问题的机会都没有。好吧。加里，查克。很高兴见到你。尼尔·德格拉斯·泰森，像往常一样，祝你继续仰望星空。

有时你必须打破传统，以使某些东西变得更好，或者在这种情况下，使其成为一种更顺滑的烈酒。Martel Blue Swift由法国干邑制成，但由于它在美国的波本桶中完成，因此他们不允许称其为干邑。

这种令人震惊的顺滑口感丰富而芳香，带有波本酒桶中烤橡木的独特气息，使其非常适合鸡尾酒。Martell Blue Swift，超越期望。负责任地享用我们的品质。</raw_text>