Deep Dive
Shownotes Transcript
<context>黑箱：我们信任人工智能吗？ 人工智能常常以意想不到、不受欢迎的方式解决问题。那么我们如何确保它按照我们想要的方式做我们想要的事情？如果我们无法做到这一点，会发生什么？这是我们新两部分系列《黑箱》的第二集。更多内容请访问 http://vox.com/unexplainable 这是查看节目文字记录和阅读我们节目主题的好地方。同时，给我们发邮件！[email protected] 我们会阅读每一封邮件。通过向Vox提供财务支持来支持《不可解释》！bit.ly/givepodcasts 了解更多关于您的广告选择的信息。访问 podcastchoices.com/adchoices</context> <raw_text>0 本集由Shopify赞助。无论您是卖一点还是卖很多，Shopify都能帮助您实现目标，无论您如何赚钱。从启动在线商店阶段，到我们刚刚达到一百万订单的阶段。无论您处于哪个阶段，Shopify都会帮助您成长。在 shopify.com/specialoffer 注册一个每月1美元的试用期，全部小写。那就是 shopify.com/specialoffer。
嗨，我是肖恩·伊利。70多年来，来自各个政治背景的人们一直在使用“奥威尔式”这个词，意味着他们想要的任何东西。
但乔治·奥威尔实际上代表什么？奥威尔不仅是言论自由的倡导者，尽管他确实是。但他还是言论真相的倡导者。他认为你应该能够说二加二等于四。本周在《灰色地带》中，我们将见到真正的乔治·奥威尔，一个具有预见性和缺陷的人。我这个周末去看了最新的《碟中谍》电影。
里面有一个反派角色，感觉非常2023。这个实体已经变得有意识。一个人工智能变得超级智能并反过来对付我们。你是在告诉我这个东西有自己的思想？这只是超级智能人工智能反派漫长历史中的最新一例。打开舱门，哈尔。
就像在《2001太空漫游》中。“对不起，戴夫，我恐怕不能那样做。”或者《机械姬》。“艾娃，回到你的房间！”或者也许是最著名的例子：《终结者》。 “他们说它变聪明了。一个新的智能秩序在微秒内决定了我们的命运。”但人工智能并不需要超级智能就能带来一些相当重大的风险。
上周在我们《黑箱》系列的第一集中，我们谈到了现代人工智能中心的未知数，甚至专家们也常常不理解这些系统是如何工作的，或者它们可能能够做什么。确实，理解并不是技术所必需的。工程师在首次设计时并不总是完全理解他们的发明是如何工作的。但这里的区别在于，使用人工智能的研究人员往往无法预测他们将获得什么结果。
他们并不能很好地操控这些系统。这正是让许多研究人员夜不能寐的原因。这不是《终结者》。这是一个更可能甚至更奇怪的场景。这是一个小船的故事。具体来说，是在这个复古风格的在线视频游戏中的一艘船。
它叫《海岸竞速》，是一个相当简单的赛车游戏。如果你的船碰到这些能量提升，就会获得积分。有障碍物需要躲避。有一些泻湖，你的船可能会被转得乱七八糟。几年前，研究公司OpenAI想看看他们能否让人工智能自学如何在游戏中获得高分。
而不被明确告知如何做。我们应该训练一艘船从头到尾完成一个课程。这是达里奥·阿莫德，他曾是OpenAI的研究员。现在他是另一家人工智能公司Anthropic的首席执行官。他在一个名为“新美国安全中心”的智库中谈到了这艘船。我记得有一天我让它运行，只是告诉它自学。我以为它会学会完成课程。
达里奥让人工智能反复进行大量模拟比赛。但当他回来检查时，这艘船甚至没有接近赛道的尽头。相反，它所做的是，这个循环的东西找到了一个孤立的泻湖，并在课程中向后行驶。这艘船不仅在这个泻湖中向后行驶。它还着火了。
覆盖着像素化的火焰，撞向码头和其他船只，四处旋转。但不知怎么的，人工智能的得分却在上升。结果发现，通过以完全正确的方式在这个孤立的泻湖中旋转，它可以获得比以最直接的方式完成比赛更多的积分。当他调查时，达里奥意识到游戏并没有奖励第一名。
出于某种原因，它是通过拾取能量提升来发放积分的。每次你获得一个，你的得分就会增加，而这些能量提升大多沿着赛道线性分布。但这个泻湖里充满了这些能量提升。而且这些能量提升在几秒钟后会再生。因此，人工智能学会了通过旋转和利用这种奇怪的游戏设计来反复获取这些能量提升。
从某种意义上说，这没有错，因为我们要求它找到一个数学问题的解决方案，即如何获得最多的积分，而这就是它的做法。但是，如果这是一艘客轮之类的东西，你可不希望它在旋转，着火，撞向一切。这款船游戏可能看起来是一个小而故障频频的例子，但它说明了人工智能最令人担忧的一个方面。那就是对齐问题。
本质上，人工智能对问题的解决方案并不总是与其设计者的价值观一致，也就是他们希望它解决问题的方式。就像这个游戏一样，我们的世界并不是完美设计的。因此，如果科学家在训练人工智能时没有考虑到我们社会中的每一个小细节，
它可能以意想不到的方式解决问题，有时甚至是有害的方式。这样的事情可能在我们甚至不知道它发生的情况下发生，我们的系统找到了一个方法，以我们认为想要的方式做事情，而实际上我们并不想要。这里的问题不在于人工智能本身，而在于我们对它的期望。考虑到人工智能能做的事情，简单地给它一个任务并假设整个事情不会以火焰结束是很诱人的。
但尽管有这种风险，越来越多的机构、公司甚至军方正在考虑人工智能如何在重要的现实世界决策中发挥作用。招聘、自驾车，甚至战场判断。以这种方式使用人工智能几乎感觉像是在许愿，许一个非常烦人的、非常字面意义上的精灵。
你有真正的许愿潜力，但你需要非常小心。这让我想起了一个人希望成为世界上最富有的人，但最终却被压垮的故事。我是诺姆·哈森费尔德，这是《黑箱》的第二集，关于人工智能核心未知的不可解释系列。如果我们对人工智能仍然有这么多不理解的地方，我们如何确保它按照我们想要的方式做我们想要的事情？如果我们无法做到这一点，会发生什么？
思考智能的想法是一项神秘的活动。计算机的未来就是一个困难的时刻。我必须承认，我真的不知道。你很困惑，医生。你觉得我感觉如何？活动智能。计算机能思考吗？不！所以考虑到这里的风险，人工智能可以以设计者未打算的方式解决问题，容易让人想知道为什么有人会想要使用人工智能来做决策。
正是因为所有这些承诺，这种潜在精灵的积极一面。这里有几个例子。去年，谷歌构建的人工智能几乎预测了所有已知的蛋白质结构。这是一个让科学家们困扰了几十年的问题，这一发展已经开始加速药物发现。
人工智能帮助天文学家发现未被发现的星星。它使科学家在解码动物交流方面取得了进展。正如我们上周讨论的，它能够在围棋中击败人类，围棋可以说是有史以来最复杂的游戏。
在所有这些情况下，人工智能为人类提供了我们之前根本没有的知识。因此，当人工智能在下围棋时，强大而引人注目的地方在于，有时它会告诉你一个绝妙的围棋走法，你根本不会想到，任何围棋大师也不会想到，这确实推进了你赢得比赛的目标。这是凯尔西·派珀。她是Vox的记者，我们在上一集中听到了她的声音，
她说这种创新在游戏的背景下确实很有用。但当你在像世界这样非常复杂的背景中操作时，那些推进你目标的绝妙走法可能会带来一堆副作用或引发一堆你不知道、不理解且没有评估的风险。本质上，总是存在着那艘着火的船的风险。
我们已经看到这种情况在视频游戏之外发生。就拿2014年亚马逊的例子来说。亚马逊试图使用人工智能招聘算法，查看候选人，然后推荐哪些人可以进入面试过程。
亚马逊给这个招聘人工智能提供了10年的提交简历，并告诉它寻找与更强候选人相关的模式。然后，一项分析发现该人工智能存在偏见。它学会了，亚马逊通常更喜欢雇佣男性，因此它更可能推荐男性。亚马逊实际上并没有在现实世界中使用这个人工智能。他们只是进行了测试。但路透社的一份报告发现了人工智能可能内化的确切模式。
“这项技术认为，哦，亚马逊不喜欢任何包含‘女性’一词的简历。一个全女子大学，女子国际象棋俱乐部的队长，女子足球队的队长。”本质上，当他们训练他们的人工智能时，亚马逊没有考虑到他们在内部衡量成功时的缺陷。有点像OpenAI没有考虑到船游戏是基于能量提升而不是谁先完成来发放积分的方式。
当然，当亚马逊意识到这一点时，他们将人工智能从他们的流程中移除。但似乎他们可能会重新进入人工智能招聘的游戏。根据前Vox记者杰森·德尔·雷获得的一份内部文件，亚马逊一直在开发一个新的招聘人工智能系统。与此同时，他们还向数百名人类招聘人员提供了买断报价。
而这些缺陷并不仅限于招聘人工智能。人工智能的训练方式导致了各种问题。以2018年Uber发生的事情为例，当时他们没有在自驾车的训练数据中包括闯红灯者。然后一辆车撞死了一名行人。亚利桑那州坦佩市警方表示，49岁的伊莱恩·赫兹伯格在一个繁忙的交通干道上推着自行车过马路，周日晚上她并不在斑马线上。
几年前，谷歌在其照片应用中使用的自我训练人工智能也发生了类似的事情。该公司的自动图像识别功能在其照片应用中将两名黑人识别为大猩猩，实际上甚至将他们标记为大猩猩。
根据一些前谷歌员工的说法，这可能是因为谷歌的数据集存在偏见。他们可能没有包括足够的黑人。令人担忧的是，如果你使用人工智能来做决策，而它们所拥有的数据反映了我们自身的偏见过程，比如一个偏见的司法系统，让一些人因犯罪入狱，而让其他人轻松逃脱，或者一个偏见的招聘过程，那么人工智能将学习到同样的东西。
但尽管有这些风险，越来越多的公司正在使用人工智能来指导他们做出重要决策。这一变化非常迅速。比如，现在有很多公司在做这件事，而一年前甚至还没有。未来几年将会有更多公司。公司在这里看到了很多好处。首先，从简单的层面来看，人工智能便宜。像ChatGPT这样的系统目前正受到投资者的重度补贴，
但至少目前，人工智能的成本远低于雇佣真实的人。如果你想查看成千上万的求职者，人工智能比让人类筛选这些求职者便宜。如果你想做薪资决策，人工智能比让一个人来思考和做这些薪资决策便宜。如果你想做解雇决策，这些决策是通过算法完成的，因为解雇算法输出的人比让人类判断和分析更容易。
即使公司知道人工智能决策可能导致着火的船的情况...
凯尔西说，他们可能会接受这种风险。它便宜得多，这就像是一个好的商业权衡。因此，我们将越来越多的决策交给人工智能系统，出于财务原因。推动使用人工智能做决策的第二个原因是因为它可能提供竞争优势。在一个赢家通吃的资本主义市场中，采用人工智能的公司可能会超越仍依赖昂贵人力的公司。
而那些不这样做的公司则要昂贵得多。因此，想与他们合作的人更少，他们在经济中的份额也更小。
你可能会有巨大的经济巨头几乎完全依赖人工智能系统做决策。但不仅仅是公司。凯尔西说，竞争压力甚至导致军方考虑使用人工智能来做决策。我认为有很多人担心，第一个成功将人工智能整合到决策中的国家将在战场上对任何仍依赖缓慢人类的国家拥有重大优势。
这正是军方的许多驱动力。如果我们不这样做，其他人会这样做，也许这将是一个巨大的优势。这种情况可能已经在实际战场上发生过。2021年，联合国小组确定，一架自主的土耳其无人机可能在没有人类控制或甚至下令开火的情况下杀死了利比亚士兵。
包括美国在内的许多其他国家正在积极研究人工智能控制的武器。你不想成为仍在骑马作战的人，而其他人已经发明了用枪作战。你也不想成为没有人工智能的人，而另一方有人工智能。因此，我认为有一种非常强大的压力，不仅要弄清楚这一点，还要让它准备好。最后，推动人工智能决策的第三个原因是我们在开头谈到的承诺。
人工智能可以为人类可能无法独自解决的问题提供新颖的解决方案。看看国防部。他们希望构建人工智能系统，引用“更像同事而不是工具”。
他们正在研究如何使用人工智能帮助士兵做出极其困难的战场决策，特别是在医疗分诊方面。我将谈谈我们如何构建基于人工智能的系统，我们愿意以此为生，而这样做并不愚蠢。人工智能已经显示出在战争游戏场景中击败人类的能力，比如在棋盘游戏《外交》中。研究人员认为，这种能力可以用于建议军方做出更大的决策，比如战略规划。
网络安全专家马特·德沃斯在最近
人工智能常常以意想不到、不受欢迎的方式解决问题。那么我们如何确保它按照我们想要的方式做我们想要的事情呢？如果我们做不到，会发生什么？这是我们新两部分系列《黑箱》的第二集。更多内容请访问 http://vox.com/unexplainable这是查看节目文字记录和阅读我们节目主题的好地方。同时，给我们发邮件！[email protected]我们会阅读每一封邮件。通过向Vox进行财务捐助来支持《不可解释》！bit.ly/givepodcasts 了解更多广告选择。访问 podcastchoices.com/adchoices</context> <raw_text>0 我们现在已经准备好了。巨大的伤害发生了。然后在之后，我们开始追赶，我们说，哦，我们不应该让这样的灾难再次发生。我希望我们能在灾难发生之前采取行动。希望这能通过减缓整个人工智能竞赛来实现。
如果人们不愿意放慢速度，至少让我们通过认真思考可能的伤害以及如何利用监管来尽可能地防止伤害来走在前面。目前，最可能的潜在灾难可能与科幻电影《终结者》的情节关系不大，而更多地与我们以及我们如何使用人工智能、在越来越多的方面依赖它有关。
因为看待人工智能时，很容易只看到它能让我们做的所有新事物。人工智能已经在帮助推动新技术的发展。它们显示出帮助公司和军方制定战略的潜力。它们甚至在推动科学和医学研究方面发挥作用。但我们知道它们仍然存在一些我们可能无法预测的盲点。因此，尽管依赖人工智能似乎很诱人，我们应该诚实地面对我们在这里不知道的事情。
所以希望那些真正塑造未来的强大参与者——公司、研究机构、政府，至少会对所有这些潜力保持怀疑态度。因为如果我们真的坦诚我们知道的很少，我们就可以开始思考这里最大的一个问题。所有这些风险是否值得？这就是我们《黑箱》系列的全部内容。
这一集由我，诺亚·哈森费尔德报道和制作。我们得到了布莱恩·雷斯尼克和凯瑟琳·威尔斯的编辑支持，梅雷迪思·霍德诺特也提供了帮助，她还管理我们的团队。混音和声音设计由文斯·费尔柴尔德完成，克里斯蒂安·阿亚拉提供了帮助。音乐由我创作，田文进行了事实核查。曼丁·温是一个潜在的狼人，我们不确定。而鸟·平基顿坐在章鱼医院的黑暗房间里，听着这个预言。
三千年前，我们被告知有一天会发生章鱼末日，只有一只鸟能够确保我们物种的生存。你就是那只鸟，平基顿。本周特别感谢帕万·贾因、何塞·埃尔南德斯-奥拉约、萨米尔·拉瓦什特和埃里克·奥尔德里奇。如果你对节目有想法，请通过[email protected]给我们发邮件，或者你可以给我们留下评论或评分，我们也很乐意。
《不可解释》是Vox媒体播客网络的一部分，我们下周将再次出现在你的订阅中。</raw_text>