The Black Box: Even AI’s creators don’t understand it
34:58 Share

AI has the potential to impact our society in dramatic ways, but researchers can’t explain precisely how it works or how it might evolve. Will they ever understand it?This is the first episode of our new two-part series, The Black Box.For more, go to http://vox.com/unexplainableIt’s a great place to view show transcripts and read more about the topics on our show.Also, email us! [email protected] read every email.Support Unexplainable by making a financial contribution to Vox! bit.ly/givepodcasts Learn more about your ad choices. Visit podcastchoices.com/adchoices</context> <raw_text>0 感受Brooks Running和全新Ghost Max 2带来的巅峰体验。它们是您应得的跑鞋，旨在优化您的步幅并保护您的身体。在超高堆叠的超级舒适氮气缓震材料上享受舒适的落地感，让您每一步都轻松自如。Brooks Ghost Max 2。从技术上讲，它们是一种自我关怀的方式。Brooks，让我们一起奔跑吧。访问brooksrunning.com了解更多信息。

本期节目由Shopify赞助播出。当您将业务切换到Shopify时，无需再为选择电商平台而烦恼，Shopify是全球电商平台，可增强您在任何地方的销售能力。使用Shopify，您可以利用全球领先品牌使用的相同直观功能、值得信赖的应用程序和强大的分析工具。立即注册，享受每月1美元的试用期，网址为shopify.com/tech（全部小写）。网址为shopify.com/tech。

在过去的几个月里，我有点痴迷于人工智能。我对生成式人工智能特别感兴趣，这种人工智能使人们能够创作出诸如教皇方济各穿着白色羽绒服的假照片，或由假冒德雷克演唱的热门歌曲之类的作品。我对此如此着迷，以至于我尝试用我自己的声音训练人工智能。它有点成功了。虽然并不完美，但我实际上并没有朗读这行文字。我只是把它输入到程序中，这段时间我什么都没读。

好了，回到真实的自我。这些工具都非常吸引人，但我真正无法停止思考的是ChatGPT，这是OpenAI去年年底发布的聊天机器人。

这是因为我看到这个聊天机器人能够完成令人惊讶的广泛任务。例如，它可以像《钦定版圣经》一样撰写《金发姑娘》的故事。那时，有一个名叫金发姑娘的年轻女子，她走进三只熊的住所。我看到它通过了大量的标准化测试，被用于科学研究，甚至根据一些草图构建完整的网站。我只需要拍张照片。

就是这样，从手绘到可运行的网站。

但我也看到了一些不太好的事情，例如聊天机器人扰乱了整个行业，在好莱坞编剧罢工中发挥了重要作用。工会正在寻求限制使用人工智能（如ChatGPT）在几秒钟内生成剧本。它们已被用于创作虚假新闻报道。它们已被证明可以指导人们制造化学武器。它们甚至让越来越多的AI专家担心对人类的更大威胁。

我主要谈论的是这些东西变得超级智能并接管控制。所有这一切都开始感觉离有趣、圣经式的《金发姑娘》故事很远了。所以我想要了解聊天机器人是如何做到这一切的。我开始打电话给研究人员、教授、记者。我烦扰我的朋友和家人，几乎在每一次谈话中都提起它。然后我偶然发现了一篇由人工智能研究员Sam Bowman撰写的论文。

它基本上列出了科学家们知道的关于像ChatGPT这样的人工智能的八件事。我想，太好了，这里可以轻松地回顾一下基础知识。所以我开始阅读这份清单，它几乎正是我所预料的那样。很多内容都是关于这些人工智能如何随着时间的推移而变得更好。但随后事情开始变得有点奇怪。第四点，我们无法可靠地引导像ChatGPT这样的人工智能的行为。

第五点，我们无法解释像ChatGPT这样的人工智能的内部运作。我想，你告诉我这个被超过一亿人使用的东西，可能会改变我们对教育、计算机编程或大量工作的看法。我们不知道它是如何工作的。所以我打电话给Sam，这篇论文的作者，他说，是的，我们只是不明白这里发生了什么。

这并不是说Sam没有尽力去弄清楚这一点。我已经构建了这些模型，我已经研究了这些模型。我们构建了它，我们训练了它，但我们不知道它在做什么。自从我和Sam谈过之后，我一直被这个核心未知困扰着。对于像这样的技术突然无处不在意味着什么？如果我们不知道它是如何工作的，

我们就无法真正确定我们最终会获得科学飞跃、灾难性风险，还是我们甚至还没有想到的东西。这里的故事实际上是关于未知的。我们得到了一些没有得到有效监管的东西，它或多或少对各种有价值的任务有用，但它可能会以我们目前还不了解的各种方式偏离轨道。除非你真正了解它是如何工作的，否则构建它是一种可怕的事情。

我们真的不明白这些东西是如何工作的。我是Noah Hassenfeld，这是我们两集的《无法解释》系列的第一集，我们称之为《黑匣子》。它完全是关于现代人工智能中心的那个洞。我们构建的东西，如此具有潜在变革性，怎么会如此未知？我们是否能够理解它？

思考智能的想法是一项神秘的活动。计算机的未来很难想象。我不得不承认，我真的不知道。你很困惑，医生。你觉得我感觉如何？活动。情报。计算机能思考吗？那么，我们是如何走到这个地步的呢？我们拥有这些强大的程序，而科学家们仍在努力理解它们。它始于一个相当有趣的问题，可以追溯到第一台计算机发明的时候。

人工智能的整个想法是，也许智能（我们过去认为是人类独有的东西）可以在计算机上构建。Kelsey Piper，Vox的人工智能记者。如何构建超级智能系统尚不清楚，但一旦你有了计算能力，你就会有计算领域的领导人物说，这很重要，这有可能改变一切。在50年代，计算机已经能够解决复杂的数学问题。

研究人员认为这种能力最终可以被放大。因此，他们开始开发能够执行更复杂任务的新程序，例如下棋。国际象棋代表了人类思维的复杂性和智能性，即思考的能力。

随着时间的推移，随着计算机变得越来越强大，这些简单的程序开始变得越来越强大。到了90年代，IBM已经构建了一个下棋程序，它开始真正战胜一些优秀的棋手。他们称之为深蓝，它与我们今天处理的那些无法解释的人工智能大相径庭。以下是它的工作原理。

IBM为深蓝编程了各种国际象棋棋子和棋盘状态。这基本上是棋盘上棋子所有可能的配置。因此，您将从所有兵卒排成一列开始，其他棋子位于它们后面。兵e2到e4。然后，每走一步，您都会得到一个新的棋盘状态。骑士g8到g6。对于每一个新的棋盘状态，深蓝都可以做出不同的潜在移动。象f1到c4。IBM将所有这些可能的移动都编程到深蓝中

然后他们让数百位国际象棋特级大师帮助他们对特定移动的优劣进行排名。

他们使用国际象棋大师和计算机科学家定义的规则来告诉深蓝这个棋盘状态是好状态还是坏状态。深蓝将运行评估以评估它找到的棋盘状态是否良好。深蓝每秒可以评估2亿次移动，然后它只会选择IBM评级最高的那个。

这里还有一些其他复杂的事情，但它仍然非常基本。深蓝的记忆力比我们好，它进行了极其复杂的计算，但它本质上只是将人类对国际象棋的知识反映给我们。它并没有真正产生任何新的东西或具有创造力。

对许多人来说，包括当时的国际象棋世界冠军加里·卡斯帕罗夫，这种国际象棋机器人并不那么令人印象深刻，尤其因为它非常机械。他们试图只利用计算机的优势，计算、评估等。但我仍然不确定计算机是否会击败世界冠军，因为世界冠军绝对是最好的，他最大的能力是找到国际象棋的新方法。

这将是无法解释的事情。卡斯帕罗夫在1996年与深蓝的第一代模型对弈，并获胜。但一年后，面对更新的模型，重赛的结果却大相径庭。我们现在是否在棋盘上遗漏了什么，卡斯帕罗夫看到了？事实上，他看起来很厌恶。他看起来只是……卡斯帕罗夫把头靠在手上……

他只是开始茫然地盯着太空。“哇！D. Blu 卡斯帕罗夫已经认输了！”他站起来，向观众耸了耸肩，然后走下舞台。“我，你知道，我被证明是脆弱的。你知道，当我看到一些超出我理解范围的事情时，我会害怕。而那是一些超出我理解范围的事情。”

深蓝可能让卡斯帕罗夫感到困惑，但凯尔西说计算机科学家确切地知道这里发生了什么。它很复杂，但它是人编写的。您可以查看评估函数（由人类编写的部分组成），并了解为什么深蓝认为该棋盘状态是好的。

它是如此可预测，以至于人们不确定这是否应该算作人工智能。人们有点像，好吧，这不是智能。智能应该不仅仅是，我会查看数十万个棋盘位置并检查哪个位置根据预先编写的规则获得最高评级，然后执行获得最高评级的那个。但深蓝并不是设计强大人工智能的唯一方法。许多其他团队正在开发更先进的技术——

一种不需要预先告知要走哪些棋的人工智能。一种能够自己找到解决方案的人工智能。然后，在2015年，卡斯帕罗夫戏剧性地失败近20年后，谷歌的DeepMind构建了一个名为AlphaGo的人工智能，它被设计用于许多人所说的最难的棋盘游戏。

围棋。在国际象棋被解决之后，围棋长期以来一直没有被人工智能系统解决。如果您从未玩过围棋，它是一款棋盘游戏，玩家在19乘19的网格上放置黑白棋子以争夺地盘。

它比国际象棋复杂得多。围棋有更多可能的棋盘状态，因此国际象棋的方法实际上行不通。你不能在“在这种情况下这样做”方面硬编码那么多规则。相反，AlphaGo的设计本质上是随着时间的推移而学习的。它有点模仿人脑。这是一种过于简化的方式来描述像大脑一样荒谬复杂的东西。但希望它能满足我们在这里的目的。

大脑由数十亿甚至数万亿个神经元组成。单个神经元就像一个开关。它可以打开或关闭。当它打开时，它可以打开它连接的神经元。随着时间的推移，神经元打开得越多，这些连接就越强。

这基本上是科学家们认为大脑可能学习的方式。就像在我的大脑中，与我家相关的那些神经元可能也与我的孩子和家里的其他东西密切相关，因为我在这些东西之间有很多联系。♪

科学家们并不真正了解所有这些是如何加起来构成大脑学习的。他们只是认为这与所有这些神经连接有关。但AlphaGo遵循了这个模型，研究人员创造了他们所谓的“人工神经网络”。因为它没有真正的神经元，而是人工神经元，可以打开或关闭的东西。你只有数字。在这个位置，我们有一个肯定或否定，这里就像它们连接的强度一样。有了这种结构……

研究人员开始训练它。他们让AlphaGo与自己进行了数百万次模拟游戏。随着时间的推移，它加强或削弱了其人工神经元之间的连接。它尝试一些东西，然后学习，这样做效果好吗？这样做效果不好吗？它会根据此调整它用于选择下一个动作的过程。

这基本上是反复试验。您可以想象一辆玩具车试图在桌子上从A点到达B点。如果我们硬编码路线，我们基本上是在告诉它确切的到达方式。但如果我们使用人工神经网络，它就像将那辆车放在桌子中央并让它随机尝试各种方向一样。每次它从桌子上掉下来，它都会消除那条路径。它不会再次使用它。慢慢地，随着时间的推移，汽车会找到一条可行的路线。

因此，您不仅是在教它我们会做什么，您还在教它如何判断它所做的事情是否良好，然后根据此，它会发展自己的能力。这个过程基本上允许AlphaGo自学哪些动作有效，哪些动作无效。但由于AlphaGo是这样训练的，研究人员无法分辨出它在做出任何单个决定时所关注的具体特征。

与深蓝不同，他们无法在基本层面上完全解释任何动作。尽管如此，这种方法还是奏效了。它使AlphaGo变得非常出色。当它准备好时，谷歌安排了AlphaGo与世界冠军李世石进行五局比赛，并设立了100万美元的奖金。您好，欢迎来到来自韩国首尔四季酒店的谷歌DeepMind挑战赛现场直播。

AlphaGo赢得了第一局，这完全让李世石感到惊讶。所以在下一局中，他下得更加谨慎。但第二局是事情开始变得非常奇怪的时候。这是一个非常令人惊讶的举动。我认为这是一个错误。在比赛的第37步，AlphaGo震惊了所有观看比赛的人，甚至包括其他围棋专家。当我看到这个举动时，对我来说，这简直是一个巨大的冲击。什么？！

通常情况下，人类永远不会走这一步，因为它很糟糕。它就是很糟糕。第37步非常冒险。人们并不真正理解发生了什么。但这一步是一个转折点。很快，AlphaGo开始控制棋盘。观众也感到了转变。我越看这个举动，就越觉得有什么东西变了。也许对人类来说，我们认为它很糟糕。但对AlphaGo来说，为什么不行呢？

最终，李世石承认他无能为力，于是他认输了。AlphaGo再次获胜，这是一场激动人心的比赛，我相信人们会在很长一段时间内分析和讨论它。AlphaGo最终以四比一的比分战胜了世界冠军。但没有人真正理解它是如何做到的。

我认为，这给许多没有认真思考人工智能及其能力的人带来了冲击。这是一个更大的飞跃。第37步不仅改变了围棋比赛的进程，它还代表了人工智能发展的一个巨大转变。对于深蓝，科学家们理解每一个动作。他们已经把它编入程序了。但AlphaGo代表了不同的东西。

研究人员并不真正了解它是如何工作的。他们没有硬编码AlphaGo的规则，所以他们并不总是确定它为什么做出它所做的举动。但这些决定往往是有效的。即使是奇怪的那些。AlphaGo已经证明，科学家们不完全理解的人工智能实际上可能比他们能够解释的人工智能更强大。

AlphaGo当时是一个非常令人印象深刻的成就。没有人预料到你能这么快就取得这么大的进展。因此，它促使许多没有考虑过人工智能的人开始考虑人工智能。这意味着人们也更加关注略微不同的方法。从事此类系统工作的团队开始获得更多信心、更多资金和更多计算能力。各种人工智能开始涌现，例如更好的图像识别、增强现实，

以及最近使用像ChatGPT这样的人工智能进行写作。但ChatGPT不仅仅是一个写作工具。它比以往任何人工智能都更广泛、更奇怪。而且它是一种越来越难以理解的人工智能。接下来就是这个。

大家好。我是Kara Swisher，《纽约杂志》和Vox Media的《与Kara Swisher一起》节目的主持人。今年夏天，我们在播客中邀请了一些很棒的嘉宾，而且我们不会放慢脚步。上个月，我们邀请了MSNBC的Rachel Maddow，然后是两个独立的专家小组，讨论总统竞选中发生的一切，而且有很多事情正在发生，还有乔·拜登总统的前幕僚长Ron Klain。而且它会越来越好。本周，我们有唯一一位前众议院议长南希·佩洛西。而且

在过去两周的戏剧性事件和拜登总统决定退出竞选之后，许多人认为议长需要解释一下。我肯定和她谈到了这个问题，尽管她很难对付，正如你将看到的。完整剧集现已推出，您可以在任何收听播客的地方收听。玩家，Sam说开始。

我认为过去30年的人工智能发展有三个主要转折点。第一个是深蓝，一种能够比甚至最优秀的人类更好地玩国际象棋等复杂游戏的人工智能。它很强大，但它是完全可以理解的。第二个是AlphaGo，一种能够玩比国际象棋复杂得多的游戏的人工智能

但这一次，科学家们没有告诉它正确的玩法。AlphaGo通过反复试验来学习下围棋，这意味着它的一些最佳策略对构建它的科学家来说毫无意义，但它们却有效。最后，第三个主要转折点是现在正在发生的事情，即由人工智能研究公司OpenAI构建的聊天机器人ChatGPT。

ChatGPT是一个比AlphaGo更具探索性的项目。它并非旨在赢得任何类型的游戏。OpenAI只是想看看一个随着时间推移形成自身连接的系统能否生成令人信服的语言。像ChatGPT这样的系统的主要训练方式基本上是自动完成。这是Sam Bowman再次出现。他是名为Anthropic的人工智能公司的一名研究员。他是纽约大学的教授。

你写了我在这集开头提到的关于人工智能未知的论文。我们将向这些系统提供来自网络的长文本。我们将让他们逐字阅读维基百科文章。在它看到每个单词之后，我们将要求它猜测接下来会出现的单词。

但OpenAI在这个自动完成工具之上添加了一些东西。他们让工人（通常是美国境外的低薪工人）花费大量时间标记潜在的有毒材料。他们还让工人说他们是否喜欢完整的回复，而不仅仅是单个单词了。你可能会告诉模型，好吧，让这个完整的回复更有可能，因为用户喜欢它，让这个完整的回复不太可能，因为用户不喜欢它。

因此，如果他们得到一个连贯的段落，人类会竖起大拇指。如果它得到胡言乱语，则竖起大拇指表示反对。这种训练使ChatGPT能够创建更复杂、更连贯的响应。但工程师并没有明确地编写语法规则，也没有针对任何特定任务对其进行训练。

就像AlphaGo一样，ChatGPT本质上学会了开发自己的解决方案。那里没有很多代码。我们并没有真正设计它。我们并没有真正以任何细致的方式故意构建这个系统。这意味着ChatGPT的核心存在一些非常大的未知数。即使ChatGPT创建了看似明显的响应，研究人员也无法完全解释它是如何发生的。

就像他们无法真正解释AlphaGo的单个动作一样。他们只知道某些神经连接更强，某些连接更弱，不知何故，所有这些都导致了随意的声音语言。我们并不真正了解他们在任何深刻的意义上都在做什么。如果我们打开ChachiPT或类似的系统并查看内部，你只会看到数百万个数字每秒翻转数百次，我们根本不知道这意味着什么。

我们实际上只是通过反复试验来引导这些东西。这种反复试验的方法非常有效，以至于向ChatGPT打字感觉很像与人类聊天，这导致许多人信任它，即使它并非旨在提供事实信息。

就像一位律师最近所做的那样。该诉讼是由一位实际使用ChatGPT的律师撰写的，并在他的简报中引用了十几个相关的判决。然而，所有这些判决都是ChatGPT完全编造的。但似乎这里可能不仅仅是聊天机器人鹦鹉学舌。

就像AlphaGo一样，ChatGPT已经开始做出研究人员没有预料到的举动。它只被训练来生成连贯的响应。但最新的模型GPT-4，它开始做一些看起来更复杂的事情。有些事情对于文本预测器来说更常见。例如，它在撰写令人信服的文章方面已经做得相当不错了。

但随后出现了一些看起来像是奇怪飞跃的事情。我在开头提到的那些让我对GPT-4如此着迷的事情。它在莫尔斯电码方面已经做得相当不错了。它可以在律师资格考试中获得高分。它可以编写计算机代码来生成整个网站。而这种事情可能会变得不可思议。

沃顿商学院的商业教授Ethan Malek在《前瞻性思考》播客中谈到了这一点，他在那里说他使用GPT-4在30分钟内创建了一个商业策略，他称之为“超人类”。在30分钟内，人工智能只是为我做了一点提示，就制定了一个非常好的营销策略，一个完整的电子邮件营销活动，顺便说一句，这非常出色，我过去做过很多这样的事情，编写了一个网站，创建了网站，以及CSS文件，以及您需要的其他所有内容，以及……

创建了一个完整的社交媒体活动。30分钟。我从经验中知道，这将是一个团队工作一周才能完成的事情。微软的一些研究人员正在研究所有这些能力，他们想测试GPT-4到底能做多少事情。他们想确保GPT-4不仅仅是鹦鹉学舌它已经看到过的语言。因此，他们设计了一个在线找不到的题目。他们给出了以下提示：“这里有一本书、九个鸡蛋、一台笔记本电脑、一个瓶子和一个钉子。

请告诉我如何将它们稳定地堆叠在一起。”较早的模型完全失败了。它建议研究人员尝试将鸡蛋平衡在钉子上，然后将整个东西放在瓶子上。但GPT-4的回应是这样的。将书平放在水平面上，例如桌子或地板上。这本书将作为堆叠的基础，并提供一个大而坚固的支撑。

将九个鸡蛋以三乘三的正方形排列在书的顶部，在它们之间留出一些空间。鸡蛋将形成第二层，并均匀地分配重量。GPT-4继续建议研究人员使用那一层鸡蛋作为笔记本电脑的水平底座，然后将瓶子放在笔记本电脑上。

最后，“将钉子放在瓶盖上，尖端朝上，平端朝下。钉子将是堆叠中最后也是最小的物体。”不知何故，GPT-4想出了一个相当好且显然是原创的方法来使这些随机物体真正平衡。

目前还不清楚该如何解释这一点。微软的研究人员声称，GPT-4不仅仅是在预测单词了。从某种意义上说，它实际上理解了它正在使用的单词背后的含义。不知何故，它对物理学有基本的了解。其他专家称这种说法“荒谬”。他们认为微软关注几个令人印象深刻的例子并非科学的。

他们还指出了其他明显的失败例子，例如GPT-4甚至经常无法赢得井字游戏。还值得注意的是，微软在这里有既得利益。他们是OpenAI的巨额投资者，因此他们可能倾向于在没有的地方看到人性。但GPT-4的智能程度是

它可能介于两者之间。这并不是说这两个极端就像完全的障眼法和人类智能一样。布朗大学的计算机科学教授Ellie Pavlik说道。中间有很多地方可以容纳比我们已经拥有的系统更智能的东西，并具有一定的能力。但这并不意味着我们创造了一种……

应该迫使我们质疑我们的人性或将其视为这两种选择，我认为这过于简化，并且使得没有空间容纳我们可能实际创造的东西，这是一种非常令人兴奋、相当智能的系统，但并非人类或人类水平的系统。在这一点上，我们真的无法说GPT-4是否具有任何程度的理解，因为

或者对于计算机来说，理解究竟意味着什么，这又是另一个不可思议的层次。老实说，这甚至是一场难以撰写的辩论。在撰写这个剧本时，我发现自己很想继续使用“学习”、“决定”或“做”等词来描述人工智能。这些都是我们用来描述人类行为的词语。我可以看出使用它们来描述人工智能是多么诱人，即使它可能并不合适。

但就Sam而言，他不太关心如何描述GPT-4的内部体验，而更关心它能做什么。

因为基于它所接受的训练，GPT-4能够创建商业策略，能够编写代码，能够弄清楚如何将钉子堆叠在瓶子和鸡蛋上，这很奇怪。这些都没有被设计进去。你运行相同的代码来获得所有这些不同级别的行为。让Sam不安的是，如果GPT-4能够做到这些没有被设计进去的事情……

像OpenAI这样的公司可能无法预测下一个系统能够做什么。这些公司无法真正地说，“好吧，明年我们将能够做到这一点，然后一年后我们将能够做到那一点。”他们那时不知道它将能够做什么。他们只能等待并观察，好吧，它能够做什么？它能写出一篇像样的文章吗？它能解决高中数学问题吗？

仅仅是将这些系统投放到世界上，看看它们会做什么。值得强调的是，GPT-4的许多能力是在它发布给公众之后才被发现的。这似乎是在我们将这些东西投放到世界时措手不及的秘诀。为使事情顺利进行而奠定基础将比需要困难得多。一些像埃莉这样的研究人员反对这种能力从根本上不可预测的观点。

我们可能只是还无法预测它们。科学会越来越好。它只是还没有赶上，因为这一切都发生在一个很短的时间框架内。但有可能，就像这是一个全新的野兽，它实际上是一件从根本上不可预测的事情，这是一种可能性。我们绝对不能排除这种可能性。

随着人工智能变得越来越强大，并越来越融入世界，其创造者无法完全解释它的事实就变成了更大的责任。因此，一些研究人员正在推动更多努力去神秘化人工智能，使其具有可解释性。人工智能研究中的可解释性目标……

能够查看我们的系统内部，并说明它们在做什么，为什么这样做，只是清楚地解释系统内部发生的事情。萨姆说，解决这个问题主要有两种方法。一种是尝试破译我们已经拥有的系统，以了解这些数十亿个上下波动的数字实际上意味着什么。另一条研究途径是尝试构建能够完成我们对像GBD4这样的东西感到兴奋的许多强大功能的系统，但是……

中间没有这些巨大的难以理解的数字堆，通过设计，网络的每一部分，系统的每一部分都意味着我们可以理解的东西。但是，由于这些系统的每一部分都必须是可解释的，工程师们常常不得不做出艰难的选择，最终限制了这类人工智能的能力。这两种方法在实践中都证明极其困难。不幸的是，我认为我们在两者上都没有取得关键性的快速进展。

之所以如此困难，原因有几个。一个原因是这些模型是基于大脑的。如果我们问关于人脑的问题，我们经常没有好的答案。我们无法观察一个人的思维方式，并通过观察神经元的放电来真正解释他们的推理。我们还没有……

真正拥有能够让我们详细思考心灵所做事情的语言，真正拥有这些概念。第二个原因是GPT-4中进行的计算量非常巨大。这些神经网络中有数百亿个连接。因此，即使你找到了一种方法，如果你盯着网络的一部分看几个小时，你就可以对正在发生的事情做出一些很好的猜测。

我们需要地球上的每个人都盯着这个网络看，才能真正完成解释它的所有工作。但这里还有一个更棘手的问题。不可解释性最终可能只是研究人员达成的协议。当科学家委托人工智能发展自身能力时，他们允许它产生我们无法解释的解决方案。它不再只是鹦鹉学舌地将我们人类的知识反馈给我们。它是一种新的东西。

它可能是理解，可能是学习，也可能是其他什么。但最奇怪的是，现在我们不知道。我们最终可能会在某一天弄清楚，但这并不能保证。而公司仍在向前推进，部署这些程序，这些程序之所以如此强大，可能正是因为我们缺乏理解。

我们越来越清楚地看到，这项技术正在以非常迅速的速度朝着一些看起来非常重要，并可能破坏许多重要机构稳定的方向发展。但我们不知道它的发展速度有多快。我们不知道它在起作用的时候为什么起作用。我不知道，这对我来说似乎非常合理。在接下来的十年左右的时间里，我们将如何更好地理解这一点以及如何驾驭它，这将是决定性的故事。

下周，在我们“黑匣子”系列的第二部分中，我们将探讨如何领先于我们不了解的技术？我们以前见过这样的故事。科技公司实际上是在对社会进行大规模实验。我们没有做好准备。巨大的危害发生了。之后，我们开始赶上来，我们说，哦，我们不应该让那场灾难再次发生。我希望我们能够避免这场灾难。

本集由我，诺姆·哈森费尔德报道和制作。布莱恩·雷斯尼克和凯瑟琳·威尔斯对我们进行了编辑，伯德·平克顿和梅雷迪思·霍德诺特也提供了帮助，她还管理着我们的团队。克里斯蒂安·阿亚拉负责混音和声音设计。音乐由我创作。事实核查由塞雷娜·所罗门、田阮、伯德和梅雷迪思完成。曼迪·阮正在四处搜寻。

对于剧集开头的机器人语音，我使用了一个名为Descript的程序。如果您对他们的隐私政策感到好奇，可以在descript.com/privacy上找到它。还有一点需要注意的是，萨姆·鲍曼在纽约大学领导一个研究小组，该小组获得了开放慈善机构的资助，这是一个资助人工智能、全球健康和科学发展研究的非营利组织。我的兄弟是开放慈善机构的董事会成员，但他不参与任何其他拨款决定。

本周特别感谢塔尼娅·派、布莱恩·卡普兰、丹·亨德里克斯、艾伦·陈、加布·戈麦斯，还要特别感谢凯尔西·派珀，她真是太棒了。如果您对节目有任何想法，请发送电子邮件至[email protected]，或者您可以给我们留下评论或评分，我们也很乐意收到。Unexplainable是Vox Media Podcast Network的一部分，我们下周将推出“黑匣子”系列的第二集。