The ‘Godfather of AI’ says we can’t afford to get it wrong
46:53 Share

杰弗里·辛顿是世界上人工智能领域最伟大的思想家之一。他获得了2024年诺贝尔物理学奖。他认为人工智能的未来在哪里？</context> <raw_text>0 这里是《On Point》节目。我是梅格纳·查克拉巴蒂。2024年，杰弗里·辛顿获得了诺贝尔物理学奖，这个奖项让他有点哭笑不得，我们稍后会听到相关内容。诺贝尔委员会授予他该奖项的理由是，引用其原话，“……奠基性的发现和发明，使利用人工神经网络进行机器学习成为可能。”他与约翰·霍普菲尔德共同获得了这一荣誉。

此前，在2018年，辛顿与两位长期合作的同事约书亚·本吉奥和杨立昆共同获得了图灵奖，该奖项通常被称为“计算机领域的诺贝尔奖”，以表彰他们在神经网络方面的工作。辛顿的工作是如此基础性，以至于他被认为是源于人工神经网络的、改变文明的技术的“教父”。换句话说，他被称为人工智能的“教父”。

从2013年到2023年，辛顿教授在谷歌的深度学习人工智能团队工作。他目前是多伦多大学的名誉教授。鉴于他在人工智能发展中的显赫地位，当你听到杰弗里·辛顿也说他所参与创造的事物有可能毁灭人类本身时，你的耳朵就会竖起来。

他现在加入了我们。辛顿教授，欢迎来到《On Point》节目。您好。我做了一件有点坏事，那就是我向听众暗示了人类的终结，我实际上会在节目的稍后时间问你这个问题。所以，各位，请继续收听，因为在我们谈到世界末日情景之前，我想花一些时间更好地了解你的工作，以便帮助我们理解你——

在此提出的潜在预测，这些预测具有更大的严重性。因此，据我了解，在你职业生涯早期研究神经网络时，有人曾经称之为神经网络中“不光彩的子领域”。你认为这是一个公平的描述吗？也许那时是。那时。为什么？

大多数从事人工智能和计算机科学的人认为这是无稽之谈。他们认为，如果你从具有随机连接强度的神经网络开始，你将永远无法学习复杂的事物。他们认为，学习复杂的事物必须具备大量的先天结构。

他们还认为逻辑是智能的正确范例，而不是生物学。他们错了。那么，当我们说神经网络时，我们在计算方面指的是什么，对吧？因为很显然，在大脑中，对它的一个粗略描述就是我们大脑中数万亿个神经元连接的方式。那么，这如何转化到计算世界中呢？所以我们可以用计算机模拟大脑。

我们可以让它拥有许多假想的神经元以及它们之间假想的连接。当大脑学习时，它会改变这些连接的强度。因此，使神经网络发挥作用的基本问题是如何决定是增加连接的强度还是减少连接的强度？如果你能弄清楚这一点，那么你就可以使神经网络学习复杂的事物。这就是现在发生的事情。

但在增强大脑中连接强度的方面，强度意味着什么？是否有更多的神经元致力于这一系列连接？我实际上只是想从根本上理解这一点。请继续。好的，我会给你一个大约一分钟的关于大脑如何工作的描述。好的，请说。你有一大堆神经元。其中一些神经元接收来自感官的输入，但大多数神经元都接收来自其他神经元的输入。当神经元决定活跃起来时，它会向其他神经元发送一个信号。

当该信号到达另一个神经元时，它会导致一些电荷进入神经元。它导致进入的电荷量取决于连接的强度。每个神经元所做的是查看它获得了多少输入。如果它获得足够的输入，它就会变得活跃并向其他神经元发送信号。

就是这样。这就是大脑的工作方式。它只是这些神经元彼此发送信号。每次神经元从另一个神经元接收信号时，它都会注入一定量的电荷，这取决于连接的强度。因此，通过改变这些强度，你可以决定哪些神经元会活跃。这就是你学习做事的方式。请原谅我，也许我只是……

今天脑子不太清醒。但是，再说一次，连接的强度意味着什么？信号的频率还是跨突触的实际电荷水平？这是什么意思？好的。当信号到达时，突触将向信号到达的神经元注入一定量的电荷。随着学习的进行，注入的电荷量会发生变化。我明白了。好的。好的。

谢谢你解释这一点。那么，在计算世界中，什么比喻会增强计算神经网络的这种学习能力呢？所以在数字计算机上，我们模拟神经元网络。数字计算机可以模拟任何东西，我们模拟神经元网络，然后我们需要制定一个规则，说明连接强度如何作为神经元活动函数而变化。

这就是神经网络中的学习。它是在计算机上模拟的神经网络，并具有改变连接字符串的规则。我明白了。模拟本身，我们只是在谈论代码行，据我了解，现在已经达到了数万亿行。但这就是我们所说的？

不，它不是数万亿行代码。我们谈论的代码行并不多，这些代码行指定了学习过程是什么。也就是说，代码行必须做的是说，作为神经元如何被激活的函数，例如它们一起激活的频率，我们如何改变连接强度？这不需要很多代码行。我们拥有数万亿的是连接和连接强度。我明白了。是的。

因此，与大多数计算机程序不同，计算机程序只是执行某些操作的软件代码行，在这里，我们有一些软件代码行来告诉神经网络如何学习模拟的神经网络。但是，你最终得到的是所有这些学习到的连接字符串。你不必指定这些。这就是重点所在。它从数据中获取这些。好的。

感谢你包容我对这方面基本问题的提问，因为我们已经做了很多关于人工智能的节目，而且我仍然——我不能公平地说我完全理解它是如何运作的，即使它正在以明显和不那么明显的方式改变着当今——

我们生活的许多方面。所以，回到你在计算神经网络职业生涯的早期，正如你所说，它曾经是计算机科学中一个不太受重视或低估的领域。是什么让你当时坚持在这个领域？是什么让你着迷？好吧，很明显，大脑必须以某种方式学习。因此，你显然必须弄清楚它是如何改变连接强度的，因为这就是它学习的方式。另一个是我的学校经历。我来自一个无神论者家庭，他们把我送进了一所私立基督教学校。

所以当我七岁到达那里时，其他人都相信上帝，这在我看来是无稽之谈。随着时间的推移，越来越多的人同意我的观点，认为这是无稽之谈。因此，作为唯一相信某事的人，然后发现实际上许多其他人也开始相信它，这种经历可能有助于我继续研究神经网络。越来越多的同学改变了他们对上帝的看法？

是的，当然，因为当他们七岁的时候，他们都相信圣经老师和他们的父母告诉他们的东西。当他们长大后，他们意识到很多都是无稽之谈。你在这个学校待了多少年？从七岁到十七八岁。好的，这是一个持续反对潮流的时期。

那么，在你之后又做了很多年的研究之后，你有没有想过，也许这不值得追求？因为要么进步没有到来，要么没有得到什么见解，或者我不知道，即使有资金。挑战是什么？是的。

让我看看，我从来没有认为这是错误的方法。对我来说，这显然是正确的方法。在早期，当计算机速度慢得多的时候，确实有一些困难时期，因为很多事情都没有奏效。在早期，我们没有意识到你需要大量的计算能力才能使神经网络发挥作用。

直到像用于玩视频游戏的图形处理单元出现后，我们才拥有足够的处理能力来证明这些东西确实运行良好。在此之前，它们的结果往往令人失望。那么，你会说这是过去，比如说10到15年里，我们看到人工智能能力如此飞跃的一个最大的、也许是鲜为人知的方面吗？这是因为，简单地说，硬件的进步？

这并不是完全鲜为人知。如果你看看英伟达现在的价值，它价值约3.5万亿美元。观点很好，实际上。对不起。你知道吗？我在这一点上被纠正了。好吧，你并没有完全错。所以在学术奖项方面，直到最近，一个大奖才颁给了英伟达的创始人黄仁勋。

英伟达对很多进步负责。你知道，我认为他也有和你非常相似的态度，因为我见过他做的采访，他说，如果它不难，或者如果任务看起来不可能完成，那就没有必要去做。好的，那么现在谈谈你谷歌的经历，因为你确实开发了一家后来被谷歌收购的公司，你在那里工作了很多年才离开。

但是你会如何描述人工智能，正如我们在公众中所理解的那样，它是如何学习的呢？它像激发你最初研究的生物神经网络那样学习吗？

好的，在非常细致的描述层面，显然有很多差异。我们并不完全了解神经元的工作原理。但在更一般的描述层面，是的，它的学习方式与生物神经元的学习方式相同。也就是说，我们模拟一个神经网络，它通过改变连接强度来学习。这在大脑中也是如此。但我认为我的理解是，一些……

一些看到神经网络的人，机器神经网络是完全不同的。人类会通过简单地漫游世界来有机地学习。我们有经验。我们的大脑以某种方式绘制出这些经验之间的关系。它有点抽象，而不是

像机器学习那样刻意。这是不正确的吗？不，这是不正确的。也就是说，机器学习的方式与我们学习的方式一样有机。它只是在模拟中完成的。好吧，解释一下，因为我昨晚实际上是在阅读那些不同意这一点的人的文章，他们说机器学习纯粹是深思熟虑的，这是他们不同意你关于如果人工智能继续以目前的方式发展将会发生什么的末日情景的一些原因之一。是的，有一些人，特别是那些相信老式符号人工智能的人，认为这些都是无稽之谈。对他们来说，它比他们曾经创造的任何东西都好用得多，这有点让他们恼火。在这个阵营中，有像乔姆斯基这样的人，

他们认为，例如，语言不是习得的，而是天生的。他们真的不相信在神经网络中学习事物。长期以来，他们认为这是无稽之谈。尽管它运行得非常好，但他们仍然认为这是无稽之谈。但是，所以我读了……

你在《纽约客》上接受的冗长采访。你对《纽约客》记者说，好的，理解人工智能的一种方法是，如果你——作为一个普通人，如果我吃一个三明治，对吧，我的身体显然会把三明治分解成——

各种营养物质，数千种不同的营养物质。因此，我的身体是由这些三明治碎片组成的吗？你说不，这对于理解现代神经网络的工作原理很重要。为什么？是的，让我详细说明一下。例如，当你进行机器翻译或理解某种自然语言时，单词会输入，当你做出回答时，单词会输出。

问题是，中间是什么？中间是单词吗？基本上，老式符号人工智能认为它类似于中间的单词，即由规则操作的符号表达式。现在，实际发生的情况是，单词输入，它们会导致神经元的激活。在计算机中，我们将单词或单词片段转换为模拟神经元的大量激活集。

所以单词消失了。我们现在有了模拟神经元的激活。这些神经元相互作用。所以把神经元的激活想象成一个特征，一个检测到的特征。我们有特征之间的相互作用。这就是所有知识的所在。知识在于如何将单词转换为特征以及这些特征应该如何相互作用。

知识并不以单词的形式存在。因此，例如，当你得到一个聊天机器人时，当它学习时，它不会记住任何单词串，不是字面意义上的。它正在学习的是如何将单词转换为特征以及如何使特征相互作用，以便它们可以预测下一个单词的特征。

这就是所有知识的所在。从这个意义上说，这与三明治被分解成丙酮酸等原始物质，然后你用它来构建一切是一样的。

同样，输入的符号串，单词串，被转换为特征和特征之间的相互作用。所以这是从这些组件中创造出全新的东西。是的。然后，如果你想让它记住某些东西，它不会像你在传统计算机上那样记住它。在传统计算机上，你可以在某个地方存储一个文件，然后去检索该文件。这就是内存。

在这些神经网络中，情况完全不同。它将所有内容转换为特征和特征之间的相互作用。

然后，如果它想产生语言，它必须重新合成它。它必须再次创建它。所以这些东西中的记忆总是被重新创造的。它们不仅仅是逐字的副本。对人来说也是如此。这就是为什么这些东西会产生幻觉。也就是说，它们只是编造东西。对人和这些大型计算机神经网络来说，编造东西和记住东西之间没有真正的界限。记住就是当你编造东西并做对的时候。

哦，很有趣。好的，所以现在我们进入了一个领域，当我们谈论智能领域时，

人工智能，我们具体指的是什么？因为我要争辩说，人类的智力远不止我们用语言处理的东西，对吧？我的意思是，这是一个……哦，绝对是的。绝对的。还有各种视觉智能和运动智能。对。我的意思是，这是一个基本的例子。就像，我通过与之进行物理互动来了解很多关于世界的事情。

所以，你知道，人工智能系统，它们获得的关于世界物理性的唯一信息是通过我们用来描述它的单词。所以仅仅通过这个例子，人工智能是否永远不可能像人类那样具有多维度的智能，仅仅是因为输入到这些系统中的信息的限制？

关于这一点，有两点需要说明。一是，令人惊讶的是，你仅仅通过处理语言就可以获得多少关于物理世界的的信息。其中有很多隐含的信息，你只需要学习预测下一个单词就可以从中获得很多信息。但基本点是正确的，如果你想让它像我们一样理解世界，你必须赋予它相同的世界知识。所以我们现在有了这些多模式聊天机器人，它们既可以获得视觉输入，也可以获得语言输入。

如果你有一个带有机械臂或操纵器的多模式聊天机器人，那么它也可以感知世界。显然，你需要这样的东西才能获得我们所拥有的那种完整的世界知识。事实上，现在人们甚至正在制作可以闻到气味的神经网络。但如果我们担心的是，事实上，人工智能的超人类潜力……

但是，我们对思维的定义是什么呢？我的意思是，目前存在的AI系统，无论是公开的还是非公开的，你认为它们中的任何一个都在积极地思考，还是仅仅擅长创建你所说的那些新网络？

不，那是思考。那是思考。好的。当一个问题进来，问题中的单词被转换成特征，并且这些特征之间有很多相互作用，然后由于这些相互作用，它预测了答案的第一个单词，那就是思考。在过去，符号人工智能的人认为思考包括在你的脑海中拥有符号表达式并用规则操作它们。他们把这定义为思考。

但这在我们身上并没有发生，在这些人工神经网络中也没有发生。那么根据这个定义，人类的情感体验能够在机器学习环境或人工智能系统中复制吗？我认为你需要区分情感的两个方面。例如，让我们以尴尬为例。当我感到尴尬时，我的脸会变红。

这在这些计算机中不会发生。我的意思是我们可以让它发生，但这不会自动发生在这些计算机中。但当我觉得尴尬时，我也会尽量避免将来出现这种情况。情感的这种认知方面可以在这些事物中发生。所以它们可以具有情感的认知方面，而不一定具有生理方面。对我们来说，两者是紧密相连的。你描述的是无形的感知。

对吧？是的。我的意思是，听起来你是在说人工智能已经能够感知了。是的。你为什么这么说？我的意思是，因为这在我的最深层的动物本能中，听到这很令人不安。是的。人们不喜欢听到这个。大多数人仍然不同意我的观点。那么证明一下。你为什么这么说？好的。所以让我们……

像感知这样的术语定义不明确。所以如果你问人们，这些神经网络有感知吗？人们会非常自信地说，不，它们没有感知。然后如果你说，那么你对感知的定义是什么？他们会说，我不知道。所以这是一个很有趣的组合，他们自信地认为它们没有感知，但不知道感知是什么意思。所以让我们来谈一些更精确的东西。让我们谈谈主观体验。所以在我们的文化中，大多数人，我不知道其他文化怎么样，但在我们的文化中大多数人

认为心灵是一种内在的剧场。在这个剧场里发生的事情只有我能看到。例如，如果我说，假设我喝醉了，我说，我看到前面漂浮着粉红色的象。或者更确切地说，我说，我有粉红色的象漂浮在我面前的主观体验。

大多数人和许多哲学家都会说，正在发生的事情是，有一个内在的剧场，在这个内在的剧场里，有粉红色的象。如果你问，它们是由什么构成的？哲学家会告诉你它们是由什么构成的。它们是由质构成的。有粉红色的质、象的质和漂浮的质，以及所有这些质都粘在一起，用质胶粘在一起。这就是它的一切构成。

现在，一些哲学家，比如丹尼特，我同意他的观点，认为这是无稽之谈。从这个意义上说，没有内在的剧场。所以让我们来看一下我们对主观体验的另一种看法。如果我喝醉了，看到粉红色的象，我知道它们并不真的存在。这就是为什么我使用“主观”这个词来表示它不是客观的。我想做的是告诉你

我的感知系统试图告诉我什么，即使我知道我的感知系统在欺骗我。所以这里有一个等效的说法。我可以说，如果在我面前漂浮着许多粉色的小象，我的感知系统就会告诉我真相。现在，我所做的就是把一个包含“主观体验”这个词的句子翻译成一个不包含“主观体验”这个词但意思相同的句子。

所以，当我们谈论主观体验时，我们谈论的不是内在剧场中只有我才能看到的滑稽的内部事物。我们谈论的是世界的假设状态，如果那是真的，我的感知系统就会告诉我真相。

这是思考主观体验的另一种方式。它只是世界的一种替代状态，实际上并不存在。但如果世界是这样的，我的感知系统就会正常运作。这就是我相当曲折地告诉你我的感知系统是如何欺骗我的方式。不过，你谈论的是一种元认知。人工智能有吗？

好的，现在让我们来看一个聊天机器人，让我们看看我们能否对多模态聊天机器人做同样的事情。所以聊天机器人有一个摄像头，它可以说话，它还有一个机械臂，我以通常的方式训练它，然后我把一个物体直接放在它前面，并说指向那个物体，它就指向它的正前方，我说很好。现在当聊天机器人不看的时候，我把一个棱镜放在摄像头的镜头前，它会弯曲光线，

然后我把一个物体直接放在聊天机器人前面，我说指向那个物体，它指向一边。好的，欣顿教授，请稍等片刻，因为我正焦急地想知道这个思想实验的结果。但我们必须稍作休息。我们回来后会继续进行。这是《论点》。《论点》。

《论点》中对人工智能报道的支持来自MathWorks，它是MATLAB和Simulink软件的创建者，用于技术计算和基于模型的设计。MathWorks，加速工程和科学领域的发现速度。了解更多信息，请访问mathworks.com。

以及来自奥林工程学院，致力于通过“人工智能与社会”等课程向学生介绍人工智能在工程中的伦理意义，olin.edu。

欢迎回到《论点》。我是梅格纳·查克拉巴蒂，杰弗里·欣顿教授今天加入我们。他是去年的诺贝尔物理学奖获得者。他被认为是人工智能之父。欣顿教授，您正在引导我们进行这个思想实验，探讨如何判断人工智能是否具有元认知能力。您把我们留在了机器前面有一个棱镜的地方。请继续。

好的，我们试图弄清楚聊天机器人是否可能有主观体验。不是元认知，而是主观体验。其想法是，你把它打开，把一个物体放在它前面，要求它指向那个物体，它可以很好地做到这一点。然后你把一个棱镜放在它的摄像镜头前，然后把一个物体放在它前面，并要求它指向那个物体，它指向一边。

然后你告诉聊天机器人，不，物体不在那里。物体实际上就在你面前，但我把一个棱镜放在你的镜头前。聊天机器人说，哦，我明白了，棱镜弯曲了光线。所以物体实际上就在我面前，但我主观地感觉它在一边。现在，如果一个聊天机器人这么说，它使用“主观体验”这个词的方式与我们完全一样。好的，鉴于此，

你目前是否看到人类智能和人工智能之间有任何区别？是的，有很多很多区别。它们在细节上并不完全相同，根本不像那样。但关键是，现在这些神经网络中的AI处于同一水平。

它与人类的智力并不完全相同，但它比计算机代码更像人类。嗯哼。

我想，我在内心经历的挣扎，无论是在情感上还是智力上，都是试图跨越这一步，去相信我们生活在一个非有机实体拥有与人类同等水平，甚至更高水平的智力的世界里。所以这让我们回到了节目的开头，谈论你的——

你有一个相当末日般的设想，你认为有什么？绝对是非零的，甚至可能高达20%的几率，在30年内，人工智能可能导致人类灭绝。为什么？再次阐述导致你得出20%结论的证据。

好的，很难估计这些事情。所以人们只是在编造数字。但我非常有信心，这个几率大于1%。而且非常有信心它小于99%。一些研究人员认为几率小于1%。而其他研究人员认为几率大于99%。我认为这两个群体都疯了。它介于两者之间。我们正在处理一些我们以前从未有过这种经验的事情。所以我们应该非常不确定。

大约10%到20%对我来说似乎是合理的数字。随着时间的推移，也许不同的数字看起来会更合理。但关键是，我们几乎所有领先的研究人员都认为，除非我们在此期间炸毁世界或发生其他事情，否则我们最终会开发出比我们自己更聪明的东西。所以超级智能即将到来，没有人知道我们如何控制它。

我们很可能能够找到一些方法来确保超级智能永远不会取代人类。但我一点也不相信我们知道如何做到这一点。事实上，我相信我们不知道如何做到这一点。我们应该一开始就致力于研究这个问题。

如果你问自己，你知道多少例子，更聪明的东西被不太聪明的东西控制，而智力的差异很大？不像一个聪明人和一个愚蠢的总统之间的区别，而是一个很大的智力差异。现在，我们不知道很多这样的例子。事实上，我唯一知道的甚至接近这个例子的例子是母亲和孩子，母亲和婴儿。

所以对婴儿来说控制母亲非常重要。进化已经做了很多工作来实现这一点。母亲无法忍受婴儿哭的声音等等。但这样的例子并不多。一般来说，更聪明的东西控制着不太聪明的东西。现在，有理由相信，如果我们制造出超级智能的AI，它会想要控制。而相信这一点的一个很好的理由是，如果你想完成任何事情，

即使你试图为其他人做事，为了完成事情，你需要更多的控制。拥有更多控制权会有所帮助。想象一下一个成年人。想象一下，你是一个有大约三岁小孩的父母，你正急着去参加一个聚会。而孩子决定现在是学习自己系鞋带的时候了。也许这会在稍后发生。

那么，如果你是个好父母，你会让它尝试系一两分钟鞋带，然后你说，好吧，我们稍后再做。交给我吧。我现在就要做。你控制局面。为了完成事情，你控制局面。问题是，这些超级智能的AI会以同样的方式行事吗？我认为它们会的。所以我想在这里暂停一下，问问你，你认为……

你认为人工智能是否已经达到或将在不久的将来达到这样的水平：如果你正在与人工智能系统进行这样的对话，它听到你说，不像一个聪明人和一个愚蠢的总统之间的区别，人工智能会打断并说，哈哈，欣顿教授，我听到了你刚才说的话，马斯克、特朗普的比较。现在的人工智能系统能做到吗？是的，它可能可以。真的吗？是的。

好吧，我们可以试试，但它可能可以，是的。太神奇了。好的。所以有——我只是想说我很欣赏你斜眼看我的样子，你刚才讽刺了一下。但我想知道你对此怎么看。

再次，一些相当有力的论点反对你关于智力相对差异以及事物在一方对另一方统治方面的方式的说法，我必须说，我理解。你可以把人类看作一个完美的例子，由于我们的智慧，我们真的统治着整个地球，统治着地球上的所有其他生物，因为这一点，好吗？但另一方面，

一些研究人员会说，看，还有这个问题，它被称为什么，愚蠢的超级智能。我前几天遇到的一个例子是一个研究人员说，嘿，如果我们要求人工智能系统解决气候变化问题。

人工智能系统可能会很自然地提出一个解决方案，说，好吧，消灭所有人类，因为人类向大气中排放的碳是目前正在加速气候变化的原因。但这位研究人员认为，人工智能系统可能会提出这个解决方案，但不会，你知道，要么没有能力，要么没有能力去执行它，或者会因为它的智慧而意识到这不是一个最佳的解决方案。所以因此……

有一种感觉是，我们永远不会创造出能够摧毁我们的技术。这就是所谓的对齐问题，你对人工智能说，解决气候变化问题。如果它真的听你的话，并说你的真正目标是解决气候变化问题，那么显而易见的事情就是摆脱人类。

当然，超级智能的人工智能会意识到这不是我们真正想要的。我们的意思是解决气候变化问题，这样人们就可以永远快乐地生活在这个星球上。它会意识到这一点，所以它不会摆脱人类。

但这确实是一个问题，人工智能可能会做一些我们不打算让它做的事情，因为当我们告诉它我们想要什么时，我们并没有真正充分表达自己。我们没有给出所有的限制条件。它必须理解所有这些限制条件。例如，解决气候变化的限制条件之一是不消灭人类。但如果它真的比人类更聪明，是不是可以安全地假设它会理解这些限制条件？

我认为会的，是的。但我们不确定在每种情况下都会发生这种情况。好吧，这里还有另一个……

反对的声音，因为大约一年半前，在2023年5月，我们实际上做了一个关于人工智能是否应该受到监管的节目。它受到了数百名研究人员签署的那封信的启发，这封信鼓励暂停人工智能研究，以便监管能够赶上。我注意到你没有签署那封信，因为据我了解，你认为目前不应该停止研究。但是

我不是不相信它应该停止。我不相信它可以停止。是的。利润太多了，会有太多好处让我们无法停止人工智能的发展。对。我一直认为停止人工智能是很困难的。

人类的好奇心会继续尝试回答问题。所以观点正确。顺便说一句，朋友们，如果你错过了关于人工智能监管的节目，可以在onpointradio.org上查看。在我们的播客订阅中查看。但我想要播放一段介绍斯图尔特·罗素的片段。他是加州大学伯克利分校的计算机科学教授。他签署了2023年3月撰写的公开信。而且他

他强烈认为需要监管，但他确实在这个节目中反驳了对人工智能的末日恐惧。以下是他说的话。它似乎并没有形成一个关于世界的一致内部模型，尽管它已经阅读了数万亿字的文本。它仍然会犯非常非常基本错误。例如，我的朋友普拉萨德·塔多帕利，他是俄勒冈大学的教授，

给我发了一段对话，他首先问它，哪个更大，大象还是猫？它说大象比猫大。你说，好吧，哪个不大，大象还是猫？它说大象和猫都不比另一个大。所以它在两句话之间自相矛盾了一个基本事实。而且，而且

人类，我的意思是，我们偶尔会精神崩溃，但总的来说，我们试图保持我们对世界的内部模型的一致性。我们不会在基本事实方面自相矛盾。

所以这些系统的工作方式中缺少一些东西。这就是斯图尔特·罗素谈到人工智能仍然存在它没有意识到的内部矛盾的事实。另一个反对的声音也来自同一个节目。这是彼得·斯通。他是德克萨斯大学奥斯汀分校的计算机科学教授，也是机器人技术主任。以下是他说的话。

我认为可以安全地假设这些发现将会被发现。我认为我们很有可能达到，嗯，你知道，一个……AGI或人工通用智能的点，但我们不，我们真的不知道那会是什么样子。它不太可能只是当前大型语言模型的扩展。而且，嗯，

所以，你知道，我认为我们不可能在没有预见到它，没有能够准备并试图利用它，我认为，为了利用它造福人类的情况下发生这种情况。所以，欣顿教授，我很高兴能够在今天与您交谈，因为这两个片段来自我实际上要求他们直接回应你所说的一些话的节目。

所以我很想听听你对他们怀疑我们是否会达到人工智能能够或愿意摧毁我们的程度的回应。让我们从斯图尔特·罗素开始。我非常尊重他在致命自主武器和人工智能安全方面的工作。但他来自老式的符号人工智能学派。他写了关于老式符号人工智能的教科书。

他从未真正相信神经网络，所以他对这些东西与人类的相似程度的看法与我大相径庭。他认为人们使用某种逻辑，而且人们在推理时所做的事情与目前这些神经网络中发生的事情完全不同。我不这么认为。我认为人们在推理时所做的事情与这些神经网络中发生的事情非常相似。所以这里有一个很大的区别。

让我给你做一个小的演示，人们也会犯这些错误，这会让你说他们真的不能思考。所以我要对你做个实验。我希望你愿意。只要它在两分钟内完成，先生。这个实验的关键是你必须很快回答。好的，我会尽力而为。我们将根据你回答的速度来给你评分。

你脑海中想到的第一件事就是你的答案，好吗？好的。我会测量你说出答案的速度。好的。好的，这是问题。奶牛喝什么？水。你说，嗯，然后你说水。我本来想说牛奶。你本来想说牛奶，不是吗？是的。所以你脑海中想到的第一件事是牛奶。而这并不是大多数奶牛喝的东西。现在，你很聪明，你设法阻止自己说牛奶。但你开始说了。

是的，你当场抓住了我。因此，这就是内部矛盾。发生的事情是，有很多关联让你认为牛奶是正确的答案。你抓住自己，意识到实际上大多数奶牛不喝牛奶。但人们也会犯错误。所以这个特殊的例子是

他们所谓的幻觉。当它是语言模型时，他们应该称之为虚构，这些大型语言模型只是编造东西。这使得许多人说他们不像我们，他们只是编造东西。但我们一直都在这样做。哦，是的。至少我认为我们这样做。我只是编造了这个。如果你看看水门事件的审判，约翰·迪恩在宣誓作证时描述了在椭圆形办公室举行的各种会议。他说的很多话都是胡说八道。

当时他不知道有录音带。所以这是一个罕见的情况，我们可以回顾几年前发生的事情，并准确地知道在椭圆形办公室说了什么。我们让约翰·迪恩尽力去报告。他犯了很多错误。他与不在会议上的人会面。他让人们说其他人说的话。但他显然是在试图说实话。

人类记忆的工作方式是我们只说根据我们的经验似乎合理的事情。现在，如果这是一个最近发生的事件，那么根据我们刚刚的经验似乎合理的事情就是实际发生的事情。但如果是一些时间以前发生的事件，那么似乎合理的事情会受到我们在其间学习的所有事情的影响，这就是为什么你无法报告早期儿童时期的准确记忆的原因。

所以我们就像这些大型聊天机器人一样。好吧，欣顿教授，我无法告诉你今天与你交谈是多么荣幸。我将问你最后一个快速的是非题。你认为人类能够提出规章制度、技术或不同的生活方式，以便我们能够在人工智能继续发展的同时阻止它摧毁我们吗？

我只是不知道。我希望我们能。如果我们让大型科技公司在安全方面投入更多工作，也许我们可以。你在这个问题上作弊了。我想要是或否的答案，但我感谢你。但你知道吗？你的答案是我所能希望的最现实的答案。杰弗里·欣顿教授，他去年获得了诺贝尔物理学奖。他被称为人工智能之父，或者这就是他被称为的名字。与您交谈真是荣幸，欣顿教授。非常感谢你。谢谢。我是梅格纳·查克拉巴蒂。这是《论点》。