Could AI really achieve consciousness? w/ neuroscientist Anil Seth
56:51 Share

人类的大脑经常被描述为计算机——一种“连接”起来做出决策并对外部刺激做出反应的机器，这与我们日益使用的人工智能并没有太大的不同。但是，我们的大脑和驱动人工智能的计算机之间的区别在于意识——我们的内心世界，由经验和意识定义。Anil Seth是牛津大学认知与计算神经科学教授。他研究人类意识，并且他担心我们已经开始将人工智能视为有意识的头脑，而不是有用的工具。Anil和Bilawal坐下来讨论了智力和意识之间的区别，人工智能变得自我意识的可能性，以及赋予我们人工智能助手类人特征的危险。有关TED人工智能节目的文字记录，请访问go.ted.com/TTAIS-transcripts</context> <raw_text>0 嘿，Belaval在这里。在我们开始节目之前，我有一个小小的请求。如果您喜欢TED人工智能节目，请花一点时间在您的播客应用程序中评分并留下评论。您喜欢哪些剧集，您想听到更多关于哪些主题的讨论？您的反馈帮助我们塑造节目以满足您的好奇心，邀请优秀的嘉宾，并为您提供最佳体验。

在开发越来越复杂的人工智能的热潮中，一个大问题一直在萦绕。你知道这个问题。需要多长时间才能取得某种突破性的进展，出现某种奇点，人工智能突然变得自我意识？在人工智能变得有意识之前？但是我们有点操之过急了。

最近，人工智能研究人员的报告表明，人工智能模型的改进速度不如以前，并且正在达到所谓的缩放定律的极限，至少就预训练而言是这样。人们还担心我们正在耗尽有用的数据，这些系统需要更高质量和更大数量的数据才能继续以这种指数速度增长。

通往能够独立思考的机器的道路漫长而曲折，而且听起来似乎比我们想象的还要长。

目前，像ChatGPT的先进语音模式这样的智能界面（我在本季早些时候的一集中尝试过）有助于营造出在人工智能另一端进行对话的人类的错觉。令我惊讶的是，它实际上让我很高兴，甚至有点欺骗了我，至少有一点点，让我感觉ChatGPT真的在倾听。

就像朋友一样。然而，事情是，这是一个滑坡。我们正在构建一种技术，它非常擅长模拟人类，以至于我们开始赋予它人类的属性。我们开始想知道，这东西真的在乎吗？它真的有意识吗？如果不是现在，将来会在某个时候吗？顺便说一句，意识到底是什么？答案比你想象的要棘手得多。

为了解开它，我和一位从内到外解决这个问题的人进行了交谈，从我们知道是有意识的东西——人脑的角度出发。我的导师之一，哲学家丹尼尔·丹尼特，我们今年早些时候不幸失去了他。他说我们应该把人工智能当作工具而不是同事，并且永远记住它们之间的区别。那就是Anil Seth。他是牛津大学的认知与计算神经科学教授。

他研究人类意识，并写了一本关于它的好书。它叫做《成为你：意识的新科学》。他导师的这句话，一直萦绕在他心头。它也萦绕在我心头，因为我认为我们有这种倾向，总是将我们自己过多地投射到我们建造的技术中。我认为这是人类历史上一直在做的事情。而且它总是陷入困境，因为我们

我们倾向于误解我们建造的机器的能力。而且，在这个过程中，我们往往会贬低自己。我认为最近对人工智能的兴趣激增就是一个非常突出的例子，说明我们此刻正如何成为这个问题的牺牲品。这就是为什么Anil今天出现在节目中的原因。他来分享为什么他认为我们必须将人工智能视为工具，而不是朋友。

以及为什么这种区别不仅对这项技术的未来，而且对人类意识的未来都很重要。我是Bilal Siddoo，这是TED人工智能节目，我们在这里弄清楚如何在人工智能改变一切的世界中生活和茁壮成长。

嗨，我是Bilal Velsadu，TED最新播客《TED人工智能节目》的主持人，我与世界领先的专家、艺术家、记者交谈，帮助您在人工智能改变一切的世界中生活和茁壮成长。我很高兴能与IBM合作，他们是本集的官方赞助商。

现在，从通用人工智能试点到现实世界部署的路径往往充满了障碍，例如自由数据流的障碍。但是，如果我告诉你有一种方法可以在你的数据所在的位置部署人工智能呢？使用Watson X，你可以在任何环境中部署人工智能模型，在云端帮助飞行员导航飞行，在大量云端帮助员工自动化任务，在本地部署，以便设计师可以访问专有数据，

以及在边缘部署，以便远程银行出纳员可以协助客户。Watson X帮助您在需要的地方部署人工智能，以便您可以将您的业务带到任何需要去的地方。在ibm.com/Watson X了解更多信息，并开始在最需要的地方注入智能。

您的业务是现代化的，那么为什么您的运营不是呢？是时候进行运营干预了。PagerDuty Operations Cloud是自动化和加速公司关键工作的基本平台。通过自动化和人工智能，PagerDuty帮助您以更高的弹性、更高的安全性以及更高的节省率进行运营。您准备好改变您的运营了吗？在PagerDuty.com开始吧。

在我们接近《独立宣言》250周年之际，TED正在前往美国民主的诞生地费城，开展一项激动人心的新计划。在整个2024年，TED和费城旅游局将合作，在一系列三次炉边谈话中探索民主思想，这些谈话将塑造我们共同的未来，因为我们正在努力实现更完美的联盟。

我们2024年的第三次也是最后一次关于共同前进的活动于11月20日在历史悠久的阅读码头市场举行。由TED策展人惠特尼·彭宁顿-罗杰斯主持，我们重点介绍了TED演讲以及与世界冠军辩论家朱莉娅·达尔和伊姆斯研究所的好奇心负责人斯科特·希吉奥卡的座谈会。感谢费城旅游局和我们的支持合作伙伴美国银行、康卡斯特NBC环球和Highmark。

访问visitphilly.com/TED，了解更多关于此活动的信息，并了解我们2025年即将推出的激动人心的事情。所以，Anil，我一直都在思考，在我们发明数字计算机后不久，我们就开始将我们的人脑称为计算机。显然，这不仅仅是这些。但是，将我们的大脑描述为计算机，哪些方面是有帮助的，哪些方面是没有帮助的？

这显然非常有帮助。我的学术头衔是计算神经科学教授，所以我如果说这在某种程度上不是一种有用的思考方式，那就有点虚伪了。而且，主要是在哲学领域而不是神经科学或技术领域，存在一场非常激烈的辩论，关于

大脑是否真的像其他事物一样进行计算。事实上，大脑作为计算机的隐喻显然非常非常有帮助。如果你只是看看大脑内部，你会发现所有这些神经元、化学物质和各种复杂的东西。计算为我们提供了一种思考大脑正在做什么的语言，这意味着你不必太担心所有这些。

当然，在人工智能的早期，有一种观点认为智能可能是计算的问题。艾伦·图灵曾著名地提出过关于机器能否思考的问题。理论上规定了通用图灵机，它可以进行任何计算。并且认为，嗯，这可能是大脑正在做的，这变得非常有吸引力。同样在人工智能诞生之初，沃尔特·皮茨和沃伦·麦卡洛克

意识到神经网络，这些相互连接的人工神经元的简单抽象，构成了我们拥有的许多现代人工智能的基础，实际上充当

通用图灵机。所以我们有这种诱惑，这种想法认为，是的，大脑是神经元的网络。神经元的网络可以是通用图灵机，而这些是非常强大的东西。所以也许大脑是一台计算机。但我认为我们也看到了这种隐喻的局限性，以及大脑实际上可能

执行计算的所有方式，但它们也可能做其他事情。从根本上说，当我们将隐喻与事物本身混淆时，我们总是会遇到麻烦。

我喜欢这个。我认为很大一部分原因还在于我们谈论了超级计算集群以及技术发展速度有多快。我们几乎失去了对我们颅骨内智力的某些欣赏。为了说得非常清楚，今天的大脑与最先进的人工智能系统相比，复杂程度高出多少？

我的意思是，这完全是不同的东西。我认为如果我们纯粹从神经元数量的角度来考虑大脑，那我们真的对大脑很不公平。但即便如此，人脑中也有860亿个神经元，连接数更是多出一千倍。即使在这个层面上，它也极其复杂。此外，大脑非常复杂。一个区域的连接性可能与另一个区域的连接性略有不同。还有……

神经递质在大脑中四处游荡，每次神经元放电时都会发生变化，突触连接性也会发生轻微变化，它不是一个稳定的架构，然后还有所有神经胶质细胞和所有我们经常甚至没有考虑到的支持性部件，但事实证明它们实际上与大脑的功能密切相关，最近有一篇论文发表在

在《科学》杂志上，我认为这是一项巨大的、令人印象深刻的努力，旨在

尽可能详细地解开人脑皮层中一立方毫米脑组织。在这一个立方毫米中，你拥有1.5亿个连接，近6万个细胞。将所有这些数据存储在标准计算机中是一项巨大的工作来表征。即使这只是一个，你知道，它不是全部，对吧？这只是一个非常详细的模型。大脑非常复杂。非常复杂。这真是太神奇了。

大脑中纯粹的复杂性也令人感兴趣的是，大脑并不存在于一个容器中，对吧？至少通常情况下不是。当然，大脑与身体的其他部分协同工作。这种具体化的方面是否赋予人类相对于人工智能系统任何优势？我认为这取决于你想要系统做什么。你完全正确。大脑……

并非孤立地进化。它们是根据某些选择压力而进化的。这些选择压力是什么？它们并不是编写计算机程序或写诗或解决复杂问题。从根本上说，大脑的任务是维持身体的生存，后来是移动身体，例如动作控制等。这些对我来说至关重要的必要条件，理解大脑是什么样的东西

大脑是身体的一部分。它们不是这种能够将身体从一米移动到另一米处的肉体计算机。体内的化学物质会影响大脑中发生的事情。大脑与肠道甚至与微生物组进行交流。我们看到所有这些在体内发生的效应。然后，当然，身体被嵌入

世界，并且总是来自世界的反馈，理解大脑如何嵌入身体以及身体如何嵌入世界中的这些嵌套循环，我认为这是一个

与驱动我们当前许多人工智能的抽象、非具体化计算理想以及在许多科幻小说中所代表的理想非常不同的事情。我们有像HAL这样的东西，就像2001年那样，好吧，有宇宙飞船的身体，但它在许多方面是一种非具体化的智能。那么，我们具体化对于拥有意识和智力有多重要呢？我们稍后会谈到定义，因为……

我很好奇当你具体化人工智能时会发生什么。我当然想到了我们最近看到的所有类人机器人演示，这似乎是我们所做事情的一种粗略的表达。就像我们拥有感知世界的传感器系统，我们构建了它的地图，然后我们可以弄清楚如何在其中采取行动。这是一个令人着迷的问题。我的意思是，到目前为止，我们拥有的AI系统，我们倾向于主要听到的那些系统，语言模型和生成式AI，它们往往是

以一种非常非具体化的方式进行训练和部署，但这正在改变，机器人技术也在改进，它总是落后一点，但它正在改进，并且有

关于这会产生什么影响的令人着迷的问题。一个我认为是合理的可能性是，具体化人工智能系统，以便你根据物理交互对其进行训练，不要只是将预训练模型放入机器人中，而是以具体化的方式进行所有训练，这可能会给我们理由说人工智能系统实际上存在。

理解它们所说的内容（如果它是语言模型），或者理解它们所做的事情。因为我们语言中使用的这些抽象符号、单词，有一个很好的论点认为，它们的含义最终是基于与世界的物理交互。但这是否意味着人工智能系统不仅具有智能并且可能理解，而且还具有有意识的体验？这是一个单独的问题。

我认为还有许多其他事情可能需要我们认真考虑人工智能具有意识的可能性。我认为这让我想到

下一个合乎逻辑的问题，那就是智力和意识之间有什么区别？也许让我们从智力开始。智力和意识都很难定义，但大多数定义都立即指出它们是不同的。如果我们考虑智力的广泛定义，那就是在正确的时间做正确的事情。稍微复杂的定义可能是灵活解决问题的能力。并且

无论是解决魔方还是科学上的复杂问题，或者熟练地应对社交场合。这些都是正确时间做正确事情的各个方面。重要的是，智力是可以根据功能来定义的，根据系统的行为，最终的行为是什么。因此，对于机器来说，以某种方式变得智能并没有什么深刻的哲学挑战

对于机器来说，以某种方式变得智能并没有什么深刻的哲学挑战。可能有一些障碍会阻止机器以这种通用人工智能的方式变得智能，而这正是人类智能的方式。但智力从根本上来说是系统的属性。现在，意识是不同的。意识，同样，很难定义成一种能让每个人都认同的方式。

但从根本上说，意识不是关于做事，而是关于体验。它是在清醒和警觉之间以及在全身麻醉中意识的深刻丧失之间的区别。当你睁开眼睛时，你的大脑不仅仅是对进入视网膜的信号做出反应。有一种颜色、形状和阴影的体验。

这体现了正在发生的事情。一个世界出现了，以及其中一个自我。我认为托马斯·纳格尔有最好的哲学定义，那就是对于一个有意识的有机体来说，存在某种它作为该有机体的感觉。对我来说感觉像什么，对你来说感觉像什么。

现在你可以尽可能地完善这些区别，这些定义，但我认为已经很清楚了。它们是不同的东西。它们在我们人类身上结合在一起。我们知道我们是有意识的，我们认为我们很聪明，所以我们倾向于将两者结合在一起。但仅仅因为它们在我们身上结合在一起并不意味着它们在一般情况下必然会结合在一起。

当你将意识描述为这种主观体验时，现在在人工智能领域不断被提及的一个术语是“质料”，对吧？这种主观意识体验的概念，以及弄清楚大型语言模型是否真的能够拥有这种体验。当然，它们擅长让人觉得它们确实拥有这种体验，尤其是越狱模型。但这又让我回到了你谈到的另一件事，那就是我们对现实的感知是一种受控的幻觉，我们并没有完全像

以完全客观的意义感知现实。我不知道这是否是最好的表述，但我试图将这些点连接起来，在那里似乎即使是我们对现实的体验也很难理解和完全解释。所以我很好奇，这是否表明我们无法创建一个非常清晰的定义来衡量合成系统中的这种体验？是的，我认为你可以更进一步。我认为关于……几乎没有共识，根本没有共识

关于什么将是有意识体验的必要和充分条件，在这个意义上具有质料。

当你和我睁开眼睛时，我们会有视觉体验。它是红色的红色，绿色的绿色。这就是哲学家们所说的质料。关于这是否是一个有意义的概念，或者这只是我们认为很深刻的东西，而实际上这只是看待问题的一种错误方式，有很多争论。但对我来说，确实存在。当我们睁开眼睛时，会有视觉体验。但是，我们将其标记为质料或其他东西。

但是对于我iPhone上的相机来说，好吧，我们不认为有任何体验正在发生。那么，有什么区别呢？并且，某种作为我手机上相机的升级版的人工智能是否会体现充分条件，以便它不仅对视觉信号做出反应，而且还具有主观体验？我认为

这是我们需要面对的挑战，因为正如你所说，人工智能系统，特别是像语言模型这样的东西，可以非常有说服力地表达它们的有意识体验。尤其是那些你要求它们窃窃私语并以某种方式绕过防护栏的模型。它们真的可以诱导我们的偏见。因此，我们不能仅仅依靠……

语言模型所说的内容。如果语言模型说，是的，我当然有有意识的视觉体验，这并不是它是否存在的有力证据。因此，我认为我们需要更深入地思考，要将有意识的体验归因于我们从完全不同的材料中创造的系统需要什么。

材料是你提出的一个有趣的观点，即智力以及可能意识可能从中产生的基质。因为你所说的意思是，我认为很清楚的是，我们可以拥有一个

超人类智能水平的人工智能系统，它不一定是具有意识的。但我确实想知道，当人们提出这样的论点时，嘿，好吧，如果我们只是继续向这个东西投入更多的数据和计算能力，并且它变得越来越聪明，意识将成为系统的涌现属性。它几乎有一种技术宗教狂热。你认为意识为什么可能是独特的生物学现象？基质的性质为什么重要？我不知道它是否重要，但我认为

这是一个值得认真对待的可能性。从某种意义上说，相反的主张同样奇怪。为什么意识应该是完全不同类型材料的属性？为什么计算足以产生意识？毕竟，

对于许多事情来说，材料很重要。如果我们谈论的是一场暴雨，你需要实际的水才能让任何东西变湿。如果你对天气系统进行计算机模拟，那么在这个计算机模拟中不会变湿或刮风。它永远只是一个模拟。以及你设置它的方式也很有信息量，因为一直以来

一直存在这种隐含的假设，至少在某些方面是这样，即如果你只是投入更多的计算能力，人工智能在某些方面变得更聪明，这有时会非常令人印象深刻，有时也会非常出乎意料，那么在某个时刻，意识将

只是到来，搭便车，内灯亮起，你将拥有既有体验能力又很聪明的东西。我认为这更多地反映了我们心理上的偏见，而不是拥有这种信任的理由。

在合成意识中。因为为什么意识会在特定水平的智力上发生？我的意思是，你可以争辩说，某些形式的智力可能需要意识。这些可能是我们人类拥有的那种智力。但这有点奇怪，因为那里还有很多其他物种没有像人类一样的智力，但很可能是有意识的。

并且可能比进化为人类所选择的更多方法来实现智力，那就是拥有也能够产生意识的大脑。所以对我来说，根本性的问题是，计算是否足以产生意识？如果我们试图设计大脑的功能架构，你知道，

并在计算机中运行它，这是否足以产生意识？或者我们需要在由碳制成、拥有神经元、拥有神经递质四处游荡、真正扎根于我们活生生的血肉之躯的层面上，拥有更像大脑的东西？我认为没有，好吧，根本就没有充分的论据

支持或反对这些立场中的任何一个。但对我来说，有充分的理由认为计算可能不够。并且至少有一些充分的理由认为我们所制造的东西确实很重要。鉴于所有这些，你确实认为人工智能不太可能实现意识。这是为什么？我认为这不太可能，但我必须说这并非不可能。第一个原因是，我可能完全错了。

如果我错了，并且计算足以产生意识，那么它将比我想象的容易得多。但即使我对这一点是正确的，那么随着人工智能的发展和技术的进步，

我们也拥有这些在各个方面都变得更像大脑的技术。我们有这些神经形态工程或神经形态计算的整个领域，我们正在构建的系统……

更接近真实大脑的特性。另一方面，我们还有像脑类器官这样的东西，它们是由脑细胞制成的。它们是在培养皿中培养的小型迷你大脑状物质。它们来源于人类干细胞，并分化成神经元，这些神经元聚集在一起并显示出有组织的活动模式。现在，它们还没有做任何非常有趣的事情。

所以这与语言模型的情况相反。语言模型确实会诱导我们心理上的偏见，因为它会与我们交谈，但是一个

培养皿中的一堆神经元不会，因为它还没有做任何事情。对我来说，在那里产生人工意识的可能性要高得多，因为我们是由相同的材料制成的。对于具体的问题，为什么这很重要？为什么物质很重要？它回到了关于大脑是什么样的东西以及它们是深度具体化和嵌入式系统的这个想法。

所以，在我看来，大脑从根本上来说是进化来控制和调节身体，以维持身体的生存。并且从根本上说，这种必要条件一直延续到单个细胞。单个细胞是……

不断再生它们自身的生存条件。它们不仅仅是接收输入并将其转换为输出。在这样做的过程中，我认为从根本上依赖于特定类型物质的新陈代谢过程、能量流动、碳转化为能量等，一直到大脑的高级描述之间存在着相当直接的联系

进行感知推断，或者正如我们前面所说，对世界方式的最佳猜测的受控幻觉。因此，如果从活着的生物以及我们为什么称它们为活着的生物一直到似乎参与视觉感知或一般意识体验的神经回路之间存在这种贯穿始终的联系，那么我认为有一些理由认为意识是生命系统的属性。

在你回答这个问题的时候，在我的脑海里，我有一种设想，也许我们最终创造的这种有意识的人工智能系统不会是一堆英伟达GPU和一些数据中心，而可能是我们用大脑本身的材料构建的这种超级大脑。

我不得不说，这是一个非常棒的画面。是的，我认为这是一个可能的未来，对吧？因为我们已经在神经技术和混合技术方面走上了这条道路。人们可以将类器官连接到机架服务器上。人们已经开始这样做，以便利用这些东西所具有的动态库。

没有人知道生物系统需要达到什么程度才能推动意识发生的可能性。它可能根本不需要，也可能确实需要很大程度。

嗨，我是Bilal Sadoo，TED最新播客《TED人工智能节目》的主持人，我与世界领先的专家、艺术家、记者交谈，帮助您在人工智能改变一切的世界中生活和茁壮成长。我很高兴能与IBM合作，他们是本集的官方赞助商。

现在，从通用人工智能试点到现实世界部署的路径往往充满了障碍，例如自由数据流的障碍。但是，如果我告诉你有一种方法可以在你的数据所在的位置部署人工智能呢？使用Watson X，你可以在任何环境中部署人工智能模型，在云端帮助飞行员导航飞行，在大量云端帮助员工自动化任务，在本地部署，以便设计师可以访问专有数据，

以及在边缘部署，以便远程银行出纳员可以协助客户。Watson X帮助您在需要的地方部署人工智能，以便您可以将您的业务带到任何需要去的地方。在ibm.com/Watson X了解更多信息，并开始在最需要的地方注入智能。您的数字运营是一台运转良好的机器还是一团乱麻？您的客户体验是突破还是崩溃？

是时候进行运营干预了。如果您需要整合软件并降低成本，如果您需要降低风险并增强弹性，以及如果您需要加快创新速度，PagerDuty Operations Cloud是作为现代数字企业运营的基本平台。在PagerDuty.com开始吧。

所以我必须问这个问题，人工神经网络是否也能教会我们一些关于生物神经网络的知识？我之所以问这个问题，是因为我读了Anthropic首席执行官相当长的博客文章，他提出了一个例子，基本上说，人工智能可解释性研究人员在这些人工智能系统中发现了一种计算机制，这种机制在老鼠的大脑中被重新发现。

我只是问我的问题，等等。所以像一个人工系统，像一个非常简化的模拟仍然告诉我们一些关于有机体，你知道，更复杂的表达。你对此有什么想法？你认为这种趋势会持续下去吗？哦，绝对会。我认为这对我来说，当然是我正在遵循的研究方向。使用计算机，尤其是在人工智能中，是

它们是一种不可思议的工具。它们是理解事物的不可思议的通用工具。即使在我的研究中，这也是我们所做的。我的意思是，我们将构建我们认为在大脑中正在发生的事情的计算模型，我们将看看这些模型能够做什么。我们还将看看它们可能对我们随后可以在实验中测试的真实大脑做出哪些预测。

我必须想象一下，在传感和计算方面取得的技术进步正在产生巨大的影响。我很想听一些例子。在许多不同层面都有例子。例如，生成式AI中涉及的算法可能确实与大脑所做的事情相对应。所以，在一个层面上，它是关于发现事物。

大脑的功能结构是通过开发这些新型算法来实现的。但还有其他层次。我们可能会使用人工智能系统作为工具的层次

用于建模或理解大脑某些更高层次方面的工具。例如，我们使用一些生成式人工智能方法来模拟不同类型的感知幻觉。因此，人们在精神病、帕金森病或服用迷幻药后等不同情况下出现的视觉幻觉。而且

这可以追溯到谷歌早期在其深度梦境中的一些算法，当时他们将意大利面碗变成了这些带有狗头到处冒出的怪异图像。但我们可以以更严肃的方式使用它们来了解人们体验幻觉时大脑中发生的事情。然后就在另一端，我承认这对我来说仍然是……

未知领域，也是我非常感兴趣探索的东西，那就是我们现在实际利用人工智能提供的工具集的时候。语言模型、虚拟代理。就在前几天，我读了一篇论文，这篇论文是关于一个完整的虚拟实验室，它正在发现与新冠病毒结合的新化合物。

病毒颗粒。这个虚拟实验室基本上从搜索文献到生成假设，再到批判实验设计和提出新的实验设计等等，都在做。所以我认为人工智能在加速……

科学发现的过程方面有很多用途。我认为AlphaFold就是一个很好的例子，对吧？一个博士生花了整个博士生涯才弄清楚几个分子，我们已经绘制出了一个巨大的、巨大的机会空间，并将其公之于众。这是一个如此美好的例子，因为它也仅仅体现了我认为……

我们与这些系统相关联的方式是富有成效的，因为AlphaFold直观地看起来像一个工具，对吧？我们把它当作工具来使用，或者更确切地说，生物学家是这样做的，只是为了快速加速他们在蛋白质结合等方面的假设。

我们从不认为AlphaFold是另一位有意识的科学家。它不会像语言模型那样诱导我们的直觉。所以我认为在神经科学领域还没有任何与AlphaFold相当的东西。我正在努力思考等效的问题是什么，一件事情可能是什么。而且

这纯属推测。也许有人已经在研究这个问题了。大脑中一个很大的未知数是它究竟是如何连接起来的。最近还有一篇论文研究了果蝇大脑的完整连接图。这已经是一个令人难以置信的资源了。从计算上来说，理解它非常困难。

从你可能在个体实验中获得的小数据片段中将这些信息整合在一起。因此，人工智能在帮助收集大量数据以让我们更全面地了解大脑是什么方面可能发挥作用。而且可能还有许多其他有创意的想法。

但我认为所有这些都将人工智能视为，我认为最有效的方式，是一种工具。我同意。很多人倾向于，我称之为副驾驶与机长的问题。很多人喜欢，

是的，这就像我的个性化贾维斯，我将像托尼·斯塔克一样在实验室里，然后，你知道，做我需要做的事情。它就像预先满足我的需求。它不受时钟时间的限制，这一点很酷，对吧？你可以向其中投入更多计算能力，它们就可以更快地移动。但从根本上说，对我来说，感觉人类仍在进行编排。

你认为走另一条路有什么风险？我们开始觉得这些系统应该是机长，让我们构建宏大的AGI系统，并询问它该怎么做，然后让我们盲目地去做？

是的，我认为，我的意思是，当然，存在巨大的不确定性。也许在某些方面这不是一个糟糕的主意，但它确实让我觉得这肯定不是一件保证会很好地解决的事情。人类的直觉似乎仍然非常重要，可以解释人工智能可能提出的建议，或者

或者人工智能在任何情况下都会提供什么。让一个人参与其中似乎仍然非常非常重要。但这里有一些更大的风险，如果我们这样做，我认为我们正在回到赋予人工智能它实际上可能不具备的属性。例如，哦，它真的理解事情。

它正在做什么，或者它可能确实意识到它正在做什么。我认为如果我们将这样的品质错误地归因于人工智能，那可能会非常危险，因为我们可能无法预测它会做什么。另一个

丹尼尔·丹尼特的概念是所谓的意向立场。这是一个关于我们如何解释他人行为的美丽想法，因为我将信念、知识和目标归因于你或我正在与之互动的人。这有助于我预测他们将要做什么。现在，如果我们对人工智能系统这样做，而这正是语言模型特别鼓励我们做的，那么我们

我们有时可能会做对，但有时也可能会做错，如果系统实际上并不具备这些信念、愿望、目标等等。这可能会非常成问题。

这一切的另一面是，技术也在进步到一定程度，我们可以粗略地弄清楚人们心中正在发生的事情。所以在本季早些时候，我们邀请了妮塔·法拉哈尼，她谈到了认知自由的概念。我们基本上是在对我们如何将所有这些神经生物识别记录器放在自己身上进行深入研究。而且

是的，现在他们可以粗略地读取我们的大脑。更令人兴奋的是，用有针对性的梦境孵化来操纵我们的梦境。当你想到人工智能将我们的思想变成比过去更开放的盒子时，是什么让你夜不能寐？

我思考的事情之一，我最近也与哲学家艾玛·戈登合写了一篇关于脑机接口的论文，那就是为什么头骨是我们认为在这里特别重要的界限？我的意思是，我们已经以多种方式放弃了我们的数据隐私。这是真的。不是一件好事，对吧？但在许多方面，至少对于那些存在了一段时间的人来说，猫已经跑出来了。

但是进入头骨的想法似乎很重要，部分原因是没有其他界限了。虽然我们非常习惯于这些想法，即维护言论自由的重要性，但对思想自由等方面并没有同样的关注程度。因此，我们只是不习惯在这种情况下可能需要什么样的防护措施和道德准则。

然后我认为还有一些更微妙的担忧，当然是在脑机接口这个领域。因为让我们想象一下，我们每个人都有，或者脑机接口被广泛使用，提取大量脑数据，用于训练模型，然后这些模型用于支持脑机接口的效用，以便它们可以根据脑活动预测某人想说或做什么。现在有一些更严格的

在这种事情中，在医学上，在治疗脑损伤、瘫痪或失明的人方面，有极其强大和令人信服的用例。但是如果我们将此推广到所有人的增强，并且我们试图思考，好吧，这些事情不仅仅是特定于攻击的临床问题，而是更深入地成为我们社会的一部分，那么就可能存在一种强制性的

同质性。我们可能必须学会以某种特定方式思考，才能使脑机接口发挥作用。这可能是一个完全意外的后果，但它也让我觉得这是一个令人担忧的后果。也可能会有，你知道，只是……

社会不平等也开始发生，好吧，那些可以使用这些系统的人可以做更多的事情，或者将被允许训练他们，以便他们能够以自己独特的方式思考，而不必以大众市场BCI所需的方式思考。所以我认为在这种情况下，可能会开始出现很多反馈循环。但从根本上说，这是

真的，一旦你进入头骨，就没有更多的隐私了。然后还有刺激的问题。脑机接口可以是双向的。如果它们是双向的，并且你开始铭刻思想、目标、意图，那么我们肯定处于一个非常具有伦理问题的境地。

最后一点对我来说是让我夜不能寐的事情。这就像让一堆公司读取和写入你的思想，对吧？以及你的大脑。从某种意义上说，你提到的关于某种同质性，某种缺乏智力多样性的观点，我们已经看到了这一点，人们正在使用LLM，它有点像千篇一律的平淡散文。而且，你知道，人们几乎失去了写作和思考的能力，而且

是的，我认为这有点令人不安。是的，我的意思是，对此也可能有一种更乐观的看法，即大型语言模型输出的千篇一律的同质性可能会让我们更加重视人类的贡献。就像在其他情况下一样，手工制作、定制的东西具有价值，我们最终可能会

生活在一个我们只是以完全不同的方式看待这两种语言的情况下。

就像在双语家庭中长大的孩子会自然地学习说两种不同的语言一样，未来几代人可能会习惯于，好吧，那是大型语言模型的语言。这是人类语言。即使它们使用相同的词语，它们也天生感觉非常不同。哦，是的，就像形成代码切换，以及在不同的上下文中如何准确地表现。我认为这是一个有效的观点。也许我对这件事的看法有点愤世嫉俗，因为我想，

是的，人们会想要全食超市的体验，但绝大多数人都会说，给我免费的广告资助的山露，直接注入静脉。我对此深感担忧。所以让我们暂时离开实验室。你在实验室之外使用哪些类型的人工智能工具？

我是一个人工智能工具的轻度使用者，至少是我知道的那些。因为当然，其中一件事是人工智能隐藏在我们使用的许多事物之下。每次我使用谷歌地图时，都会发生机器学习或人工智能。我确实越来越多地使用语言模型，将其作为口头辩论伙伴，而不是作为我将编辑或直接使用的文本来源。

从某种意义上说，它是一种被美化的搜索引擎。是的，我发现它们越来越有用，但我仍然不信任它们。我认为这是一个……

利用它们来帮助我们让人类更清晰地思考，而不是将思考本身外包出去。那么，在你与所有这些大型语言模型互动时，你是否曾经感觉到自己与这些系统建立了联系？或者你能保持这种分离和距离吗？就像你忘记它是一个工具，更像是一个同事一样。它曾经感觉像那样吗？

会的。这是另一件让我夜不能寐的事情，回到那个问题。我们对语言的反应方式是如此诱人，即使在一个层面上，我们可能非常非常怀疑除了统计机械之外还有什么其他东西正在发生，

感觉有一个理解并可能是有意识的头脑是极其强大的。我在想，思考这个问题的一种方法是，有很多情况表明知识不会改变经验。例如，许多视觉错觉。

有一个著名的视觉错觉叫做缪勒-莱耶错觉，这是一个视觉错觉，两条线看起来长度不同，因为箭头在末端的指向方式不同，但是如果你测量它们，它们的长度完全相同。

重要的是，即使你知道这一点，即使你理解视觉系统中导致这种错觉的原因，它们看起来总是那样。没有固件可以修复我们的大脑来解决这个问题。没错。所以对我来说，担心的是，将会有类似的认知上难以穿透的人工意识错觉。

如果我们处理的是足够流利的语言模型，特别是如果它们在深度伪造中被赋予生命，甚至在人形机器人中被体现出来，那么我们可能无法充分更新我们自己的湿件，以至于不会觉得它们是有意识的。我们只会被迫产生那种感觉。

这将是一个非常成问题的状态，因为如果我们无法避免将，比如说，有意识的状态归因于一个系统，

那么我们再次将从事将它不具备的品质归因于它，并错误地预测它将要做什么，使自己更容易受到胁迫和更容易受到操纵。因为如果我们认为一个系统真的理解我们并关心我们，但它并没有，它实际上只是试图向我们推销奥利奥饼干或其他什么东西，那么这就是一个问题。

我认为这里最有害的问题是追溯到伊曼努尔·康德甚至更早之前的问题，即残酷对待我们自己思想的问题。因为在这里，如果我们与一个人工系统互动，我们情不自禁地觉得它是有意识的，我们大致有两个选择。我们可以无论如何都要对它好，关心它，并把它纳入我们的道德关怀圈，

这很好，但这意味着我们将浪费一些道德资本在不需要它的事情上，并且可能更少关心其他事情，因为人类有这种内群、外群动态。如果你在里面，你就进来了。如果你在外面，你就出去了。

所以我们可能会这样做，或者我们学会不去关心这些事情，并以我们对待烤面包机或收音机的方式对待它们。这对我们的心理来说可能非常糟糕，因为如果我们对待事物很糟糕，但我们仍然觉得它们是有意识的，这就是康德提出的观点。这就是为什么我们不会戳泰迪熊的眼睛或扯掉洋娃娃的四肢。科幻电影……

电影和电视剧《西部世界》对此进行了精彩的处理。从我们的角度来看，这是多么危险。所以这让我夜不能寐，因为这里没有好的选择。我们需要非常仔细地思考，不仅要思考

设计真正有意识的机器的可能性，即使这不太可能，如果真的发生了，也会在伦理上非常成问题，因为当然，如果某些东西实际上是有意识的，它就是一个道德主体，我们需要非常小心地对待它。但即使构建给人以强烈意识印象的系统也会因为不同的原因而成为问题。

这种情况基本上已经存在了。如果我们不认真思考如何设计这些系统以及如何以某种方式避免给人留下这种印象，那么这种情况很快就会出现。我认为你非常漂亮地描绘了为什么它在两端都存在问题，对吧？就像对待瑞克和莫蒂一样，这个机器人醒了。你的目的是什么？你的目的是在我的吐司上涂黄油。这就是你的目的。请回到涂黄油的吐司上。

它经历了这场存在主义危机。我认为另一方面，《西部世界》的例子也很有效，你有一些与人类无法区分的东西。我们开始表现出所有这些较低的欲望，或者用正确的方式表达出来。我们突然开始让这种行为活起来。

将这种行为带入与实际人类的互动中。但我提出的真正问题是你结束的地方，这是从用户体验的角度来看的，对吧？很多人认为让这些系统尽可能人性化并满足用户的需求非常重要。你想谈谈为什么我们需要更细致入微吗？你对那种……

更好的构建这些系统的方法有什么想法吗？因为似乎两种极端情况都很糟糕。我认为这非常有趣。事实上，我认为现在和你交谈有助于将此作为一项严峻的设计挑战来关注。我不确定到目前为止是否已经很好地解决了这个问题。因为当然，构建我们可以非常流畅地与之互动的系统是有充分理由的。如果我们可以

如果我们可以通过与机器交谈我们想要程序做什么来让机器生成代码，这对许多人来说都是非常有益的，只要它做它应该做的事情，而不是其他事情。但是，有没有一种方法可以利用这种优势，设计系统，以便我们可以保留自然语言赋予我们的那种流畅的交互？

但以一种至少在某种程度上抵制心理偏见的方式，这些偏见随后导致我们对意识、理解、关心、情感以及所有这些事情做出所有这些进一步的归因。我不知道解决方案是什么，但我认为这是

这是一个非常重要的问题。一个简单的解决方案是，好吧，这些东西必须给它们自己加水印，说，我没有意识，我没有感觉。当然，

语言模型会这样做，直到你玩弄它们，稍微按压它们。但这可能还不够。我的意思是，可能还有一些其他的方法，我们可以通过实践、教育或其他一些操作来设计界面。这实际上是一个心理学问题，也是一个技术问题。什么样的东西……

保留流畅的交互，但不会屈服于我们知道的心理偏见和属性。我很想看到专注于这个问题的进展，因为这将表明我们需要走的路。你是对的，没有任何解决方案。你认为我们可以建立这些抗体吗？

我认为我们必须尝试。我的意思是，这还提出了另一个观点，这在科技领域再次非常有争议，那就是我们应该对监管做些什么？人们应该发布什么样的系统？我在那次谈话中总是回到这样一个事实，即在其他发明和技术领域，我们非常谨慎。我们不会

在没有相当确定它不会坠落的情况下将一架新飞机送上天空。除非我们非常确定它不会产生意外的副作用或后果，否则我们不会将一种新药投放市场。而且确实越来越认识到人工智能技术也在同一领域。而且

当然，这并不意味着我们想扼杀创新，但我们可以帮助塑造和指导创新。我认为在那里还可以找到一个最佳点。然后另一方面，教育，当然，那里的一个挑战是事情发展得太快，很难跟上。

但尝试一下很重要。这里让我印象深刻的一件事是“人工智能”这个术语本身就是问题的一部分。它带来了如此多的包袱，以至于某种魔力，就像，你知道，科幻小说中的思想，无论是贾维斯还是天网……2001年的哈尔或其他任何东西，无论你最喜欢的有意识的智能机器人是什么，我们都会想到它。而且

人工智能具有这种品牌品质，我认为这有点不利。它在筹集大量风险投资方面可能非常成功，但它并不是对系统本身正在做什么的特别有帮助的描述。当然，大多数从事这项工作的人，至少他们过去曾经谈论机器学习而不是人工智能。

然后是另一个层次的描述，你可以说，好吧，这些东西基本上只是应用统计。你开始将某事物描述为应用统计。即使这样在教育上也是有价值的，因为它突出了我们通过使用的词语赋予这些系统多少东西。

这里还有一个非常简单的例子，我认为马已经跑掉了，但这总是让我很生气，人们在语言模型编造东西时将其描述为幻觉。是的，这给了他们太多的信任。这给了他们太多的信任。它正在做比这更具体的事情。它正在培养一种隐含的想法，即语言模型确实会体验事物。

因为这就是幻觉，幻觉。如果你将其应用于人类，这意味着，好吧，他们正在对不存在的事物产生感知体验。

这个语言术语传播得如此之快，我认为这本身就说明了问题，因为它只是揭示了，好吧，人们对这些东西正在做什么有一些隐含的假设。但它也处于正反馈中，这是无益的，因为它又导致我们投射品质。如果我们要使用一个词，我希望他们使用虚构。

因为在人类心理学中，虚构是人们在没有意识到自己正在编造东西的情况下编造东西时所做的事情。对我来说，这与语言模型所做的事情非常接近。但我认为它现在不会流行起来。但我们应该谨慎对待我们用来描述这些系统的语言，原因正是如此。

对于正在收听节目的听众，你有什么建议，以便他们能够利用当今可用的工具，而不至于陷入今天人工智能带来的伪科学和虚假灵性？

一部分原因正是认识到这些通常是隐含的动机，这些动机驱动所有这些关联，导致我们认为这些东西比它们实际存在的情况更多或不同。在极端情况下，情况会变得复杂。

相当宗教化，我的意思是，存在奇点这个想法，这是一种技术乐观主义者的狂喜时刻，以及上传到云端并永远生活下去的可能性，以及永生的承诺，我的意思是，这个故事是，它就像教科书中的宗教一样，嗯

所以我认为，这本身就值得记住。这背后有一个更大的文化故事。它不仅仅是对技术现状的客观描述。然后进一步兑现这一点，对我来说，这只是不断地

提醒自己我们与我们所构建的技术之间的区别，抵制拟人化的诱惑，将人类的品质投射到事物中，保持一种略微批判的态度。

对界面背后发生的事情，它不是另一个人。这说起来容易做起来难，因为正如我们之前讨论的那样，让我夜不能寐的事情之一是人工智能系统可以利用的这些认知上难以穿透的智力、意识等等错觉。

但是是的，我认为最基本的是提醒自己，如果我们认为人工智能系统是我们的反映，它是我们形象中的某种东西，那么我们可能正在高估它的能力，低估我们自己的能力。我喜欢这个。这很简洁。这让我想到最后一个问题，那就是，

鉴于我们迄今为止的讨论，这让我非常好奇。如果你愿意的话，你对人工智能的最终最终形式是什么样的想法，作为一名神经科学家，这对你来说最吸引人？例如，你对这个未来的潜力最兴奋的是什么，你知道，人工智能可以在哪里为人类的智力和意识服务？这是一个非常非常好的问题。我的意思是，我认为……

我对这个乐观的愿景并不是某种像《银河系漫游指南》中的深思之类的单一超级智能实体。这是一个单一的超级智能实体。也许未来的AI会更像电力或水。这是一个基本概念。

效用。它是一种效用。它是一种效用。它以许多、许多不同的方式，在许多、许多不同的环境中用于做许多、许多不同的事情。在这个世界上，我们面临的挑战是

认识到有些事情我们曾经认为是人类特有的或独一无二的，但事实并非如此。因此，这将对社会造成破坏。当然，这在所有技术革命中都会发生。但另一方面是，为大规模创新、创造力、解决各种问题的能力打开了空间。所以我认为这不是一件事情。是很多事情。

最后一点想法。我多次听到这样的说法，人工智能的独特之处在于它可能是人类的最后一次发明，因为人工智能系统可以设计、开发、改进自身。哦，他们会发明其他所有东西吗？或者我们失去了控制它们最终可能成为的东西的能力。

这仍然是我，你知道，我仍然有点不确定如何看待这个问题，这是否是一个真正的区别，或者这是否是我们仍然可以小心谨慎管理的事情。但是我的，是的，我对人工智能的乐观观点是某种以许多、许多不同的方式被利用的效用。

是的，它渗透到一切之中，而不是天空中的单一、包罗万象的人工智能，这再次听起来非常宗教化。阿尼尔，非常感谢你加入我们。感谢你的谈话。我真的很享受。哇，这是一场多么精彩的谈话。阿尼尔·塞思提醒我们，人工智能的故事不仅仅是机器获得力量的故事。

它是一面镜子，反映着我们自己的偏见、愿望和恐惧。我们将自己投射到这些工具上。我们把算法拟人化。我们赋予它们的输出意义，就好像它们拥有与人类经验相同的复杂性一样。但正如埃内尔所说，我们高估了它们的能力，低估了我们自己的能力。这是值得深思的事情。

尽管人工智能可以完成令人眼花缭乱的壮举，但仍然是我们人类设计、指导和决定这些系统将成为什么。我们有责任谨慎行事，不仅是为了创新的缘故，也是为了使我们成为人类的未来的缘故。

这里还有一个引人入胜的问题：如果有一天真正有意识的 AI 系统出现了，它会像我们目前构建的系统一样吗？人类大脑独特的、混乱的生物学结构——神经元、突触和神经胶质细胞——不仅驱动着智力，还创造了我们称之为意识的丰富的主观体验。硅和软件可能永远都不够。

意识可能需要一种反映我们构成物质的基质，一种充满活力、充满与我们体内相同的活力构造。这真是难以想象，未来有意识的 AI 并非来自嗡嗡作响的服务器机架或大型数据中心，而是来自活的有机系统，我们从生命本身的基本构成要素创造出的“巨型大脑”。

在尝试重现意识的火花时，我们将更接近于理解是什么让它如此神秘，如此独特地属于人类。然而，就目前而言，这一切都属于推测的范畴。但以下并非推测：我们今天做出的选择，我们如何设计、与之互动以及规范这些系统，这不仅会影响 AI 的未来，还会影响我们人类自身的未来。

尽管我们可能会惊叹于这些工具的强大功能，但我们的责任是保持脚踏实地，提醒自己这些系统是我们的反映，而不是我们的替代品。

这是一个令人难以置信的时刻，也是一个令人恐惧的时刻。当我们努力应对未来的未知时，也许我们可以不断提出的最佳问题是：我们想要创造什么样的未来？不仅是对于 AI，也是对于我们自己。TED AI Show 是 TED 音频集的一部分，由 TED 与 Cosmic Standard 联合制作。

我们的制作人是 Dominic Girard 和 Alex Higgins。我们的编辑是陈班班。我们的节目主持人是 Ivana Tucker。我们的工程师是 Asia Pilar Simpson。我们的技术总监是 Jacob Winnick。我们的执行制片人是 Eliza Smith。我们的研究员和事实核查员是 Jennifer Nam。我是你们的主人，Bilal Volsadu。我们下期再见。