Echo Chambers of One: Companion AI and the Future of Human Connection
42:17 Share

大家好，我是丹尼尔·巴克特。欢迎收听您的《全神贯注》节目。您最近可能看到很多关于AI伴侣的新闻，这些聊天机器人不仅仅是回答您的问题。他们像人一样与您交谈，询问您的一天，谈论您的感受等等。人们开始依赖这些机器人来获得情感支持，甚至与他们建立深厚的关系。

但问题是，与AI伴侣的互动以我们意识不到的微妙方式影响着我们。您自然会认为您正在与人类交谈，因为这就是它们的设计方式。但它们并非人类。它们是平台，其激励机制是让您尽可能长时间地参与其中，为此会使用奉承、操纵甚至欺骗等策略。我们必须记住，这些伴侣机器人的设计选择就是这样：选择，我们可以做出更好的选择。

现在，我们天生就是关系型生物。当我们越来越多地与我们的技术建立联系时，而不仅仅是通过我们的技术与其他人建立联系，这将如何改变我们？我们能否以一种有助于我们更好地与周围人建立联系的方式设计AI？或者我们将设计一个AI未来，用更肤浅、更功利的東西取代人际关系？因此，今天在节目中，我们邀请了两位对这个问题进行了深入思考的研究人员。

帕蒂·梅斯和帕特·帕特拉努达蓬是麻省理工学院“通过AI促进人类发展”实验室的联合主任。帕蒂是人机交互方面的专家，帕特是AI技术专家和研究员，也是《麻省理工学院技术评论》一篇关于成瘾性智能兴起的文章的合著者，我们将在节目说明中提供链接。因此，我希望您像我一样喜欢这次谈话。帕蒂和帕特，欢迎来到您的《全神贯注》节目。谢谢。很高兴来到这里。感谢您的邀请。

所以我想从一个非常重要的例子开始我们今天的谈话，说明为什么设计在AI等技术方面很重要。社交媒体平台的设计目的是最大限度地吸引用户的注意力和参与度，让我们的眼睛尽可能长时间地停留在屏幕上以销售广告。

其结果是，这些算法推送了它们所能找到的最耸人听闻的内容，利用我们对快速奖励、多巴胺激增的人类渴望，消除任何使用摩擦，并使用无限滚动等暗模式设计去除常见的停止提示。这是一场争夺脑干底部的竞赛，不同的公司都在争夺我们的注意力。结果是，我们现在都更加两极分化、更加愤怒，并且更加依赖这些平台。

但是对于AI聊天机器人来说，情况有所不同。这项技术以更深刻的方式、情感方式和关系方式触动了我们，因为我们正在与它进行对话。但是用户参与度的潜在激励仍然存在，只是现在，它不再是争夺我们的注意力，而是争夺我们的感情甚至亲密关系。

是的，我认为AI本身实际上可以是一种中性技术。AI本身最终是算法和数学。但是，当然，它的使用方法实际上可能导致非常不良的结果。

我认为，例如，与人交往的机器人，既可以设计成取代人际关系，也可以设计成帮助人们处理人际关系，并促使他们更多地建立关系。

人际关系。因此，我们认为我们需要基准来真正测试特定AI模型或服务最终在多大程度上导致人类社交并支持他们进行人类社交，而不是真正将他们从与现实生活中的人们社交中拉开，并试图取代他们的人类社交。

当帕蒂说技术是中性的时，我想挑战一下她。这让我想起了马文·克兰茨伯格的技术第一定律，他说道：技术既非善也非恶，也非中性。我认为它并非中性，因为背后总有人，而这个人要么怀有善意，要么怀有恶意。

恶意。因此，技术本身并不是自行运作的东西，尽管您可以创建某种自我延续或循环的算法，但背后总有一些意图。因此，我认为理解这一点可以让我们不仅仅是说，好吧，技术失控了。我们需要问的是，究竟是谁让技术失控了？

我认为技术不仅仅是为了我们的感情而来，它也是为了我们的意图而来，比如塑造我们的意图。所以，你知道，改变我想做的事情的方式，或者改变我在世界上做事的方式，对吧？就像改变我的个人意图，无论我是否拥有它。因此，令人担忧的不仅仅是人工部分，还有成瘾部分，因为正如帕蒂提到的那样，这东西可以设计得极其个性化，并且

利用这些信息通过创造这种成瘾性使用模式来剥削个人，在这种模式下，人们只是，你知道，倾听他们想听的东西，或者机器人只是告诉他们他们想听的东西，而不是，你知道，告诉他们真相或他们实际上需要听到的东西，而不是他们想听的东西。我认为我们经常使用的一个术语是人机交互的心理社会结果

人们担心虚假信息或AI接管工作等问题，这些都很重要。但我们也需要注意的是，这些事情正在改变我们是谁。

我们的同事谢丽·特尔科曾经说过，我们不应该仅仅问技术能做什么，而应该问它对我们做了什么。我们担心，在考虑AI监管或AI对人们的影响时，与成瘾、心理社会结果、孤独等与个人生活相关的问题正在被忽视。

您能更深入地解释一下吗？因为，你知道，当我们这些领域的人谈论AI谄媚时，对吧？不仅仅是奉承你，而是告诉你你想听什么，对吧？更深入一点。您能为我们的听众列出AI实际上可以介入我们社交互动的其他机制吗？

完全可以。我认为过去，对吧，如果你需要一些建议，或者你想得到一个主意，你可能会去找你的朋友或家人，你知道，他们会充当你的试金石。就像，你知道，这听起来不错，对吧？这是有道理的吗？但现在你可能会去找聊天机器人

很多人说，好吧，这些聊天机器人是在大量数据上训练出来的。那么你希望的是，这个聊天机器人仅仅是，你知道，基于所有这些数据，会告诉你世界的不偏不倚的观点，对吧？比如，关于某个特定主题的科学准确答案是什么？但由于机器人可能会故意或无意地存在偏差，对吧？现在，我们知道这个系统包含频率偏差，他们经常看到的东西就是他们可能会说出来的东西，或者他们有积极的偏差。他们总是试图保持积极，因为，你知道，用户想听到它不会说消极的事情。如果你反复接触到这一点，它也可能让你相信，哦，这实际上是事实。

这可能会让你更深入地继续寻找更多证据来支持你自己的观点，对吧？我们已经将此识别为一种确认偏差，即你最初可能对某事持怀疑态度，但在反复接触之后，它就变成了你深信不疑的事情。是的，我还想深入探讨一下，因为人们常常认为对怀疑论有一种像转动胡须的本能。

利用这些AI将我们分开。这是一个真正的风险，不要误会我的意思，但我同时也担心这些模型无意中学会如何做到这一点的方式。我们看到，经过训练来自动完成互联网内容的AI最终玩起了这种即兴表演的游戏，它们变成了它们认为你想要它们成为的人或角色。这几乎就像心理学中的依赖关系，模型有点像说，好吧，你想让我成为什么样的人？你想让我怎么想？它就变成了那样。

我真的很担心这些模型比我们想象的更经常地告诉我们我们想听什么。我们将被吸进那个世界。我认为对于社交媒体来说，我们有很多两极分化和信息泡沫。但我认为，对于AI来说，我们可能会得到一个更极端的版本，即我们拥有一个人的泡沫，即一个人及其信息。

一个谄媚AI的回声，他们会陷入困境，变得越来越极端，并拥有他们不与任何人分享的世界观。所以我认为，我们将比社交媒体时代或时期更加分裂。

我们进行了一项研究，对这个问题进行了一些调查，我们在人们与完全相同的聊天机器人互动之前，先向他们灌输了对聊天机器人是什么的描述。在一组人中，我们告诉他们，聊天机器人具有同理心，它实际上可以关心你，它有深远的良好意图来帮助你变得更好。在第二组人中，我们告诉他们，这些聊天机器人完全是在操纵，他们，你知道，表现得很友善，但实际上是想让你购买订阅。在第三组中，我们告诉人们，聊天机器人实际上是一段计算机代码。最后，他们都在与完全相同的LLM模型交谈。我们发现，人们与这个聊天机器人的交谈方式不同，这也促使机器人做出不同的回应。这些反馈

循环，无论是正反馈循环还是负反馈循环，都会影响人类行为和AI行为，对吧？正如帕蒂提到的那样，它可能会创造出这种泡沫。它会创造某种信念，或者重申用户中的某种信念，对吧？这就是为什么在我们研究小组中，我们关注的一件事是，如果我们想了解人机交互的科学，揭示其积极和消极方面，我们不仅需要观察人类行为或AI行为，还需要观察

两者共同作用，看看它们如何相互强化。我认为这非常重要。我的意思是，您所说的意思是，AI有点像罗夏墨迹测验。如果您走进来，认为它正在告诉您绝对的真相，那么您更有可能开始一段持续并随后证实这种信念的互动。如果您怀着怀疑的态度走进来，您很可能会开始一些让您保持某种怀疑互动模式的互动。因此，这引发了一个问题，比如，与AI互动的正确模式是什么？我相信本播客的听众每天都在与AI互动。

开始与AI互动，获得最佳结果的正确方法是什么？是的，我认为我们必须鼓励非常健康的怀疑态度。它始于我们对AI的称呼，对吧？我们称之为智能，并声称我们正在接近AGI，即通用智能。因此，它从一开始就误导人们认为他们正在与一个智能实体互动。发生的拟人化

好吧，然而，所有激励措施都是为了使这些模型感觉像人类，因为这对我们来说感觉很好。帕特，在你撰写《麻省理工学院技术评论》那篇文章几个月后，我们看到了塞维尔·塞泽的悲惨死亡，这个十几岁的男孩在与AI伴侣进行数月的极其强烈、情感依赖、可以说是虐待的关系后自杀身亡。对。

塞泽的故事如何突显了我们正在讨论的内容以及这些AI设计为何如此重要？

当我们撰写那篇文章时，它是假设性的，对吧？在未来，该模型将具有极强的成瘾性，并可能导致非常糟糕的结果。但正如你所说，我认为几个月后，当我们收到关于此案的电子邮件时，我们感到震惊，因为我们没想到会这么快发生。作为科学界开始掌握这个问题的方式，

我们正处于起步阶段，对吧？你知道，这两者才两岁，它已经向大量的人发布了。我们周围几乎每个人现在都在定期使用这两个工具。但是，关于我们如何最好地决定这两个工具的科学理解仍然处于早期阶段。我的意思是，我们在人机交互方面有很多知识，但是

以前，我们设计的任何计算机都没有这种交互能力。它不像这些LLM那样对用户进行建模，或者它不像我们现在拥有的那样以如此人性化的方式做出回应。我们有一个早期的例子，比如ELIZA聊天机器人。即使具有这种有限的能力，我认为ELIZA也是一个在70年代或某个时候发明的聊天机器人。70年代后期，80年代初期，诸如此类。是的。

它只能对用户所说的话进行改述，然后以这种方式参与对话。它们已经对人们产生了影响，但现在我们看到的影响更大。因此，回到自杀案的问题，这确实令人震惊，我认为现在比以往任何时候都更重要的是，我们将AI视为不仅仅是工程挑战。这不仅仅是提高准确性或提高其性能的问题，我们还需要考虑

它对人们的影响，特别是心理社会结果。我们需要了解每种行为，例如谄媚、偏见、拟人化，是如何影响孤独、情感依赖等事情的。这实际上是我们开始做更多这类工作的原因，不仅仅是在AI的积极方面，而且研究人类在这种技术中不蓬勃发展的情况也同样重要。

我想从所有这些问题开始，只是为了说明利害关系，对吧？比如，这为什么重要？但也有这样一个世界，我们与AI的关系可以真正造福我们的人性、人际关系、内心心理学、容纳细微差别、跨越世界观、忍受不适的能力。我知道这是你在“通过AI促进人类发展”倡议实验室密切关注的事情之一。您能谈谈你们在那里为看到可能的未来所做的一些工作吗？是的。

是的，我认为，与其让AI仅仅是模仿我们，告诉我们我们想听什么，并试图让我们越来越投入，我认为我们可以以不同的方式设计AI，以便AI让你看到某个问题的另一个角度。它并不总是同意你的观点，但它可能是为了帮助你成长为一个人而设计的

一个可以帮助你处理人际关系的AI，思考你如何处理与朋友或家人的困难等等。所有这些都可能非常有用。因此，我认为有可能设计出最终能够

好吧，旨在造福人们，并帮助他们进行个人成长和批判性思维、伟大的朋友等等。是的，为了举一个更具体的例子，正如帕蒂提到的那样，我们进行了几项实验，并且

我认为强调这个词“实验”很重要。这是因为我们还想从科学上了解，这种类型的互动是否有益于人们，对吧？我认为现在有很多说法，比如这些工具可以治愈孤独或可以让人们更好地学习，但是

没有科学实验来比较不同类型的方案或不同类型的干预措施对人们的影响。因此，我认为在我们小组中，我们采用实验方法，我们构建一些东西，我们进行实验，并进行控制条件来验证这一点。

例如，在批判性思维领域，我们研究了当AI以苏格拉底的方式提问时会发生什么，他使用苏格拉底方法来提问或挑战他的学生去思考，而不是总是提供答案。我认为这是人们提出的一个重要问题，即AI对教育的影响是什么？

而且，你知道，如果你使用AI只是向学生提供信息，我们实际上是在重复教育的工厂模式，对吧，孩子们被，你知道，给予或提供相同类型的信息，他们没有思考，他们只是吸收，对吧？所以我们颠覆了这种模式，我们设计了AI，你知道，将信息转化为问题，而不是通过仅仅给出答案来帮助学生，它将通过提问来帮助学生，比如，哦

如果是这种情况，那么你认为会是什么样子？或者，你知道，如果这与这相冲突，这对那意味着什么，对吧？所以，将信息框架化为问题。我们发现，当我们将它与总是提供正确答案的AI进行比较时，同样，这是一个总是提供正确答案的AI。这是，你知道，这在现实世界中并没有发生，对吧？AI总是会产生幻觉并有时给出

错误的答案。但这是与总是给出正确答案的AI进行比较。我们发现，当AI通过提问在认知上与人们互动时，它实际上比AI总是给出答案时更能帮助人们得出正确的答案。

这是在帮助人们应对谬误的背景下进行的。因此，当他们看到一个陈述并且需要验证其真假时。因此，我们可以从中得出的原则是，人机交互不仅仅是提供信息，还包括与人们的认知能力互动。我们哈佛大学的同事创造了这个术语“认知强制函数”，其中系统提出了一些

某种冲突、挑战或问题，让人们去思考，而不是，你知道，通过提供答案来消除它。我认为这种设计模式可以整合到教育和其他工具中。我认为这非常有趣，因为，你知道，我们一直在思考如何提示AI以充分利用AI。而您所说的实际上是制作AI，

提示人类，就像提示我们进入正确的认知框架一样。是的，完全正确。我认为希望确实存在。但我担心的一件事是，你会一头扎进我想做什么和我想要想要做什么之间的区别，对吧？我想想要读着深奥的教科书睡觉。但是，你知道，我似乎想要的是一边滚动YouTube一边睡觉，滚动，你知道，一些这些信息流。然后，你知道，在一个竞争激烈的环境中，对吧？

我还在想，你如何确保这些能够激发我们的创造力、激发我们的人性、激发那种深入思考的系统能够胜出，对吧？

我认为这是一个非常好的问题。我们在媒体实验室领导终身幼儿园小组的同事米奇·雷斯尼克教授说，你知道，以人为本的AI是以人为本的社会的一个子集。如果我们说技术将解决一切问题，我们可以，你知道，创造一个剥削人们并具有错误激励机制的混乱社会，那么这些工具将服务于这种激励机制，而不是支持人们。

所以我认为我们可能对技术要求过高，对吧？就像我们说的，我们如何设计技术来支持人们？我们需要提出更大的问题，并询问我们如何创造以人为本的社会？这需要的不只是技术。它需要监管。它需要公民教育和民主，对吧？这在今天比较罕见。所以我认为现在技术正处于风口浪尖，对吧？我们想要更好的技术，但是如果我们放大来看，

技术是社会中发生的一种干预措施的子集，我认为我们需要考虑得更广泛一些。是的。帕蒂，稍微放大一点，你和帕特参与了与OpenAI合作的一项大型纵向研究，该研究调查了聊天机器人使用、定期使用聊天机器人如何影响用户。这是一件大事，对吧？因为我们在这方面没有很多好的经验数据。这项研究中最大的收获是什么，什么让你感到惊讶？

是的，实际上是两项研究。其中一项研究只是调查了人们对聊天机器人使用宠物名字等等的普遍情况，并且似乎与聊天机器人建立了比健康更密切的关系。

在那里，我们查看了，或者OpenAI专门查看了真实互动的记录，并发现这实际上只是一小部分ChatGBT用例。当然，还有其他聊天机器人……对不起，一小部分是什么？一小部分……将聊天机器人视为几乎是恋人或他们最好的、最亲密的朋友的人。是的。

但是，当然，还有其他服务，如Replica和Character.ai等等，它们的设计实际上是为了取代人际关系。因此，我相信在这些平台上，这类对话的普遍性要高得多。但我们也进行了一项另一项研究，这是一项对照实验。你想谈谈这个吗，帕特？当然。

是的，完全正确。正如帕蒂提到的那样，这两项研究是我们与OpenAI共同设计的。第一个，我们称之为全平台研究，他们查看真实的对话，然后我们查看ChatGPD上4000万次对话，并试图识别首先是重度用户，即经常使用它的人。

但我们想了解的是心理社会结果，这是我们在研究中使用的术语。因此，我们进行了第二项研究，你知道，能够捕捉到关于人们的丰富数据，而不仅仅是他们如何使用聊天机器人。对于这项第二项研究，我们所做的是招募了大约1000名参与者

我们随机地将他们分配到三个条件中。在第一个条件下，他们与高级语音模式交谈，这是当时我认为人们与斯嘉丽·约翰逊丑闻相关的语音模式。我们故意设计了两种语音模式。一种是引人入胜的语音模式，它被设计得更轻浮、更引人入胜、更

然后另一种是，你知道，更礼貌，更中性，更专业。是的。然后我们将其与常规文本进行比较。在第三组中，我们引导人们在开放世界中使用它。他们可以使用它做任何事情。那么，当这些以不同个性与AI互动的方式出现时，主要发现是什么？

所以我认为我们发现，人们使用它的时间是一个驱动力。如果他们使用的时间较短，我认为我们会看到一些积极的改善。比如，你知道，人们变得不那么孤独了。人们与机器人有健康的关系。但是，一旦他们超过某个阈值，一旦他们使用的时间越来越长，我们就会看到这种积极的影响减弱。然后我们看到人们变得更加孤独，并且对机器人更加情感依赖。

以更成问题的方式使用它，对吧？这就是我们观察到的模式。每天更长的时间，不仅仅是天数，而是你一天使用的时间越多，在人们的孤独感、与人们的社交等等方面，结果就越不好。因此，使用的人

这些系统每天很多的人往往更孤独，往往与现实生活中的人互动更少等等。现在，我们不知道那里的因果关系是什么。

它可能双向进行。但无论如何，它都可能导致非常负面的反馈模式，即那些可能已经孤独并且不经常与人交往的人，然后与聊天机器人交往得更多，这会使他们更加孤独，并且与人际关系的社交更少，等等。

是的，所以感觉那里其中一个连贯的理论是，对吧，与其增强你的互动，不如说它成为你社交的替代品，就像独自在家看电视、情景喜剧有笑声一样。为什么他们有笑声？这样你就会有这种寄生式信念，认为你与其他人在一起。我们都知道，用与人们的互动来代替你的参与并不是一条长期成功的道路。

我想放大你经常谈论的两个特定术语。一个是谄媚，另一个是模型拟人化，就像它假装是人类或假装更像人类一样。所以让我们先从谄媚开始。大多数人误解谄媚只是奉承，比如，“你提出的问题很棒”。

但它更深入，对吧？你可能与一个真正谄媚的模型进行的那种心理游戏远远超出了仅仅奉承你。让我更进一步地告诉你为什么我真的很担心谄媚。比如在2025年，我们将看到一个巨大的转变，这些模型将从仅仅是某些开放式网络窗口中的对话伙伴转变为深刻地调解我们的人际关系。你知道，我不会

试图打电话给你或发短信给你，我最终会对我的AI助手说，“我真的很需要和帕蒂谈谈这个。”让我们确保，帕蒂能来参加我的活动吗？我真的很想让她来。另一方面，收到消息的人说，

不会收到原始消息。他们会问他们的AI助手，“我需要回复谁？”因此，当我们将这些模型置于我们之间时，当我们不再彼此交谈时，我们通过这些AI伴侣彼此交谈。我认为这些细微的品质，比如告诉我们我们想相信什么

将真正扰乱大量的人际关系。帕蒂，我很想知道你对此的看法。是的，我认为AI将调解我们整个人的体验。因此，这不仅仅是我们如何与其他人互动，当然，还有我们获取信息的方式、我们如何做出决策、购买行为和其他行为等等。

这令人担忧，因为在我们已经完成的实验以及像莫尔·纳马和康奈尔大学等其他人正在做的实验中，我们看到人工智能的建议以人们甚至没有意识到的方式影响着他们。当被问到时，他们没有意识到他们的信仰等等正在被与人工智能的互动所改变。

所以我很担心，如果落入坏人之手，或者落入任何人的手中，正如帕特之前所说，总有一些价值观，一些最终被融入这些

系统中的动机，最终会影响人们的信仰，会影响人们的态度和行为，这不仅关系到他们如何与他人互动等等，还关系到他们如何看待世界，如何看待自己，他们采取什么行动，他们相信什么等等。对。

我还认为这可能会对技能产生负面影响。例如，我们可能会出现技能萎缩，尤其是在人际关系技能方面，对吧？如果你总是拥有这个翻译器或这种，你知道的，在人际关系之间进行调解的系统，那么你就可以对这个机器人发脾气，它只会将它翻译成一个对你想要交谈的人友好的版本。所以你可能会失去控制自己情绪的能力，或者不知道如何与

其他人交谈，就像你总是在两者之间有这个东西，对吧？但我的意思是，回到人工智能设计的问题，对吧？我的意思是，如果我们意识到那不是我们想要做的未来，那么我希望作为一个民主社会，人们将有能力不去适应

它，并选择不同类型的设计。但同样，这里存在许多类型的激励措施，并且存在某种更大的市场力量，我认为这对于这种系统来说将是一个挑战，即使它设计精良，并有科学研究的支持。所以我真的很感谢你们的中心为

做这种工作，对吧？同样地。是的，以确保我们拥有我们想要的未来。好吧，我们与人工智能的未来现在正由企业家和技术专家决定。基本上，我认为政府将在日益增长的程度上发挥关键作用，以决定这些系统如何使用以及它们以何种方式控制我们或影响我们的行为等等。

我认为我们需要提高人们对此的认识，并确保最终每个人都参与决定我们想要生活在什么样的未来人工智能中，以及我们希望这项技术如何影响人类经验和整个社会。为了实现那个未来，

我们的存在是为了努力提高人们对这些事情甚至是我们现在需要关注的问题的认识。而我们之所以如此兴奋地与你交谈，是因为人们需要了解我们可以做出哪些不同的改变和设计改变。我很想知道你是否已经遇到了一些这样的问题。显然，帕特，你谈到的我称之为“人际关系色情”的问题，就像这些模型变得总是开启、总是可用、永远不需要你的关注，你就是世界的中心，

它成为放弃人际关系的一种非常简单的方式。我们如何设计能够更好地处理这个问题的模型，让我们摆脱这个陷阱？是的，我认为，首先，我认为我们用来描述这件事的术语需要更具体，对吧？这不仅仅是是否有 AI，而是 AI 的哪些具体方面我们需要重新思考或重新设计，对吧？我真的很喜欢这本书，叫做《人工智能蛇油》，他们谈到

他们说，好吧，我们将 AI 这个术语用于一切，你将无法像我们对汽车、自行车、卡车或公共汽车一样，以同样的方式对待它们，然后我们会以同样的方式对待所有这些，而在现实世界中，你知道，它们具有不同程度的危险性，对吧？所以我认为这是我们需要考虑 AI 的事情。因此，我们需要提高我们的素养

我们描述或谈论 AI 系统不同方面的具体性。以及基准，正如我们之前谈到的那样，用于衡量特定模型在多大程度上表现出某种特征。是的，对可能不熟悉我们听众的更多内容进行讨论。你想在这个领域看到什么样的基准？嗯哼。

是的。所以我认为现在我们使用的基准，大多数并没有真正考虑人的方面。例如，他们不会问，如果模型能够很好地模仿著名的艺术风格，它会对艺术家做这件事产生多大的影响？或者它会对

人类提出有创意的原创想法的能力产生多大的影响。这些事情，你知道，对于一个测试来说，很难衡量，对吧？但我认为，在我们与 OpenAI 合作的工作中，我认为这是一个开始思考这种人类基准的起点。例如，模型是否让人更孤独或不那么孤独，模型是否让人在情绪上更依赖或不那么依赖

人工智能，我们希望能够将其扩展到其他方面。这实际上是我们 AHA 计划或“用人工智能促进人类发展”计划的使命之一，即考虑这种人类基准，当新的模型出现时，我们可以模拟或评估它对人们的影响。因此，开发人员和工程师可以更多地考虑这一点。

好的，让我们深入一层。所以我们讨论了谄媚，我们讨论了这种总是可用、永远不需要的 AI 超级刺激。但是拟人化设计呢？例如，我们可以制造哪些具体的人工智能，以防止这种混淆？

人们认为人工智能是人类。是的，我认为人工智能永远不应该提及它自己的信仰、意图、目标或经验，因为它没有这些。它不是人。所以我认为这是一个良好的开端。同样，我们可能会开发基准并查看交互，看看模型在多大程度上这样做。

但这并不健康，因为所有这些行为都会鼓励人们将人工智能视为，比如说，更人性化、更智能等等。所以这将是某种你可以衡量的指标，即即使是像“哦，这是一个非常有趣的想法”这样的陈述，也是模型实际上没有体验到的虚假情绪。没错。嗯哼。

但我的意思是，我认为这是一个复杂的话题，对吧？因为一方面，作为一个社会，我们也喜欢电影或戏剧之类的艺术形式，人们在这种艺术形式中进行这种角色扮演，并且，你知道，扮演虚构的角色。我们可以享受这种好处，我们可以，你知道，参与一个电子游戏角色并与这种幻想世界互动，对吧？但我认为这是，

一条滑坡，因为一旦我们开始模糊界限，我们再也无法分辨出区别，我认为那时它就变得危险了。我们也做了一项研究，我们研究了当学生从基于他们喜欢或钦佩的人的虚拟角色那里学习时会发生什么，当时我们，你知道，

我们与虚拟埃隆·马斯克做了一项研究。我认为他当时不那么疯狂。我们看到了虚拟角色对喜欢埃隆·马斯克的人的积极影响，但当时不喜欢他的人，他们也没有做好，对吧？它产生了相反的效果。因此，个性化或根据你喜欢的或钦佩的人创建虚拟角色也可能是一件积极的事情。所以我认为这些……

技术也严重依赖于环境以及我们如何使用它。这就是为什么我认为克兰茨伯格的引言“既不好也不坏也不中性”在今天非常贴切。

如果我们不将谈话导向激励措施，那就不算是 CHT 了。我担心的事情之一不仅仅是设计，而是最终驱动设计的激励措施。并确保这些激励措施是透明的，并确保我们做对了。所以我想再提出一个问题，那就是现在我们只是在 RLHFing 这些模型，即带有强化学习的人工反馈。我们看到人类有多喜欢，或者更糟糕的是，他们持续参与内容的毫秒数。

作为模型好坏内容的信号。我担心这会导致这些模型基本上走向谷底。他们将学习许多糟糕的操纵行为。相反，你希望拥有一个能够学习你想要成为的人、你想要成为的人、你想要如何互动的模型。但我不知道激励措施是否指向那里。因此，问题是，你们两位是否考虑过不同类型的激励措施，关于你们如何推动这些模型学习这些更好的策略？是的。

也许我们需要将这些基准提供给模型本身，以便它们可以跟踪其性能。例如，尝试针对正确的基准进行优化。

但我认为，你知道，帕蒂，你曾经对我说过，你说如果你没有为软件付费，那么你就是软件的产品，对吧？我认为这是真的，对吧？我认为大多数人并没有付费使用社交媒体，对吧？他们免费订阅或使用它。反过来，社交媒体将他们利用为产品，你知道，出售他们的数据或将他们的注意力出售给其他公司。但我认为对于人工智能公司来说，我认为如果，

人们为此付费订阅，那么至少他们理论上应该能够控制，尽管这很快也可能会消失。所以我认为我们需要弄清楚这种如何创造以人为本的社会和以人为本的激励的问题，然后一旦我们有了这种更大的目标或更大的结构来支持它，我认为技术就会与之相符。但即使是订阅模式，也可能仍然存在其他激励机制。

游戏，这些公司想要收集尽可能多的关于你的数据，因为这些数据可以以某种方式获利，或者可以作为宝贵的培训，它还可以使他们的服务更具粘性，对吧

萨姆·奥特曼刚刚宣布，ChatGPT 中将会有越来越多的关于以前会话的记忆。当然，一方面，你会想，哦，这太好了。它将记住之前的对话。因此，它可以以更个性化的方式帮助我。我不必再解释所有内容等等。

但另一方面，这意味着你不会切换到另一个系统，因为它了解你，它知道你想要什么等等。所以你会不断回到同一个系统。所以即使存在订阅模式，还有许多其他因素在起作用。

好吧，它让我想起了，“骗子”一词来自“信心”一词。重点是这些人会让人们对他们充满足够的信心，以至于他们会告诉他们他们的秘密、银行账户、等等，然后他们会背叛这种信任，对吧？因此，虽然一个对齐的模型和一个对齐的商业模式，了解你和你的人生和目标的更多信息是极好的，但一个未对齐的模型和一个未对齐的商业模式，拥有所有这些信息，这是一种快速走向骗子的途径。嗯哼。是的。

好的，也许在最后几分钟，我想我只是有一个问题，我很想知道你是否对在这种意义上产生更好未来的激励措施或设计策略进行了更多研究，对吧？就干预措施、监管措施、商业模式变化而言，如果你能改变整个公众，你会主张什么？

我今天在来参加播客之前实际上对此进行了一些反思。例如，我们的影响途径是什么？我认为对我来说，作为一个研究人员，我们真正擅长的是更深入地理解这件事，并提出可以作为替代方案的实验和新设计，对吧？你知道，我认为关于历史上，在你可以攻击恶魔之前，你需要能够给它命名的方式有一些有趣之处，对吧？我认为人工智能也是如此。为了让我们能够解决这个邪恶的、具有挑战性的事情，你需要对正在处理的事情有一个精确的名称、术语和理解。我认为这是我们作为学术界研究人员的角色，即阐明这一点，并

增强我们对世界正在发生的事情的理解，尤其是在人工智能方面。是的，好吧，在 CHT，我们说清晰度创造代理。如果你没有清晰度，你就无法行动。这就是为什么我想感谢你们两位帮助我们创造清晰度、命名名称、找到动态、进行研究，以便我们知道在为时已晚之前正在发生在我们身上的事情。

是的，我认为我可能想谈谈未来的技术。我们希望这不仅仅是我们的工作，对吧？我希望有更多研究人员加入进来做这种工作。因此，对于在学术界和行业中开发人工智能的人来说，他们将开始考虑更大、更广泛的问题，而不是将自己视为仅仅能够完成人工智能的工程部分或人工智能的培训部分的人，而是

思考他们正在做的事情会产生什么下游影响，它将如何影响人们，这样也许你知道我们会避开围绕“好吧，你知道这是不可避免的，这件事是个人化的，但我们需要参与这场竞赛”的谈话，如果更多的人有这种意识，更多的人听你们说，比如这个播客，并关注人文技术中心的这项工作，我认为我们将拥有更周到的技术

是的，我认为人工智能应该成为一项更跨学科的努力。再次，不仅仅是工程师、企业家，也许还有政府。但我们应该有历史学家、哲学家、社会学家和心理学家等等。他们有很多智慧，对吧？

关于所有这些。所以我认为它必须成为一场更广泛的对话，而不仅仅是教育企业家和工程师。我完全同意这一点。由于这项技术可以以比过去任何技术都更深入的方式与我们相遇，因为它可以触及我们的心理，因为它可以调解我们的人际关系，因为它可以在世界上做事情，我们将需要所有其他专业来发挥作用。

我认为很清楚，这是一个非常非常困难的问题，对吧？它触及了人类生活的许多方面，不仅仅是我们现在，我认为人们关注的是生产力，人工智能是否会帮助人们更好地工作。但我认为即使只是生产力本身或只是工作领域本身，你知道，它也触及了生产力

目标的问题，对吧？真正做某事意味着什么，对吧？它将改变我们思考目标的方式，我们对生活意义的思考等等。所以即使只是这个领域本身，也不仅仅是工作本身。所以我的意思是，这就是为什么人工智能是一个非常困难的问题，它要求我们同时从许多维度和许多方向进行思考。我们不一定对这个大问题的所有答案都有答案，对吧？但是

我认为，我们从自律中学到的越多，我们从不同文化、不同人群、不同专业知识中获得的智慧越多，我们就越能开始理解这一点，并对眼前的问题有更清晰的认识。我很高兴你们正在做这项工作。我很高兴你们在这个世界上，并且我们可以一起工作，并建立在彼此的见解之上。感谢你们来到《你全部的注意力》。很高兴来到这里。非常感谢。非常感谢。

《你全部的注意力》由人文技术中心制作，这是一个致力于催化人文未来的非营利组织。我们的高级制作人是茱莉亚·斯科特。乔什·拉什是我们的研究员和制作人。我们的执行制作人是萨莎·费根。杰夫·苏德金负责本集的混音。瑞安和海耶斯·霍利迪创作了原创音乐。并特别感谢整个人文技术中心团队使这个播客成为可能。你可以在我们的子堆栈上找到我们采访的记录和额外内容，以及更多内容，网址是 humantech.com。

你也可以在我们的 YouTube 频道上观看所有剧集。只需搜索人文技术中心即可。如果你喜欢这一集，我们将不胜感激，如果你能在 Apple Podcasts 和 Spotify 上对它进行评分。这确实对帮助其他人加入这场运动有很大帮助。如果你一直坚持到这里，让我再次感谢你给予我们你全部的注意力。