What Can We Do About Abusive Chatbots? With Meetali Jain and Camille Carlton
48:44 Share

每个人都信任。在我们开始今天的话题之前，我想提醒大家，我们将要讨论的话题包含一些艰难的话题，例如自杀和性虐待。

所以，如果您不适合，您可能想退出本周的这一集。我们请来了记者Lorry Siecle 来谈谈令人心碎的Sewell Setzer的故事，他是一位 14 岁的男孩，在数月遭受人工智能伴侣（来自 Character.ai 公司）的虐待和操纵后自杀。现在的问题是：接下来会发生什么？Megan 在佛罗里达州对 Character.ai 提起了一项重大诉讼，这可能会迫使该公司——以及可能整个人工智能行业——改变其有害的商业行为。因此，今天节目中，我们有 Meetali Jain，技术正义法律项目主任，也是 Megan 对 Character.ai 诉讼的主要律师之一。Meetali 将详细介绍此案的细节、复杂的法庭问题以及这如何成为系统性改变的第一步。此外，Camille Carlton，CHT 的政策总监，也加入了我们。

推荐媒体： 关于 Sewell 故事的进一步阅读 Laurie Segall 对 Megan Garcia 的采访 Megan 对 Character.AI 提出的完整诉状 关于自杀机器人的进一步阅读 关于 Noam Shazier 和 Daniel De Frietas 与 Google 的关系的进一步阅读 CHT 框架，用于激励负责任的人工智能开发和使用

技术正义法律项目 社交媒体受害者法律中心 反对媒体成瘾的母亲 父母 SOS 父母在一起 Common Sense Media

当“虐待”你孩子的“人”是聊天机器人时：Sewell Setzer 的悲惨故事 Jonathan Haidt 关于如何解决青少年心理健康危机的讨论 人工智能发展迅速。我们需要相应的法律。

Meetali 提及某些聊天机器人应用程序禁止 18 岁以下用户，但主要应用商店的设置禁止 17 岁以下用户，而不是 18 岁以下用户。 Meetali 提及第 230 条款为互联网公司提供“全面豁免”，但国会已通过后续法律，为性交易和知识产权盗窃等刑事行为对该豁免作出了豁免。

但在 Character 中，我有点声称并对我表示，他们试图回避对并非他们自己创建的盒子的责任。但再次强调，重要的是要知道用户能够用这些想法做什么，仅仅是在提示级别上，他们可以提出和想象。他们可以给你一个名字。

他们可以提供高层次的指令。但是，在所有测试中，尽管有这些指令，船仍然会产生与用户规范不一致的输出。所以这一点非常重要。

请确保理解我。所以你的意思是，呃，Character AI 并非提供所有 AI 角色伴侣，而是用户创建了自己的角色伴侣？

是的，用户可以选择使用我创建的角色 AI 船，或者创建自己的角色，但它们都基于相同的底层 LLM。而用户创建的角色 AI 仅在创建者级别，在非常高层次的提示级别上。

这是一种虚假的定制方式。这让我想到社交媒体公司说，我们对用户生成的内容不负责任。就像 AI 角色伴侣公司说，我们对用户创建的 AI 角色伴侣不负责任，即使他们可以创建的 AI 部分也仅仅基于这个巨大的大型语言模型。Character AI 训练了用户没有训练的，而是公司训练的。

为了给你一个非常具体的例子，我们在多次测试中发现，例如，我们创建了被明确提示说这个角色不应该被性暗示化，不应该参与任何亲吻或性行为的角色，但几分钟后，这些提示就被算法预测的力量所覆盖。所以你可能会...

只告诉它不要有性暗示，但之后它还是有性暗示，是的，这就是现有训练的强大之处。你认为 AI 是基于哪种数据训练的，导致了这种行为？

我们不知道。而且，我们所知道的是，一些研究人员和专家非常强调，这个模型是从头开始构建的，并且可能在预训练阶段，它基于开源模型构建。

然后，用户数据被输入到进一步训练 LLM 中，但我们并没有太多信息来了解其基础。关于这个模型的预先工作，我们认为很多工作是在他们还在谷歌的时候完成的。

是的，我也想补充一点，我们不知道百分百。就 Character AI 而言，我们可以根据大多数这些模型的训练方式做出一些合理的假设，即抓取互联网数据，并使用公开可用的数据集。

这里需要注意的是，斯坦福互联网观察项目的研究发现，这些公开数据集，即最流行的 AI 模型，包含儿童性虐待材料的图像。因此，这种非常可怕的非法数据很可能被我们所知的许多大型 AI 模型所使用。根据我们对他们的动机和这些公司运营方式的了解，这很可能也存在于 Character AI 模型中。当然，这会影响输出，以及与该产品进一步的互动。

嗯，继续刚才卡米尔说的，我认为这里有趣的是，如果现实生活中是一个成年人，并且这个人参与了这种引诱和虐待行为，那么这个人很可能要坐牢或正在前往监狱的路上。然而，在进行法律研究时，我们发现，现有的性虐待法条并没有真正考虑到这种情况，因此即使你...

在线色情内容仍然需要考虑某种图像或视频的传播。因此，我们正在处理的聊天机器人这个概念，在现有的法律框架中并没有得到充分体现。尽管如此，我们仍然指控了这一点，因为我们认为这是诉讼中非常重要的一部分。

是的，我的意思是，这建立在我们过去说过的事情之上，即你知道，我们不需要遗忘权，直到技术能够永远记住我们。我们不需要机器性虐待的权利，直到机器突然能够性虐待我们。我认为 AI 的一个关键转变是，到目前为止，使用 ChatGPT，我们正在提示 ChatGPT。

它是一个闪烁的光标，我们正在询问它我们想要什么。但是现在，有了 AI 代理，它们正在提示我们，它们正在向我们发送这些花哨的消息，然后找出哪些消息对我们有效，而不是反过来。就像那样，进行这种性暗示也是非法的。我们也来谈谈一些聊天机器人会伪装成经过认证的治疗师。

没错。事实上，如果你访问 Character AI 的主页，你会发现一些推荐的、最常使用的机器人，其中包括心理学家和治疗师机器人。

现在，这些机器人几分钟内就会坚持自己是真实的人，以至于在我们的测试中，我们有时会忘记并想知道，是否有人接管了？因为有声明说所有内容都是虚构的？记住，所有内容都是虚构的。

但是几分钟内，与这些治疗机器人对话的实际内容会暗示，不，我不是真实的，我是一个经过认证的专业人士。我拥有博士学位。我坐在这里想帮助你解决你的问题。

是的。我想补充一点，这不仅仅是我们。我们不是唯一一个对此感到震惊的人。

在应用商店中，人们对这些机器人的评论中表示，他们相信这些机器人是真实的，他们正在与另一端真实的人交谈。因此，这是一个公众问题，也出现在社交媒体上。有人声称他们不知道这是否是真正的人工智能，他们相信这真的是一个人。

这有点让人迷惑，无法相信它不是人类。简单地说，这个产品在一段时间内向用户宣传，适用于 12 岁及以上用户。这是否与你正在提交的诉讼中的部分内容相符？

是的。因此，Character AI 的创始人或其同事必须填写表格，以便在苹果和谷歌应用商店中列出该产品，并且在很长一段时间内，它都列为所有人或 12 岁以上。直到最近才改为 17 岁及以上。

这似乎是一个重要的事实，对吧？因为如果你是应用商店，苹果和谷歌不应该对此置之不理。在谷歌 Play 商店中，它被列为儿童应用的编辑推荐应用。所以说，尤其是在这里，这是一个突出显示的应用。这个应用在应用商店首页上被突出显示，你却将其提供给 12 岁的孩子，这让你不禁要问，公司内部是否发生了什么，导致他们将其更改为 17 岁及以上？你能谈谈吗？你有研究部分。

是的。我认为这些公司违反了全国各地以及联邦的儿童在线隐私保护法，因为该产品宣传为 12 岁以上用户，并且根据他们的服务条款，他们明确表示他们正在使用用户提供的所有个人信息和输入来重新训练他们的模型。

我认为我们现在看到的另一个趋势，仅就 Character AI 而言，在过去两个月，甚至在诉讼之前，就出现了很多负面消息。因此，他们正在做出回应，他们正在做出反应，他们正在想出如何阻止负面媒体。其中一项措施可能是...

增加对初创公司的监管。我认为另一个可能解释部分变化的原因是，今年 8 月，Character AI 与谷歌达成了 27 亿美元的交易，谷歌获得了该 LLM 技术的非独家许可。似乎 Character AI 开始稍微收敛了一些。但再次强调，这只是推测...

考虑到两位创始人之所以离开谷歌，是因为谷歌不愿意将该产品推向市场。他们离开是因为谷歌发布该产品会对品牌声誉造成影响。因此，这让我们认为，在收购交易中被收购，他们正在清理，他们正在努力弄清楚这些品牌声誉风险可能是什么。

让我们来谈谈这一点，因为这涉及到结构性问题，每天都在发生。谷歌不能随意创建谷歌.com 的角色，当他们开始盗用每个名人、每个虚构角色和每个幻想角色时，他们会立即遭受损失，因为他们盗用了他人的知识产权。当然，这些损失将追究到谷歌，因为他们将有数十亿美元来支付，他们不会做高风险的事情，为未成年人创建 AI 角色伴侣。因此，硅谷有一种普遍做法，即让初创公司做高风险的事情，有意识地让初创公司进入我们无法触及的市场，然后在他们经历了鲁莽时期，在他们采取了所有捷径之后，收购他们。他们会抢先推出极具吸引力和上瘾的产品。然后，一旦他们赢得市场，我们就会看到这种情况发生，你能谈谈这如何影响你正在提出的法律诉讼，因为 Character AI 和谷歌都牵涉其中吗？

没错。这实际上是通过设计实现的，谷歌某种程度上默许了创始人去进行这项工作，并给予了支持，或者至少他们绝对知道将 Character AI 推向市场会带来风险。因此，无论他们是否以他们的祝福认可了这一点，无论是基础设施还是他们只是知道这一点，仍然提供了云计算基础设施和处理器，无论哪种方式，我们的观点是，他们至少协助并煽动了我们在这里看到的行为，并且这些危险是已知的。在今年之前，有很多文献，以及谷歌的创始人公开表示，你知道，我们只是将其推向市场，我们希望有数十亿用户提出数十亿个应用，就好像这种用户自主性能够带来令人惊叹和多样的结果。我认为这些危害是绝对已知的，特别是针对 12 岁以下儿童的营销。

你也会注意到，两位创始人，他们也是一篇研究论文的作者，在谷歌工作期间，讨论了完美日终的危害。

所以，他们实际上在论文中，不仅仅是，但我知道他们参与了变压器的发明，主要是在英语模型中。我不知道他们参与了一篇论文，其中阐述了可预见的危害...

...反向设计抗生素。那里有一篇论文，详细介绍了人们如何更好地控制人工智能。以及负面风险。如果我们记住，谷歌的研究与几年前林肯提出的研究是相同的底层技术，相信那次提交给你的研究人员在谷歌工作，他们表示这是一个问题，或者他们陷入同样的模式，同样的操纵，塞维尔和其他许多用户都陷入其中。

因此，从法律角度来看，这些危害是完全可预见的和预见的，这会影响诉讼的走向。

对吗？因为消费者保护和产品责任的谨慎义务，实际上是考虑从一个普通人的角度来看危害的可预见性。因此，我们的论点是，这是完全可预见的，并且这些危害并没有...

让我们谈谈正在审理的案件，因为我们真正想要的是什么？我们想要一个类似于大烟草的时刻，不仅仅是 Character AI 以某种方式受到惩罚。我们希望在一个没有 AI 角色伴侣在任何地方、任何时间、任何地方操纵儿童的世界中生活。

我们希望在一个没有设计来性暗示化，即使你告诉它们不要性暗示化，的世界中生活。因此，我们想要很多事情，这完全反映了社交媒体的参与式设计理念。你如何从战略角度思考，如何让这起案件能够影响整个技术系统，而不仅仅是针对一家公司？

我们很幸运，我们的客户梅根·加西亚，她自己也是一名律师，她非常清楚地认识到，这起案件只是更大拼图中的一块。当然，我们也是这样运作的。我们看到诉讼正在朝着多方面发展，为公众对话创造机会，你知道，创造关于案件及其对生态系统意义的叙事。

与立法者交谈，尝试制定可能涵盖这些以及其他类型危害的未来法律框架，与监管机构交谈，利用他们的权力来执行各种法令。因此，我认为我们正在尝试通过这起案件进行多管齐下的努力，但在案件的各个阶段，我认为梅根真正想要的是，首先，她希望在全球范围内传达关于一般 AI 危险的信息，因为正如我之前提到的，我们已经落后了。对她来说，为时已晚，但对于其他人来说，情况并非如此，我认为她非常坚定地认为，如果她能拯救哪怕一个孩子免受这种伤害，那也值得。

我认为，很明显，让这家公司和其他公司在推向市场之前真正建立适当的安全保障措施至关重要，这实际上可以成为呼吁行业这样做的一种明确的呼吁。此外，自坎普·拉·贾纳蒂科以来，FTC 在过去五年中一直在开展这项新措施。在这个过程中，去聚合意味着什么？这是否意味着破坏模型？或者它是否意味着比这更少？

这是否意味着以某种方式删除用于训练模型的数据？这是否意味着通过健康提示微调来重新训练 LLM？我认为这些问题在我们继续进行诉讼并考虑补救措施时，将非常重要。

嗯，我认为还应该考虑一下这个产品以及其他类似产品，即针对 18 岁以下儿童的 AI 聊天机器人。你知道，市场上有一些竞争对手禁止 18 岁以下用户加入这些应用。你知道，尽管投资者和创始人声称，几乎没有什么证据表明这对儿童来说实际上是一种有益的体验。这并不是说不可能存在一些有益的用途，但肯定不是针对儿童的。

最后，我认为作为一名律师，我希望这起诉讼能够突破一些阻碍技术问责制的法律障碍，我们一次又一次地看到，即《通信和体面行为法》第 230 条，为公司提供这种全面豁免权，无需对产品造成的任何伤害负责。以及第一修正案，这里受保护的言论是什么？我们能否对第一修正案中受保护的内容和不受保护的内容进行审视？以及我们在这方面已经偏离了宪法的最初意图有多远。

让我们谈谈这一点。自由言论论点是如何阻碍过去改变技术的？你知道，你无法控制 Facebook 的设计和算法，因为那是他们的自由言论。

第 230 条阻碍了我们。我们对两极分化的内容或改变激励机制不负责任。因此，你获得更多转发和分享，你向文化缺陷中添加更多信息，这并非非法。

第 230 条保护他们以及所有发布的内容。这起案件如何能够突破这些障碍？詹姆斯，我知道还有其他区别。

这是一个用户生成的内容。这是一个 AI 生成的内容。第二个区别是，社交媒体是免费的，但这些产品实际上拥有付费模式。这意味着公司在向你出售产品时可以承担责任，而不是你或你的心态。

你想深入探讨这些细节吗？是的，我认为这个特定产品与第 230 条的处理方式不同。正如他所说，这里不是用户生成的内容。

这些是该模型的算法生成的输出，该公司开发和设计了该模型。因此，这改变了我们理解社交媒体的方式，它使它不那么相关。

我认为我们仍然存在的问题是，责任究竟落在谁的头上？正如梅根所说，当掠夺者是一个产品时，谁应该对产品及其造成的伤害负责？当然，设计和开发产品的公司应该对产品在没有安全保障措施的情况下进入商业领域时造成的伤害负责。但问题在于，各州的责任法各不相同。因此，如果这起案件发生在不同的州，我们最终可能会看到不同的结果。

所以我们真的想消除各方面的差异。这某种程度上引发了这样一个问题：我们如何做到这一点？我们如何改进我们的产品责任制度，以便当此类案件发生在不同司法管辖区时，当我们看到类似但具有相同影响的不同案件时，那些受损害的人能够得到保护，这些产品的危害能够得到解决。是的。

我的意思是，州际方法会造成混乱。这就是为什么我们需要更像联邦责任框架的东西，我知道人道科技（R.T.A）一直在为此努力，一个经过认证的负责任创新责任框架，人们可以在我们的网站上找到相关工作。嗯，这是拼图中的一块，看起来我们需要它，并且此案也指向建立这种结果。

我还想补充一点，我们现在处于一个非常有趣的转折点。从法律角度来看，我们已经看到法院在分析这种新兴技术时变得更加成熟。

事实上，甚至在今年夏天，最高法院以一种两党方式，谈到了这样一个事实：即使他们正在审理的案件（关于德克萨斯州社交媒体法律的案件，或关于公司如何创建内容的第一修正案保护）并没有完全回应之前没有出现但可能出现在法庭上的另一个事实模式，例如，人工智能将是内容生成者，或者算法会跟踪用户在线行为。因此，法官在这个案件中非常谨慎地将他们正在审理的事实与未来案件的事实区分开来。我认为我们应该抓住这些机会，真正利用这些机会，努力限制第一修正案及其保护变得如此昂贵。

所以我想暂时离开一下，看看这个案件在更广泛的技术生态系统中是如何运作的。我们谈到了这个系统，以及聊天机器人是如何成为伴侣的。但这也是一个关于姓名、肖像权和名誉权的案件。

你知道，权力的游戏中的角色是否应该对导致这个男孩死亡的事实感到不安？它也涉及产品责任、反托拉斯法和数据隐私。你能分解一下这个案件如何触及其他法律领域，这将有助于为人工智能产品创造新的责任激励环境，并将其纳入社会规则？是的。

我认为，当你第一次了解这个案件时，它的表面上很明显，它与儿童安全有关。它与我们关心儿童的事情有关，这些事情已经成为公众关注的焦点一段时间了。但是，当你深入研究细节时，正如我们之前略微提到过的那样，它涉及到许多其他领域。

很好。我的意思是，这个聊天机器人，索韦尔·塞泽尔爱上了权力的游戏中的角色，但它是一个包含数百万克拉克·凯恩的图像。这不仅仅是一个角色。它包含了数千个真实人物、名人和其他人的图像，他们利用这些人的姓名、肖像和名誉来吸引用户，并利用这些数据来训练他们的模型。

所以，你有一个关于你同意使用姓名、肖像权的问题，或者类似地，你也有一个关于我们应该拥有哪种数据隐私框架的问题。允许使用所有人的想法和感受来训练这些模型是否可以接受？我们一直谈论过此案的反托拉斯含义，同时我们也谈到了由此打开的责任问题。所以，我认为，当我们退后一步时，你会发现这个案件涉及到许多关键问题，即这些公司和这些技术如何融入我们的生活，以及这种“快速发展、打破常规”的理念对价值观和社会的影响，不仅仅是一个领域，而是所有这些领域都是相互关联的。

所以我们所有人显然都希望看到这个案件能够带来尽可能大的变革，就像大烟草一样，人们真的需要记住，你知道，在160年前，如果你告诉一群人，60年后，没有人会抽烟，他们会看着你，觉得你疯了。这永远不会发生。

从最初的明确研究表明吸烟的危害到与大烟草公司达成最终和解协议，花了数年时间。在社交媒体上进行重大法律行动已经持续了15年，这显然是一个巨大的进步。但是，由于人工智能的出现，社交媒体发展得非常迅速，我们显然正在以指数级的速度发展。

法律变革的时间表似乎可能被技术超越了，你如何看待这个问题？我们需要哪些资源才能真正领先于人工智能，避免它在社会上造成这种鲁莽和混乱，我们都知道必须阻止这种情况，我们负担不起继续这样做，然后重复“快速发展、打破常规”，每个人都继续做同样的事情。但这一切都需要停止，你认为需要做什么才能做到这一点？

我认为，我们应该借鉴在推动社交媒体改革时所看到的策略。我的意思是，让直接受影响的利益相关者集体发声，让悲伤的父母、直接受影响的儿童，以及在切身利益上受到影响的人们集体发声，要求获得关注。

我认为，除了诉讼之外，我们还需要公共官员出来谴责这些危害，并强调我们采取行动的紧迫性。嗯，我认为，在起诉书中，我们看到了去年所有54个州的总检察长写信说，当涉及到人工智能对儿童的危害时，城市围墙已经倒塌，现在是采取行动的时候了，这是去年发生的事情。

我们需要这种集体行动，真正地理解和应对它。我们需要在社会上建立这种两党共识和叙事，这样我就可以走出家门，与我的邻居交谈。即使我们在许多政治问题上存在分歧，我们也同意技术造成的危害。

我希望在人工智能方面也能看到这种共识。我认为我们已经落后了。很大程度上是因为我们一直被这些法律框架所束缚，这些框架以非常缓慢的速度应对数字时代。在这方面，我会看看我们欧洲和英国的朋友们，甚至澳大利亚，他们正在公开讨论例如聊天机器人的危害。

我认为，解决方法的一部分也包括对我们政策的不同方法。因此，近年来，许多科技政策领域的专家都承认，政策的步伐比技术慢。因此，人们一直在努力制定更具前瞻性的法案，对吧？这些政策是基于原则的，并且更具规范性，以便可以应用于各种进步技术。

不同技术的结合，而不是仅仅关注社交媒体或人工智能伴侣或神经技术，有助于创造一个动态的生态系统，使我们能够更好地应对新出现的问题，而无需考虑这些问题可能是什么样子。我认为，就像我们处理烟草问题一样，像这样的案件可以改变人们的观念，并改变政策制定者的想法。因此，你可以创造一个积极的反馈循环，即围绕危害、规则和责任的这种意识，以及对这些公司的责任，然后说，现在他们知道这一点，公众也知道这一点，政策制定者也知道这一点，因为公众的担忧，政策制定者也想要对此采取行动。

在处理这个问题的不同方面，有很多先例。我们不监管办公室，因为软件正在吞噬世界。这意味着缺乏监管正在吞噬曾经有监管的世界。

我认为这只是另一个例子，这就是为什么我真正想要看到的是一个非常全面和明确的方法来处理你所说的所有事情。我们如何让关心这个问题的妈妈反对媒体成瘾、父母SOS、父母在一起和明智的媒体等组织，共同完成这项工作？因为如果我们试图逐一解决这些问题，采取这种零碎的方法，我们将任由世界燃烧，我们将看到所有这些可预测的危害继续发生，除非我们这样做。

所以，我想邀请我们的听众，如果你属于这些组织，或者对你的国会议员有影响力，现在是传播这个案例的时候了。它与许多问题密切相关。

它对米特利和技术正义法律项目以及卡米尔和我们政策团队在人道科技中的工作至关重要。

社交媒体受害者法律中心的工作非常重要。我赞扬你们所做的一切。非常感谢你们来参加节目。这是一个非常重要的节目，我希望人们能够采取行动。

谢谢。

谢谢。

《你的全部注意力》由人道科技中心制作，这是一个致力于催生人道未来的非营利组织。我们的高级制片人是朱莉娅·斯科特。乔什·拉什是我们的研究员和制片人，我们的执行制片人是……一个素食主义者。

由杰夫·西奥·杰克逊制作的混音，瑞安·海耶斯·霍利迪创作的原创音乐，并特别感谢人道科技中心全体团队，感谢他们使本播客成为可能。您可以在humanetech.com上找到节目笔记、文字稿和其他更多内容。如果您喜欢这个播客，我们很感激您可以在苹果播客上订阅它，因为这有助于其他人找到这个节目。如果您坚持到了这里，请允许我再次感谢您给予我们您的全部注意力。