619. How to Poison an A.I. Machine
52:05 Share

NetCredit 愿意向其他贷款机构说不的个人贷款或信贷额度说 yes。几分钟内申请，当天即可获得决定。如果获得批准，申请通常会在下一个工作日或更早之前获得资金。贷款由 NetCredit 或贷款合作伙伴银行提供，并由 NetCredit 服务。申请需经审核和批准。了解更多信息，请访问 netcredit.com/partner。NetCredit。信贷于民。当你说 yes 时。

Freakonomics Radio 由 Mint Mobile 赞助。使用 Mint Mobile 开始节省您的移动无线计划费用。当您购买三个月计划时，计划起价为每月 15 美元。要获得此新客户优惠，请访问 mintmobile.com/freak。需要支付 45 美元预付款。

有一句古老的谚语，我相信你一定听过。模仿是最高形式的奉承。但模仿很容易演变成伪造。

在艺术界，多年来涌现了许多天才伪造者。20 世纪荷兰画家汉·范·梅格伦是一位大师级的伪造者，他的绘画作品经过认证并被出售，通常卖给纳粹分子，作为 17 世纪荷兰大师约翰内斯·维米尔的真迹。现在出现了一种新型的艺术伪造行为，而作案者是机器。

我最近刚从旧金山回来，那里是人工智能热潮的中心。

我到那里是为了进行现场直播（你可能在我们的节目中听过），也为了参加一年一度的美国经济协会会议。在旧金山，无论走到哪里，都能看到人工智能公司的广告牌。会议本身也同样被笼罩在其中。会议上有一些名为“人工智能的经济影响”、“人工智能与金融”以及“大型语言模型与生成式人工智能”的会议。

经济学家埃里克·布林约尔夫松是这一领域的领先学者之一，我们邀请他参加我们的现场直播节目，听取他对人工智能的看法。我们的想法是，人工智能正在做这些令人惊奇的事情，但我们希望将其用于服务人类，并确保我们将人类置于所有这一切的中心。布林约尔夫松参加我们的节目后的第二天，我参加了他在一个会议上发表的演讲。演讲的题目是《人工智能会拯救我们还是毁灭我们？》

他引用了牛津大学计算机科学家迈克尔·伍德里奇的一本书《人工智能简史》。布林约尔夫松从伍德里奇所说的 AI 远未解决的问题列表中读到了一些问题。以下是一些问题。理解故事并回答有关故事的问题。人类水平的自动翻译。解释照片中发生的事情。当布林约尔夫松从讲台上读到这份清单时，你会想，等等。

人工智能已经解决了所有这些问题，不是吗？这时，布林约尔夫松说出了他的妙语。伍德里奇的书早在 2021 年就出版了。人工智能发展的速度令人惊叹，一些人预计它会极大地促进我们的经济发展。国会预算办公室估计，本十年经济增长率约为每年 1.5%。埃里克·布林约尔夫松认为，人工智能可以将这一数字翻一番。

他认为，许多关于人工智能的观点要么过于恐惧，要么过于狭隘。太多的人认为机器只是试图模仿人类，但机器可以帮助我们做以前从未做过的新事情。因此，我们要寻找机器如何补充人类，而不是简单地模仿或取代人类的方法。这听起来很有希望，但是那些仅仅模仿人类的机器呢？那些基本上是高科技伪造者的机器呢？

今天，在 Freakonomics Radio 节目中，我们将听到一位正在代表艺术家挫败这些机器的人。他们需要几十年时间才能磨练自己的技能。因此，当这些技能被强行夺走时，这是一种身份盗窃。本·赵是芝加哥大学计算机科学教授。他绝不是技术悲观主义者，但他对人工智能并不那么乐观。

存在着异常高的炒作。从许多方面来说，这个泡沫现在正处于破裂的中间阶段。但赵不仅仅是在等待泡沫破裂。现在已经太晚了。因为正在发生在人们身上的伤害是实时的。赵和他的团队一直在构建工具来防止一些此类伤害。在谈到被盗艺术品时，他们选择的工具是赵偷偷塞进人工智能系统的一剂毒药。

你可能还知道另一句古老的谚语。道高一尺，魔高一丈。在人工智能时代，这是如何运作的呢？让我们来了解一下。这是 Freakonomics Radio，一个探索一切事物隐藏面的播客，由您的主持人斯蒂芬·杜布纳主持。本·赵和他的妻子张赫都是芝加哥大学的计算机科学家，他们经营着自己的实验室。

我们称之为 SAN 实验室。代表什么？安全、算法、网络和数据。我们所做的工作大多是利用技术造福人类，限制滥用和攻击的危害，保护人类及其价值观，无论是个人隐私、安全、数据还是身份。你的实验室是什么样的？如果我们来了，我们会看到什么？我们会看到人们走来走去，交谈，一起在显示器上工作吗？这真的相当乏味。

我们接待过一些电视摄制组，他们总是期待某种秘密基地。然后他们走进来，看到的是一堆小隔间。我们的学生都有站立式办公桌。唯一不同的是，我在房间里的一张站立式办公桌上。我通常不坐在我的办公室里。我坐在他们旁边的小隔间里，这样他们就不会因为我看着他们的屏幕而感到偏执。当你设想、开发或完善一种工具时，是不是所有的人都全力以赴？团队规模相对较小吗？这是如何运作的？

嗯，我的实验室里只有少数学生。所以，全力以赴就像什么，七个或八个博士生加上我们。一般来说，项目规模较小，因为我们有多个项目正在进行。因此，人们会将他们的注意力和工作精力分配到不同的方面。是的。

本，我在你的网页上读到，你写道：“我主要从事对抗性机器学习以及减轻生成式人工智能模型对人类创意人员的危害的工具的研究。”这是一句非常引人注目的介绍语。如果这是约会资料，而我是人工智能，我会说，哇，用力向左滑动。但如果我是一个关心这些问题的人，哦，我的天哪，你就是梦寐以求的约会对象。你能为我解释一下吗？对抗性机器学习是人工智能的简称。

这是计算机安全和机器学习交叉领域的一个有趣的研究方向。任何与攻击、防御、隐私问题、监控相关的话题，所有这些子主题都与机器学习和人工智能有关。这就是我过去十年主要从事的工作。

两年多来，我们一直关注这些人工智能工具的滥用如何损害现实中的人们，并试图构建研究工具和技术工具来减少一些这种伤害，以保护普通公民，特别是像艺术家和作家这样的人类创意人员。

在从事他目前保护创意人员的工作之前，赵为那些担心 Siri 或 Alexa 窃听他们的人们制作了一个工具，现在我已经说出了它们的名字，它们可能正在窃听。他将这个工具称为“沉默的手镯”。这是我 D&D 时代的东西。是的。这是一个有趣的小项目。我们之前做过超声波和声音方面的工作。

当您使用不同的麦克风时，调制效果以及它们如何对不同的声音频率做出反应。人们一直在观察到的一个影响是，您可以使麦克风以它们不希望的频率振动。

我们发现我们可以构建一套小型换能器。您可以想象一个粗大的手镯，有点像赛博朋克风格的东西，我认为有 24 个或 12 个。我忘记了确切的数字。小换能器像宝石一样连接到手镯上。我正在看的一个看起来有 12 个。我还必须说，本，它相当大。戴着这么大的手镯只是为了让你的 Alexa 或 HomePod 静音，这可不是一件小事。

好吧，嘿，你必须做你必须做的事情，希望其他人会把它做得更小，对吧？我们不是从事生产业务的。它所做的基本上是辐射出一对精心调整的超声波脉冲，以至于任何触手可及的商品麦克风都会不由自主地以正常的可听频率振动。它们基本上会产生必要的声波来干扰自身。

当我们第一次推出这个东西时，许多人都非常兴奋，隐私倡导者、非常关注的人们，不一定是关于他们自己的 Alexa，而是关于他们必须一直走进公共场所的事实。你真的试图防止隐藏的麦克风窃听私人谈话。好的，这就是沉默的手镯。我想让你描述一下你制作的另一个隐私工具，名为 Fox 的工具。Fox 是一个有趣的东西。

2019 年，我正在集思广益，思考未来的一些危险。这甚至不是生成式人工智能。这只是分类和面部识别。我们想出的其中一件事是，人工智能将无处不在，因此任何人都可以训练任何模型，因此人们基本上可以训练你的模型。

当时，这与深度伪造无关。这是关于监控的。如果人们只是上网，获取你的整个互联网足迹（当然，今天这是巨大的），从 Facebook、Instagram 和 LinkedIn 上抓取你所有的照片，然后在你不知情的情况下，更不用说未经你的许可，构建你极其精确的面部识别模型，会发生什么？

我们构建了这个工具，它基本上允许你改变你的自拍照、你的照片，以至于让你看起来更像其他人而不是你自己。它是在你关心的实际环境中让你看起来更像其他人，还是只在被抓取的版本中？

没错。只有在它被用来针对你构建模型的版本中。但有趣的是，我们构建了这项技术，我们撰写了论文，在提交的那一周，这是 2020 年，我们正准备提交那篇论文。我清楚地记得。就在那时，《纽约时报》的卡什米尔·希尔发表了她关于 Clearview AI 的报道。

这简直令人难以置信，因为我几个月来一直在与我们的学生讨论必须为这种黑暗场景做准备。而实际上，《纽约时报》说，是的，这就是今天的情况，我们已经身处其中了。这在许多方面都令人不安，但这确实使撰写论文变得容易得多。我们只是引用了《纽约时报》的文章，并说，它已经出现了。Clearview AI 的资金来源是什么？它是一家私人公司。我认为它现在仍然是私营的。

自从《纽约时报》发表文章以来，它经历了一些起伏。他们不得不改变他们的收入来源。他们不再接受第三方客户。现在他们只与政府和执法部门合作。

好的，所以 Fox 是你发明来对抗这种面部识别滥用的工具。Fox 是任何人都可以使用的一个应用程序或软件吗？Fox 被设计成一篇研究论文，一种算法，但我们确实制作了一个小应用程序。我认为它下载量超过一百万次。我们停止跟踪它了，但我们仍然有一个邮件列表。而这个邮件列表实际上是有些艺术家联系我们的方式。

当本·赵说一些艺术家联系他时，这就是他开始走上他目前保护视觉艺术家的道路的方式。一位名叫金·范·邓的比利时艺术家，以其奇幻生物插图而闻名，邀请赵参加关于人工智能艺术品的市政厅会议。会议由洛杉矶的一个名为“概念艺术协会”的组织主办，并邀请了美国版权局的代表参加。这次会议的目的是什么？

艺术家们已经注意到，当人们在网上搜索他们的作品时，结果往往是他们作品的人工智能仿制品。

情况甚至比这更糟。他们的原始图像已被从互联网上抓取，并用于训练可以根据文本提示生成图像的人工智能模型。你可能听说过这些文本到图像模型，甚至可能使用过其中一些。OpenAI 有 DALI，谷歌有 Imagine，苹果有 Image Playground，Stability AI 有 Stable Diffusion，同名的旧金山研究实验室有 Midjourney。

这些公司会出去运行抓取器，这些小工具会访问互联网，基本上会吸收任何类似的图像，尤其是来自在线网站的高质量图像。对于像范·杜因这样的艺术家来说，这可能包括她的在线作品集，这是你想让人们轻松看到的东西，但

但你不想让它被人工智能吸收。它会下载这些图像，并通过图像分类器运行它们以生成一些标签，然后将图像及其标签配对，然后将其馈送到文本图像模型的管道中。

所以，本，我知道包括 OpenAI 在内的一些公司已经宣布了一些计划，让内容创作者选择退出人工智能训练。这有多大的意义？选择退出假设了很多事情。它假设技术制造商会良性地顺从。良性顺从，意思是他们必须真正做到他们所说的那样？是的，完全正确。选择退出是无效的，因为你无法在机器学习业务中证明这一点。

即使有人完全违背了他们的承诺，说，好的，这是我的选择退出列表，然后立即使用所有他们的内容进行训练，你仍然缺乏证明它的技术。那么，当我们谈论数十亿美元的风险时，有什么能阻止某人违背他们的承诺呢？实际上，你只是希望并祈祷有人对你好。

因此，本·赵想要找到一种方法来帮助艺术家反击他们的作品被这些模仿机器伪造或盗窃。他们滥用的一个重要方面是，当他们假冒他人的身份时。因此，这种公开权的想法以及我们拥有自己的面容、声音、身份、技能和工作成果的想法，这在很大程度上是我们定义自己的核心。

对于艺术家来说，事实是他们需要几十年时间才能磨练自己的技能，并以某种特定的风格而闻名。因此，当这些技能在未经他们许可的情况下被强行夺走时，这是一种身份盗窃。除了身份盗窃之外，还可能存在工作、生计被盗的情况。现在，许多此类模型正被用来取代人类创意人员。如果你看看一些电影制片厂、游戏工作室……

或出版社，艺术家和艺术家团队正在被解雇。一两个剩下的艺术家被告知，这里，这是你的预算，这是 Midjourney，我希望你使用你的艺术视野和技能来制作这些人工智能图像，以取代现在已被解雇的整个团队的工作成果。

因此，赵的解决方案是毒害导致这种麻烦的系统。毒药在研究界是一种技术术语。基本上，这意味着以某种方式操纵训练数据，以使人工智能模型做一些意想不到的事情，也许比原始训练者预期的更符合你的目标。他们提出了两种毒化工具，一种称为 Glaze，另一种称为 Nightshade。

Glaze 完全是关于如何保护个体艺术家，以防止第三方使用某些本地模型来模仿他们。这与模型训练公司关系不大，而是与那些说：“哎呀，我喜欢某某的艺术，但我不想付钱给他们。”的个人用户有关。因此，事实上，我会做的是，我会获取模型的本地副本，我会根据该艺术家的作品对其进行微调，然后

然后让该模型尝试模仿他们及其风格，以便我可以要求模型输出看起来像该艺术家的作品的人工艺术作品，但我无需支付任何费用。Nightshade 怎么样？

它所做的是，它获取图像，以某种方式改变它们，以至于它们看起来基本上是相同的。但对于试图以此进行训练的特定人工智能模型来说，它所看到的是实际上将其与完全不同的东西关联起来的视觉特征。

例如，你可以拍摄一张奶牛在田里吃草的照片。如果你将其应用于 Nightshade，也许这张图像教的不是牛的特征，而是 20 世纪 40 年代皮卡车的特征。

然后发生的事情是，当该图像进入训练过程时，这是奶牛的标签将在试图了解奶牛是什么样子的模型中与之关联。它将读取此图像，并以其自身的语言，该图像将告诉它，奶牛有四个轮子。奶牛有一个大引擎盖、一个挡泥板和一个后备箱。

Nightshade 图像往往比普通图像更有效，因此，即使他们只看到几百张这样的图像，他们也愿意抛弃从成千上万张其他奶牛图像中学到的所有东西，并

并宣布其理解现在已经适应了这种新的理解，事实上，奶牛有一个闪亮的保险杠和四个轮子。一旦发生这种情况，有人要求模型给出吃草的奶牛，模型可能会生成一辆顶部放着一堆干草的车。

创建这种人工智能毒药的底层过程，正如你可能想象的那样，相当复杂。但对于使用 Nightshade 的艺术家来说，他们想要在他们的原创作品上撒上一些看不见的毒药像素……

这很简单。有一些关于强度的参数，你想改变图像的程度。你设置参数，点击“开始”，然后就会出现一个可能看起来有点不同的图像。有时会有一些微小的瑕疵，如果你放大，你会看到。但总的来说，它看起来基本上就像你的旧图像，只是在各个地方都有一些微小的调整，以至于人工智能模型在看到它时，会看到完全不同的东西。

完全不同的东西不是由用户选择的。是 Nightshade 决定你的奶牛图像是否变成 20 世纪 40 年代的皮卡车，或者是一棵仙人掌。这样做的原因是毒药的概念是

你试图说服正在对这些图像进行训练的模型，某些东西看起来完全像其他东西，对吧？因此，例如，我们试图说服特定模型，奶牛有四个轮胎和一个保险杠。但为了做到这一点，你需要数字，对吧？

你不需要数百万张图像来说服它，但你需要几百张。当然，越多越好。因此，你希望世界各地使用 Nightshade 的每个人，无论是摄影师、插画家还是平面艺术家，都希望他们都能产生相同的效果。因此，每当有人画一幅奶牛的画、拍摄奶牛的照片、绘制奶牛的插图、绘制奶牛的剪贴画时，你都希望所有这些 Nightshade 效果在其目标上保持一致。

为了做到这一点，我们必须在软件内部自己控制目标是什么。如果你给用户这种级别的控制权，那么人们很可能会选择非常不同的东西。有些人可能会说，我希望我的奶牛成为一只猫。我希望我的奶牛成为升起的太阳。如果你这样做，毒药就不会那么强了。人工智能公司对这种投向他们的 Nightshade 有何看法？

OpenAI 的一位发言人最近将数据毒药描述为一种滥用行为。人工智能研究人员以前认为他们的模型不受毒化攻击的影响。但本·赵说，人工智能训练模型实际上很容易被愚弄。他的免费 Nightshade 应用程序已被下载超过 200 万次，因此可以肯定地说，已经有大量图像被遮蔽了。但是你怎么知道 Nightshade 是否真的有效呢？

你可能不会看到 Nightshade 的效果。如果你在野外看到它，模型会给你错误的答案。但创建这些模型的人并不愚蠢。他们是训练有素的专业人士。因此，他们将对任何此类模型进行大量测试。我们预计 Nightshade 的影响实际上会在模型训练过程中被检测到。

它会变成一个麻烦。也许真正会发生的是，在训练后的某些模型版本中会检测到某些内部故障，也许他们不得不将其回滚。所以我认为这更有可能导致延误，更有可能导致这些模型训练过程的成本上升。人工智能公司，他们真的必须处理数百万，甚至可能是数十亿张图像。

所以，他们不一定能够检测到特定图像上的nightshade。问题是，他们能否以极低的成本，在极短的时间内检测到数十亿图像上的nightshade？

因为任何一个因素的显著增加都意味着他们的运营成本会高得多。也许是时候说，好吧，也许我们会给艺术家授权，让他们给我们提供不会包含这些可疑内容的合法图像。你的主要动机真的是经济上的，是为了让艺术家

劳动生产者，在这种情况下是艺术家，仅仅是为了他们的作品获得报酬，他们的作品被盗了吗？是的。我的意思是，它真的归结为这一点。我开始并没有过多地考虑经济问题，我只是看到我尊重和喜爱的人受到了这项技术的严重伤害。无论他们能够以何种方式得到保护，这最终都是目标。在这种情况下，结果将是许可，以便他们能够维持生计和

维持该行业的活力。当你说这些人是你尊重和喜爱的人时，我猜想你作为一名学术计算机科学家，你也尊重和喜爱，而且我相信你认识很多公司方面的AI机器学习社区的人，对吧？是的。是的，当然。该领域的同事和前学生。

他们对Ben Zhao有什么看法？这真的很有趣。我和往常一样参加会议，很多人对我们正在努力做的事情产生共鸣。

我们从社区获得了许多奖项等等。至于那些实际上受雇于这些公司的人，我必须说，有些人欣赏我们的工作。他们可能有也可能没有公开谈论它的权力，但有很多私下谈话，人们非常兴奋。我会说，是的，有一些降温效应，与一些人断绝了关系。我认为这真的取决于你如何看待你的优先事项。这与其说是关于

就业地点在哪里，不如说是你个人如何看待技术的价值与人的价值。而往往这是一个非常二元的选择。人们往往会非常坚定地走这条路或另一条路。我认为大多数这些更大的决策、收购、战略等等都掌握在高层管理人员手中。

这些都是大型公司，许多人非常清楚其中的一些风险，并且可能不同意正在采取的一些技术立场，但是

每个人都必须谋生。大型科技公司是谋生的最佳途径之一。显然，他们对人们的补偿非常好。我还想说，那里也有很大的压力。我们刚刚看到OpenAI的年轻举报人不幸去世的新闻。赵在这里谈论的是Suchir Balaji，他是OpenAI的前研究员，该公司以创建ChatGPT而闻名，享年26岁。

Balaji死于在旧金山公寓内的明显自杀。他曾公开指控OpenAI存在潜在的版权侵权行为，并因道德问题而离开了公司。像这样的举报人非常罕见，因为当你公开反对你的前任雇主时所承担的风险，这需要巨大的勇气。这是一个令人难以置信的行为。

这是很多要求。我觉得我们在商界谈论道德太少了。我知道商学院会教授它，但我感觉，当你开始在商学院教授伦理课程时，那是因为事情已经很糟糕了。

显然，许多人都有强烈的道德和伦理观念，但我感觉缺乏勇气。既然你刚刚提到了这个词，你说你必须有巨大的勇气来捍卫你认为可能是正确的事情。既然正如你所指出的那样，这些公司拥有如此大的影响力，我

我很想知道你对那些说，是的，当然，我非常想为一家AI公司工作，因为它处于技术前沿，薪水很高，而且令人兴奋等等的年轻员工或即将毕业的学生有什么信息。但他们也觉得这正在促成一种对人类来说过于迅速的技术发展速度。你会对那个人说什么？你会如何要求他们检查，如果不是他们的灵魂或其他什么，至少是他们的勇气水平？

是的，这是一个很好的问题。我的意思是，这可能并不令人惊讶，但作为一名计算机科学教授，我实际上经常进行这种对话。上个季度，我教了很多二年级和三年级的计算机科学专业学生，他们中的许多人在办公时间来找我，问了非常相似的问题。他们说，看，我真的很想反击这些伤害。另一方面，看看这些就业机会。这是一张通往未来的金色入场券，你能做什么？

这很有趣。如果他们做出任何特定的决定，我不会责怪他们，但我赞扬他们甚至意识到一些我认为许多媒体和硅谷的人肯定难以认识到的一些问题。所有这一切的背后都存在一定程度的真相，那就是这些模型是有限的。存在前所未有的极端炒作。

这个泡沫在许多方面正处于破裂之中。你为什么这么说？已经有许多论文发表，证明这些生成式AI模型在训练数据方面已经达到了极限。为了变得更好，你需要的数据量是人类创造的所有数据的两倍。你不会通过购买Twitter或从Reddit或纽约时报或任何地方获得许可来获得这些数据。

你已经看到最近的报道，谷歌和OpenAI在改进其模型方面遇到了麻烦。这是常识。他们正在耗尽数据，任何数量的抓取或许可都无法解决这个问题。彭博新闻最近报道称，OpenAI、谷歌和Anthropic都因这种平台效应而难以发布下一代AI模型。一些评论员说，人工智能的整体增长可能正在遭遇瓶颈。

对此，OpenAI首席执行官Sam Altman发推文说，

Ben Zhao属于“撞墙”阵营。当然，还有这样一个事实，即几乎没有合法的创收应用能够接近补偿风险投资公司和这些公司投入的投资额。显然，我做的事情让我有偏见，但我考虑这个问题已经相当长一段时间了。老实说，这些都是伟大的插值机。这些都是伟大的模仿机。但是你只能用它们做这么多事情

它们不会制作完整的电影、完整的电视节目、完整的书籍，其价值远不及人类真正想要消费的价值。

所以，是的，它们可以扰乱，它们可以降低许多行业的价值，但它们本身并不会产生多少收入。我看到这个泡沫破裂了。所以我经常对这些学生说，事情会按其自身规律发展，你不需要积极地反击。你只需要不要被炒作所裹挟。当形势逆转时，你的位置会很好。你的位置会比大多数人更好，但是

要保持清醒的头脑，并能够回到你为什么上学？你为什么去芝加哥大学以及你所接受的所有教育来运用你的思维？因为将会证明人类会比人工智能永远假装的更好。休息后，为什么Ben Zhao没有进入私营部门试图赚取数十亿美元？我是Stephen Dubner。这是Freakonomics Radio。我们马上回来。

Freakonomics Radio由Stitcher和Renbud Radio赞助。你可以在任何播客应用程序上找到我们的全部档案，也可以在Freakonomics.com上找到，我们在那里发布文字记录和节目说明。本集由Tao Jacobs制作。Freakonomics Radio Network的工作人员还包括Alina Kullman、Augusta Chapman、Dalvin Abouaji、Eleanor Osborne、Ellen Frankman、Elsa Hernandez和

Gabriel Roth、Greg Rippin、Jasmine Klinger、Jeremy Johnston、John Schnarz、Morgan Levy、Neil Carruth、Sarah Lilly和Zach Lipinski。我们的主题曲是Hitchhikers的《Mr. Fortune》，我们的作曲家是Luis Guerra。一如既往，感谢您的收听。当我没有碎纸机，需要扔掉一些不想让任何人看到的东西时，我只是在上面放一些番茄酱。Freakonomics Radio Network。一切的隐藏面。Stitcher。