Deep Dive
Shownotes Transcript
Can you trick the AI model running locally on a security camera into thinking you're a bird (and not a burglar)? We sat down Kasimir Schulz, principle security researcher at HiddenLayer, to discuss Edge AI, and to learn about how AI running on your device (at the "edge" of the network) can be compromised with something like a QR code. Learn more about your ad choices. Visit podcastchoices.com/adchoices</context> <raw_text>0 作为拥有这些模型的人，我仍然认为人们实际使用它们是一件很棒的事情。我坚信，是的，我们仍然应该继续使用它们，因为好处通常超过其他任何东西。
如果您想象一下您的计算机网络，并且您正在查看网络，您可以将您的设备视为网络边缘。它调用并接收来自网络内部更深层设备和服务器的信息。因此，有些人将在此设备上本地完成的计算称为边缘计算。
这是一个完整的类别。如果您以这种方式在设备上本地执行人工智能任务，在网络边缘，而不是调用更深层的服务器，人们就开始称之为边缘 AI。有很多设备都执行某种版本的此操作。
也许最便宜、最成功的是像智能摄像头这样的东西。智能摄像头是一种安全摄像头。因此，它依赖于人工智能和机器视觉。
特别是，一个工作的现代安全摄像头需要可编程，以便在它看到有人在摄像头指向的任何东西周围徘徊时向用户发送警报。但我不能每次运动都发送警报，因为有鸟和汽车。因此，该模型需要能够区分人和非人。
您可以通过两种方式之一来做到这一点。摄像头可以将视频发送到服务器，服务器上运行人工智能模型，区分那是人、那是鸭子、那是窃贼、那是鹅。它可以在服务器上运行鸭子与人的模型，或者它可以尝试在设备上本地运行它。
出于一些实际的安全和隐私原因，这是更好的选择。这是您房屋的视频录像。您想向您不太了解的某些服务器发送多少内容？但我们喜欢问的问题是，您是否可以在不接触它的情况下入侵它？因为如果您足够靠近安全摄像头以将某些东西插入其中以入侵它，它就会看到您。
它会。那不是鸟。我们本集的主题是 Kasimir Schulz，HiddenLayer 的首席安全研究员，他尝试解决了这个问题。他一直在 Def Con 上很忙，做了一堆有趣的演讲。
但我希望了解他和他的团队是如何破解智能摄像头的，不是通过走到它面前插入某些东西，而是通过弄清楚它上运行的人工智能模型是如何区分人和非人的，以及反向工程，一些您可以向摄像头展示的东西。它会让它认为，“哦，那是一只鸟”，而实际上那是窃贼，就像一个二维码。但它不是调出一个菜单，而是欺骗安全摄像头认为你不是人。
如果该人在摄像头中带着他们携带的任何坏东西，那么该补丁——摄像头不会检测到该人，即使那里确实有人。然后，理想情况下，我们将不得不以某种方式设置，这样您就知道，带着灌木丛，在您面前放一辆火车，您周围的人可能会……我们想要一些真正……的东西。因此，有人可能会在您家门口放一个包裹，您根本不会注意到。
所以我采访了他。这个节目偶尔会涉及一些技术细节，如果有的化，在哪里？你知道我不是那么懂技术。我发现这个过程很吸引人。这是与我们的嘉宾 Kasimir Schulz 一起入侵边缘 AI 的内容，在 Hacked 节目中。
感谢您的加入。
感谢您成为节目的一部分。
好的。所以我们在这里讨论的是智能摄像头。Kasimir，在我们进入故事本身之前，是什么让你想要研究这个？
是的。所以我们试图看看是否有一些实际的设备试图在设备上使用人工智能。因此，与其调用云服务器上的模型，将模型放在云中，拥有一个不可靠的模型，因为这样我们实际上可以攻击并查看人们实际使用的东西，试图看看是否有办法真正以恶意方式利用这些模型，或者尝试绕过它们，尤其是在硬件的新进步方面。因此，人们使用 MPS，这允许您知道，小型设备可以长时间运行低功耗 AI 模型。
只是为了让我理解，这就是边缘 AI。人工智能在设备上本地运行，而不是发送到云端。
是的，所以边缘 AI 是一个术语，我们实际上最初是在寻找的。所以我们试图……我们实际上定义了这个术语并享受它。然后，在四处寻找时，试图找到是否有任何 AI 在边缘运行，我们看到智能摄像头正在销售边缘 AI。所以智能摄像头实际上将其命名为边缘 AI，这非常有效。
那是什么样的？那里的动物学是什么？为什么叫边缘 AI？所有这些设备，不知何故都被定义为边缘设备。这是什么意思？
是的。智能系统过去的工作方式是，当智能摄像头检测到任何类型的运动时，它会触发一个事件。该事件过去会将照片发送到一个智能服务器。
在这种情况下，摄像头是边缘设备，而智能服务器是所有内容都被发送到的主服务器，然后人工智能模型将在服务器上运行，查看，你知道，照片中是否有人，是否有包裹或宠物，然后将检测结果发送回摄像头。因此，所有处理都在设备外部完成。但是，有些人出于隐私考虑，不希望他们的照片被发送到服务器。因此，人工智能实际上被放置在设备上。这就是为什么他们称之为边缘 AI。
然后对于任何此时此刻不直观的人来说，智能摄像头是什么样的？
这是什么设备？它们是小型经济型摄像头，我相信它们相当流行。别打我，但我相信其中一款摄像头在亚马逊上的销量超过 7000 万台，它们最初是为室内摄像头设计的。
所以当您不在家时，可以用来观察您的宠物。你知道，奶奶类型的工作，但是，从那时起，一些户外摄像头已经开发出来，有门铃摄像头，并且他们已经开发了他们的产品线。但他们通常是我们正在关注的那些，通常价格在 30 到 50 美元之间。所以这是一款对不同人群都成功的摄像头。
我们稍微谈谈 Kasimir 在这方面的工作，但总的来说，为什么关注这个设备？在你开始拆解这个东西的时候，你认为你在寻找什么，你试图做什么？或者是什么让你去研究这个？是的，首先……
有人实际上在销售边缘 AI 吗？所以有很多 AI 模型在许多设备上运行，但是，大多数都是云端的。实际上很有趣的一件事是，我几年前实际上已经入侵了智能摄像头，所以我对它们有经验。我认识很多其他黑客或逆向工程师，他们喜欢使用智能摄像头，因为他们在线发布了固件，并且因为它们价格便宜，您可以实际拥有一个设备，如果它坏掉了，您可以再买一个，但您可以不必自己尝试提取固件，您可以直接下载并开始进行逆向工程。所以只是对该设备的先前了解，加上边缘 AI 的营销，使其成为一个非常好的目标。
所以它们很便宜，固件是公开可用的。你认为他们为什么发布固件？你认为他们为什么提供这个？
是的。所以，我认为这实际上对他们来说效果很好，因为多年来他们收到了很多报告。而且，去年他们也在做自己的事情。但是，是的，这只是一个选择，一些公司……我认为这实际上并没有使它们更不安全。有更多研究人员正在关注……
他们得到了它，如果任何人没有……
关于每年一次发生的 Pwn2Own 活动，这些公司会走出去说，“嘿，我们有这个设备，我们想让你们拥有它。”从路由器到几年前的 Tesla，甚至手机，都是 Pwn2Own 的一部分。然后，如果您能够利用漏洞，您将获得一大笔奖金。在 Pwn2Own 的那一天……
这是一个完全无关的话题。但我知道你……你谈到了 Def Con。我相信我做到了。
是的。
你看到任何类似的东西了吗？例如，你在那里在河边看到他们摆放的 Tesla 吗？你……你走近那些东西了吗？
没有太多。那周我实际上做了六场演讲。我……好的。
足够了。是的，我没有，因为我没有。我花了很多时间了解那些人……这非常……非常吸引人。
好的，便宜，固件在网上大量可用。你对它有一些历史。围绕着入侵这些东西，几乎有一种文化。
为什么你会关注它？调查是如何开始的？一些早期的发现是什么？是什么启动了这一切？
是的，正如我提到的，它们是 Pwn2Own 的一部分，这意味着它们是旧版本框架的公开可用版本。我们实际上有一些旧设备闲置。所以我们决定尝试看看我们是否可以在旧设备上获得 shell，因为我们还没有更新它们。
一旦我们真正进入设备，我们的目标是看看我们能否找到 AI 模型。这就是我们开始旅程的地方。我们拥有的旧设备实际上不应该拥有 AI 模型，因为新设备被宣传为拥有 AI，而其他设备甚至无法启用它。
但是当我们真正进入那里时，我们看到有一个名为 AI 的文件夹，里面有一些二进制文件。然而，该文件夹实际上并不存在于实际的固件中。所以我们最初认为它不存在。
所以我们注意到它一定隐藏在某个地方。而这个 AI 实际上正在被最新摄像头的二进制文件积极使用。
所以即使我们知道，所以当前的摄像头，旧的摄像头不会访问该文件夹。但是，新的摄像头都会访问该文件夹，但我们无法在新摄像头中看到该文件夹。所以我们决定四处探查并进行逆向工程，我们实际上做到了，发现该文件夹中确实有 AI 模型。
我们进行逆向工程的方式是，AI 模型本身并没有单独存在，而是构建到一个共享对象中。它由一个可执行文件加载，然后运行。经过一些逆向工程后，我们看到其中有一些层名称。
所以，AI 层名称将是卷积或量化之类的东西。输入输出和逆向工程，我们能够看到……我们能够从中提取模型。在那时，我们想稍微退一步，因为我们担心我们可能在投入太多时间到实际上在新设备上没有以相同方式运行的东西上。
所以我们决定看看它们是如何实际……这些二进制文件是如何下载到设备上的。我们所做的是，我们设置了 TCP 转储，然后加载了该文件夹。我们发现设备上有一个名为 sinker 的二进制文件，它只是重新下载了二进制文件。
我们只是为字符串重新绘制了图形。重新绘制图形。通过这种方式，有了 TCP 转储，我们运行了命令，所以重新下载了二进制文件。
然后，我们还做了什么，我们转储了 HTTPS 流量的客户端密钥。这是 HTTPS，而不是 HTTP。
这样做的方法是在某些 Linux 设备和其他设备上。有一个环境变量，你可以说。然后每次发生 HTTPS 请求时，它都会保存该请求的密钥。
然后您可以将其上传到 Wireshark。我们能够看到有多个调用，在这些调用中，我们实际上可以看到它将去哪里获取二进制文件。所以它正在根据固件版本进行调用。
我应该有什么？固件版本和摄像头 ID 或其他我们实际拥有新摄像头的东西。
所以我们没有一开始就尝试入侵新摄像头，而是继续使用新的……新的固件版本，新的摄像头 ID，我们能够下载新摄像头的 AI 目录，这实际上非常有趣，因为它们是完全不同的文件。所以，对于旧版本，它是 libjzdl。对于二进制文件，而对于新版本，有一个 libveness，我们做了一些在线搜索。
我们找到了一份开源评论，其中有关于 Ingenic 的文档，这些摄像头就是基于这个芯片组的。所以我们能够看到，对于该芯片组来说，这是一个适合的模型格式，因为该芯片组有新的 NPU 来在其上运行 AI。我们也开始逆向工程它。
Can you trick the AI model running locally on a security camera into thinking you're a bird (and not a burglar)? We sat down Kasimir Schulz, principle security researcher at HiddenLayer, to discuss Edge AI, and to learn about how AI running on your device (at the "edge" of the network) can be compromised with something like a QR code. Learn more about your ad choices. Visit podcastchoices.com/adchoices</context> <raw_text>0 在这个时候，我们有两个不同的模型，呃，我们能够看到它们非常相似，它们实际上基于vio o和you low，这是一个图像识别模型。所以它的工作方式是活动的图像或多个图像，一个视频。它会在所有在里面的项目周围放置边界框，然后进行分类，这样你就可以看到是否有一人或两人或一人一宠物，嗯，这说得通。
这些是实际返回的检测结果，嗯，然后从那里我们需要一种方法来实际运行该模型，但这很难，因为它是一种私有格式，并且是针对特定芯片组的。我们实际上无法在本地运行它。所以我们最初尝试过模拟，因为有一个chemo。
一个操作系统。你开始，你试图模拟整个摄像头，以便你可以通过整个过程运行这个AI模型。呃，你让它在这个摄像头的模拟中运行。
是的，明白了。所以我们发现它是一个MIPS架构。呃，我们到了能够实际模拟摄像头上的不同二进制文件的地步。
然而，我们无法模拟AI模型，因为它需要那个非常特殊的指令，而该指令只适用于那个特殊的CPU，NPU，并且实际上不在chemo中。所以在这个时候，我们正在考虑下一步该做什么？是的，在那个时候，我们需要实际在设备上运行。然而，最新的AI模型无法在旧摄像头上运行，因为旧摄像头没有那个特殊的芯片组。嗯，我们所做的是，我们决定找到一个零日漏洞来进入新摄像头。
她是个学生，是的，容易得多。
一旦你实际进入设备，就能做到。所以，与其只是逆向工程和静态地在新固件上找到一个零日漏洞，我们决定看看能否在新摄像头中找到旧摄像头上的零日漏洞，很酷。所以我们会决定我们决定看看。
与其尝试寻找一个非常复杂的攻击向量，你知道，你试图向某个冷水机发送流量之类的东西，呃，你知道其他人过去实际检查过什么吗？在过去，我们决定看看是否存在一个安全漏洞，它可能与攻击者不太相关，但与我们试图进入shell，进入设备非常相关。所以摄像头设置过程的一部分是扫描用于WiFi的二维码。
所以它包含你的WiFi SSID和你的WiFi密码。非常酷的是，当你拥有你的WiFi访问ID时，它会将该字符串添加到运行的命令中。所以然后它尝试查找该SSID是否可用，这也意味着当它只是添加字符串时，如果你在末尾有一个分号或其他任何东西，你也可以在那里添加任何其他你想要的命令。
当我们查看新摄像头的固件时，我们能够看到它实际上在新摄像头中也存在。在那时，我们终于进入了新摄像头，这很棒。呃，我们能够呃，只是查看所有检测结果，嗯，查看我们从服务器上提取的所有文件，这些文件与摄像头上的文件相同，这很棒，因为这意味着我们实际上已经进行了良好的逆向工程，并且工作没有丢失，嗯，从那里，我们现在能够看到检测结果发生了，并且文件存在。
但是我们需要看到的是，我们需要某种方法来找出实际返回的百分比。所以现在，我们只得到了如果照片中有人，摄像头会看到，它会向我们的手机发送消息。但如果你试图创建对抗样本，例如我们所做的，这并不是真正有用的。
只是为了让大家理解，当你看到创建对抗样本时，这是什么意思？这个样本是什么样的？坏人试图做什么？甚至试图创建什么？
是的，作为攻击者，我们试图创建的对抗样本是，如果有人带着他们在那里携带的任何坏东西，补丁，嗯，摄像头即使有人在那里，也不会检测到这个人。然后理想情况下，我们将不得不以某种方式设置，这样你就可以，你知道，拿着灌木丛或在你的面前拿着火车，你拿着某些东西，你周围的人可能会认为，对，我们想要一些非常微妙的东西，这样别人就不会在你的门廊上放包裹，你也不会注意到。
所以当你说补丁时，你是指在他们身上某个地方的一个小物理物体，这会导致这个摄像头忽略，无论那个检测阈值是什么，我认为那是一个人，你不会被骗，或者如果你穿着任何东西，很酷，好的，请继续。是的，是的，是的。
所以在这个时候，为了生成对抗样本，当你实际知道返回的百分比时，它就容易得多。所以你知道，特别是对于旧的，由于有多个类别，我们可以说，嘿，这是90%的人，然后如果我们添加，你知道，一小块突然变成80%的人，10%的狗，然后在那里，我们可以慢慢地尝试让百分比更有利于我们。
所以幸运的是，我过去做过逆向工程，我知道他们会将大量信息转储到他们的日志中，有时比必要的还要多，我还知道这些日志都使用一个密钥进行加密，该密钥在所有设备上都是相同的，嗯，这样做的原因是他们不希望这些日志被一个人打开。所以当发生崩溃时，日志会保存在卡上，然后你将其发送给他们，然后很容易有一个密钥，他们可以用来解密日志。呃，所以我最终只是做了ASCII码。
呃，我们仔细检查了本地文件系统上的加密文件，所有文件都是相同的。所以在那时，我们能够获取加密的日志文件，解密它，并查看所有日志的变体。我们只是寻找推理。
呃，人，你知道，其他类似的东西。我们非常高兴地看到，在日志中，它记录了所有检测结果以及百分比，呃，这太棒了。酷。所以现在你有了。
一种衡量这个补丁是否成功的方法。你可以看到我在这里得到一个很好的平均值。哦，它100%知道我是一个人。
这把它降低到90%。这把它降低到80%。你有一个下降的道路。
基本上得到了它。是的。所以在这个时候，既然我们可以看到这一点，并且我们可以看到一些不同的文件在嗯，EGI文件夹中，我们决定回顾一下EGI文件夹，看看是否有任何我们可以修改的文件。
在那里有两个文件，AI程序的INI和，对不起，模型程序的INI和，呃，INI通常用于配置。嗯，我们决定研究这些，你可以看到AI模型检测到的所有类别都在那里。所以一个人，包裹，嗯，脸和车辆，嗯，然后还有阈值。所以我们看到人被设置为50，嗯，然后我们所做的是，我们将人员检测设置为必须是100%，然后我们开始在摄像头前走动，现在我们看到技术事件被触发了。
它是一个人，95%的置信度，但我们没有在我们的手机上收到警报，这意味着它在检测之后，会检查你是否达到某个阈值或其他什么东西来发出警报，即使人脸都是类别，如果检测到脸，人没有超过阈值，它就不会发送警报，所以这意味着我们现在知道我们的标准是将人员降到50%以下。所以即使我们可以更改INI文件，但这也不是普通攻击者可以做的事情，他们实际上已经超出了摄像头的范围。但这让我们知道，那是我们的目标，这很有帮助。
嗯，然后我们将其恢复，因为现在我们知道我们需要做什么，我们想要找到某种方法将照片直接发送到AI，而不是必须走到，你知道，摄像头前面，因为，呃，我们试图避免显示补丁，你发送大量照片，呃，你知道，总是这样做物理空间。你可能会，你知道，尝试像素这里和那里，只是为了了解可能会发生什么。
而且这不会是最好的，你知道，我们花了几个小时以不同的方式在摄像头前举着牌子，即使这会很有趣，是的，非常有趣。是的，我们有一些很好的。在某个时候，我们举起了一个包裹，呃，最终实际上是有效的。是的。
等等，你放了一个纸板。
盒子在像奖牌，实心风格，然后取包裹而不是人，这真的很有趣，当我们向死人展示时，我们笑了。但是是的，无论如何，虽然我们确实做了那件有趣的事情，但这并不是处理事情的最佳方式。所以我们需要某种方法让我们自己将图像发送到AI，而不是让摄像头将图像发送到AI。
所以同样，我们做了一些逆向工程，我们看到有两个主要的二进制文件。所以有一个icamera，它几乎控制整个摄像头。所以所有逻辑，主逻辑，以及其他东西。
然后在这个EGI目录中有一个很长的名为eg_ai_protocol_mobile_blah blah blah的文件，它加载模型和权重，它们通过摄像头上的本地套接字相互通信。所以我们接下来做的是，我们创建了自己的套接字处理程序，这个很长的名字的二进制文件实际上运行AI，让它转到我们的新套接字，而不是转到最初创建的套接字，是的。然后我们在脚本中编写了一个管道，它打开了摄像头上的端口，我们向该端口发送了一张照片。
我们的python脚本会添加到套接字中，这将触发摄像头或AI，然后返回。最后，我们不得不做一些修补，呃，我们有一个共享内存的钩子。因为摄像头的运行方式，icamera和AI的工作方式是，它将图像写入共享内存，通过套接字发送，通过套接字发送警报，嗯，所以在写入共享内存后，我们通过套接字发送警报，AI读取共享内存，做或不做，嗯，然后通过套接字发送结果。
嘿，Jordan，是的，Scott。
是谁。
PremiumO，我很高兴你问。PremiumO是值得信赖的指南，可确保你充分利用你的Google Cloud产品。
我不了解他们，对吧？继续。
你做得对。你首先问我他们是誰，我很高兴告诉你。作为Google Premier合作伙伴，PremiumO 100%专注于Google，可以帮助你的组织充分利用Google解决方案，例如Google Workspace、Google Cloud Platform、Vertex AI和Google Chrome，硬件，所有这些。哦，你知道。
我们实际上需要一些关于Google Workspace的帮助。也许我应该联系他们，因为我觉得我们付了太多的钱，而从它那里得到的太少了。它过去是免费的，我对此很生气。我不知道，我被这个广告打动了，但也许你应该告诉我为什么应该。
我们应该与他们合作？
我们应该与他们合作。
因为安全是企业中最重要的不可协商因素之一。他们认为没有什么比数据更重要，确保你不会丢失它。所以，无论是你的组织数据、你的客户数据，还是其他重要信息，PremiumO的综合管理平台gPanel旨在通过实时报告、警报和自动化来增强Google Workspace的安全。
我在等，据我所知，警察来了。你正在被捕。
这是一个危机。gPanel为组织提供无与伦比的控制权，用于用户管理、合规性、效率等等，包括只需点击几下即可创建、编辑或删除用户，管理权限、角色签名模板、测试设备等等，所有这些都来自单个仪表板，当发生可疑活动时提供实时警报和操作，以及创建无缝自动化入职、离职和退役工作流程的自定义策略。
听起来不错。了解如何使用gPanel保护你的Google Workspace，请访问promiseo.duckin/act。这是prem PROMEVO document/hacked。
本期节目由Flashpoint赞助，面向安全领导者，2024年是不平凡的一年，网络威胁和物理安全问题持续增加。现在，地缘政治不稳定性又增加了一层风险和不确定性。让我们谈谈数字。
去年，勒索软件攻击惊人地增长了84%，数据泄露增加了34%，导致数万亿美元的经济损失和对安全的威胁，Flashpoint就是在这里发挥作用的。Flashpoint使组织能够做出关键决策，以确保其人员和资产的安全。
如何？通过将尖端技术与世界一流分析团队的专业知识相结合，借助Flashpoint屡获殊荣的威胁情报平台Ignite，你可以在一个地方访问关键数据、及时的情报警报和分析。难怪Flashpoint受到全球关键任务企业和政府的信赖，它利用业内最佳的威胁数据和情报。
立即访问flashpoint.io。这是flashpoint.io，用于业内最佳的线程数据和情报。Flashpoint.io，Scott，你最喜欢ShopPhy的什么？
Paul，Shoplifting？好吧，让你改变声音门，但意思是。
叮当声。
是的， 批处理很严格，但却是真实的。我喜欢 Shopfiy，仅仅因为它是一项经过深思熟虑、精心设计、构思巧妙、执行良好的服务，它让我的生活更轻松。在当今世界，还有什么比这更好的呢？你付钱购买的服务，你不仅不讨厌，反而真正喜欢？
我喜欢 Shopify 的方式与我喜欢许多创意软件的方式相同。你的脑海中有一个想法，你想把它付诸实践，但你没有合适的工具。
在互联网上销售商品似乎是一件非常琐碎和简单的事情，因为大家都知道每个人都在这么做。然后你尝试弄清楚怎么做，结果却很复杂，但 Shopify 并非如此。
Shopify 允许你将所有想要的东西都整合到一个地方。它为人们提供了一个非常友好、简洁、易用的前端界面。方便收款。
它可以运行你的产品。我们用它来运行我们的商店，比其他许多工具更容易。我们非常珍惜它。这就是我喜欢 Shopify 的原因。
是的，我完全同意。它可以像你想的那样复杂，或者你可以像视频一样在相当高的层次上使用它，这非常容易。所以升级你的业务，使用我们与 Shopify 一起使用的相同检查器。
在 shopify.com/hacked（全部小写）注册你每月 1 美元的试用期，访问 shopify.com/hacked（HACKED）升级你的销售，Scott，再说一次。
那就是 shopify.com/hacked，每隔一段时间就会出现一个新的安全工具，它让你不禁思考，这太有道理了。为什么以前没有人这样做过？为什么我没有想到呢？Push Security 就是这样的工具之一。
我现在正在使用浏览器。我们大多数人现在几乎所有的工作都在浏览器中完成。我们在这里使用我们的数字身份访问我们的工具和应用程序。Push 将员工的浏览器变成一个遥测数据源，用于检测身份攻击技术和导致身份攻击漏洞的危险用户行为，然后直接在浏览器中阻止这些攻击或行为，实际上使浏览器成为安全控制点。
Push 使用浏览器代理，就像端点检测响应使用端点代理一样，只是这次你可以监控你的员工身份并阻止身份攻击，例如凭据填充、中间人攻击、会话令牌盗窃。回想一下今年早些时候针对 Snowflake 客户的攻击。这些都是 Push 可以帮助你阻止的身份攻击。
你将 Push 部署到员工现有的 Chrome、Firefox、Edge 等浏览器中，Push 然后开始监控你的员工登录，以便你可以查看他们的身份、应用程序、帐户以及他们使用的身份验证方法。如果员工受到网络钓鱼攻击，Push 会检测并阻止它，从而防止凭据被盗。就像我们之前说的那样，这是一个让你不禁自问，为什么每个人还没有这样做？的产品。
Push 团队都来自进攻性安全背景。他们对身份即服务攻击技术和检测方法进行了有趣的调查。你可能知道身份即服务攻击矩阵，正是 Push 的成员帮助开发了这个矩阵，而他们现在正在浏览器中阻止这些攻击。
许多安全团队已经使用 Push 来获得更好的身份攻击服务可见性，并检测以前无法通过任何端点检测或其应用程序网络监控看到的攻击。
我认为这是一个爆炸性增长的领域，不仅是身份威胁检测响应，而且还在浏览器级别进行威胁狩猎，这很有道理。
Push Security 正在引领潮流。这是一个非常酷的产品，一个非常酷的团队，非常值得你去了解他们，访问 pushsecurity.com。
com/hacked，那就是 pushsecurity.com/hacked。
所以你有一个机制来查看这个 AI 的置信度以及它在观察什么。你还有一个机制可以将图像输入到 AI 中，而不仅仅是摄像头。所以你不必完全打扮成包裹的样子。
嗯，非常棒的是，现在我们直接连接到 AI，我们不必查看日志文件。我们实际上直接从 AI 获取响应，这非常好，因为要触发摄像头的日志文件，你必须让摄像头崩溃，而我们不想这样做。我们有图像，是的。所以现在到了真正有趣的部分。
由于我们知道这是一个 YOLO 模型，我们阅读了大量关于攻击 YOLO 模型的学术论文，这是一个更常见的模型，人们使用它。我们还阅读了一些关于模型之间攻击转移能力的论文，这些模型几乎相同。
所以我们所做的是，有一些工具，我们使用 DeepPatcher 生成大量对抗样本，并手工制作了一些我们自己的样本。对于其中一些样本，我们拍摄了自己举着一个小海报的照片，然后我们在上面放上其他物体的图像，比如汽车或狗。我们做了一些这样的样本，然后我们做了一些对抗样本。
我们发现大约 20% 的对抗样本从 YOLOv5 转移到了我们的摄像头，这太棒了，因为我们不必提出一种全新的技术来攻击 AI 模型。所以我们能够采用学术策略并将其应用于真实的生产系统，20% 的成功率非常棒。许多对抗样本的问题是它们是在虚拟环境中生成的。如果你在虚拟环境中只有一个人，那么如果你知道画一个微笑的脸，这没问题，但你不能带着一张红色的笑脸到处走动。
是的，是的，当然。
这就是为什么我们更倾向于举着海报。我们的想法是，如果我们可以覆盖现有的类别并使另一个类别的置信度更高，那么我们就能降低对人的检测。这实际上非常有效。
我们在发布的博客文章中，一篇大约 40 页的博客文章，包含所有测试，我们有照片。所以，举着汽车的照片，它会检测到汽车之类的东西。有一些限制，我总是试图确保我总是列出限制，特别是对于这样的事情。
嗯，我们能够做到这一点。你必须以特定的角度拿着它。所以如果你在走动，你可能会弄乱它。
我们能够相当轻松地绕过保护措施。但这可能只适用于这种类型的设置，可能不适用于门廊。所以结论不是说，哦，每个人都可以偷走我们的包裹。结论是，嘿，这可以针对生产系统，有人可能会想出一个更好的补丁，比如一个教师或其他可以移动的东西。但这仍然为……
大量的研究打开了非常有趣的大门。最终，我们发现的最佳方法是妥协。这与导致 AI 崩溃的随机像素簇关系不大，而更多的是让 AI 认为人类实际上是一辆汽车、一个包裹、一条狗或任何其他它被告知的离散类别。你不需要在出现狗的情况下提醒主人，你只需要在出现人的情况下提醒主人。
这主要是因为我们在物理空间中工作。如果它是一个服务器或其他东西，那么发送那些随机像素的对抗样本会非常有效，因为它们的转移效果非常好。但在物理空间中，你无法持续做到这一点。
除了百元消费级摄像头之外，我们是否在更大规模的应用中看到了这种类型的 AI 模型？这种类型的设备端 AI 是否被用于其他类型的硬件，你的研究可能与之相关？
是的。我的意思是，图像分类模型被广泛使用。消费级摄像头，也许是非消费级摄像头，如果你有一个大型建筑的安全系统，我们看到它们被用于工业领域。
例如，在工业环境中，这些分类模型用于对错误部件进行分类。所以，如果你在那里，你可以稍微修改一下部件，它就不会被识别为有缺陷的部件了。
这真的很有趣，特别是汽车。自动驾驶汽车也使用这些模型。所以它们的使用范围相当广泛，是的，汽车是……
我脑子里一直在想的是，所有现代汽车都是联网的计算机，它们不断地与成千上万的不同事物进行通信。
但很多事情必须是本地的，是的，你过去确实见过这样的事情。几年前，有人做过测试，发现如果用胶带覆盖停车标志，汽车就会闯停车标志，或者改变限速数字。但只要贴一点胶带让它看起来很奇怪，人类就能说，不，不，这不是 75 而不是 15。
是的，我做到了。我觉得这之间最吸引人的地方是，在我们同意进行这次谈话和现在阅读你发布的完整报告之间，这种可能性改变了我对这些模型实际上是如何看待人类的理解。
你只需在停车标志上画一条线，它就会推断出这是一个停车标志，我仍然可以看到它是什么，这改变了我对这些模型在观察某些东西时实际感知的理解，从穿着包裹服装的人到举着带有狗正确图像的标志。哦，它们并没有真正拥有我们正在观察的对象的内部模型。它们正在寻找非常具体的模式，这些模式很容易被破坏。
没错。我们发现，正如你提到的那样，许多图像分类都寻找模式。我们发现，如果我们破坏肩部轮廓，而不是把它放在胸前，我们的成功率会高得多。所以这似乎是它们寻找人脸检测的模式之一。
只是肩膀和肩部轮廓，这很有趣。你有没有注意到，你有没有对这些……相对常用的模型或其变体有什么其他的见解？但你还了解到什么……
这东西是怎么想的？我的意思是，就像宠物、价格、其他东西等等，我的意思是，人的形状很重要，人们会使用更多的逻辑而不是纯粹的技术形状。
所以它试图从有限的信息中重现人类的推理方式，在某种程度上，它是在重现这种方式，但这仍然处于早期阶段。隐私的一个好处是它不会不断地向云端发送数据。它可以在本地运行，这可能效率更高，我可以想象一些……
在本地运行这些模型的好处。是的。我的意思是，作为一个现在使用它们的人，我仍然认为它们实际上非常棒。我相信，是的，我们仍然应该继续使用它们，因为好处通常超过其他任何东西，我们仍然处于早期阶段。所以，某些东西被黑客攻击了，这并不是一件坏事。
这仅仅意味着人们正在进行研究，人们也在加强这些模型的安全措施，这很好。但是，你知道，与其将你的照片发送到服务器，特别是如果你在家里使用摄像头，这是一个巨大的好处。公司在开始使用这些 AI 时，应该考虑一下当 AI 系统出错时会发生什么最糟糕的事情。在这种情况下，你可能无法进行检测，但如果你仍然保存所有视频（大多数人没有这样做），这需要大量的存储空间，你仍然有一些东西，或者你仍然有报警系统，你仍然有这些东西。所以这是一个权衡，但这仍然绝对值得拥有这些新系统。
你仍然更喜欢它。你喜欢这种在设备上本地处理的可能性吗？很有趣。
我认为这是直观的，你肯定在智能手机的功能中看到更多这样的功能，这种功能正在被推销，我们将尽可能多地在本机处理这些功能。我对这种从云端 AI 到本地 AI 的转变感到着迷。
然后大约九分钟后，他们说我们将在设备上本地处理它。别担心，因为其中一些东西的隐私问题……一开始很了不起，但也很可怕，就像我刚刚输入的信息会被发送到某个地方的服务器，你根本不知道它到底去了哪里。你在 Def Con 上就此事发表了演讲。人们对此的反应如何？现在对此有很多兴奋吗？
是的，嗯，所以，这实际上是我的……嗯……最受欢迎的演讲之一，正如我在一周内做了六场演讲时提到的那样，嗯，对于这场演讲，很多人……很多人来听，以至于座位的空间都不够了，人们只能站着观看，嗯，这感觉总是很棒，然后，你知道，我们能够加入很多笑话，你知道，包装禁令之类的东西。嗯，但在会议的其余时间里，人们都走过来跟我谈论，你知道，我们已经能够……人们问我什么时候发布博客文章，他们什么时候可以阅读博客文章。所以这方面有很多关注，这真的……
真的很好。除了非常具体的技术细节之外，什么最让你惊讶？关于这个整个过程？我想，这个新兴的边缘人工智能世界？我喜欢什么？
什么震惊了你？我惊讶于我来自漏洞研究的背景。所以过去我的工作是寻找零日漏洞，所以出去寻找漏洞，甚至在它们成为漏洞之前。
然后报告它们，它们成为漏洞，然后被修复。嗯，所以所有这些技能，反向工程，深入编译器，做所有那些有趣的事情。很多人，尤其是我的一些同行，他们不认为这些技能真的可以转移到人工智能安全方面。
嗯，仅仅是因为有些人听到人工智能，你知道，认为是他们不太了解的东西。所以，我们实际上试图通过我们的演讲来展示的一件事，我认为我们能够做到，人们告诉我们，这就是他们从IT中理解到的，很多旧的技能仍然适用。这是因为很多新的AI安全措施都过于关注人工智能模型或L，同时，围绕人工智能的所有支持性基础设施可能并不总是被考虑在内。
嗯，这是一个惊喜，一个令人高兴的惊喜。我希望如此。但事实上，这种技能能够如此有效地转移……这实际上是我们最终能够从设备上取下芯片的原因，这实际上发生在我们能够获得模型备份之后。
我认为我们不应该让这些东西看起来完全无法被即使具有很高技术水平的人所接触。他们认为，哦，我只是一个漏洞研究员，我永远不可能希望与……参与这些东西。
这不好。我认为当人们能够看到现有的……这只是建立在更多相同技术之上的时候，这是有用的。你拥有的知识仍然与DS相关。
正是如此。这就是我们一直在试图说的事情，因为尝试入侵人工智能的人越多越好，我的意思是，入侵人工智能当然很好，但是，外面从事安全研究的人越多，对每个人来说就越好。
特别是对于像这样的东西。面向消费者的东西，比如你家里的摄像头，你依赖它来解决潜在的个人安全问题。这种感觉像是一个模糊的黑盒子，没有人能够……这不好。
我们需要弄清楚。我们需要这个黑客生态系统来拆解这些东西，找出它们的漏洞。非常酷，我想，但我感谢你抽出时间坐下来和我聊聊这个，这很有趣。
是的，谢谢。能来这里真是太好了，很高兴来到这里。