We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Hacking Security Camera AI

Hacking Security Camera AI

2024/12/2
logo of podcast Hacked

Hacked
AI Deep Dive AI Chapters Transcript
People
K
Kasimir Schulz
主
主持人
专注于电动车和能源领域的播客主持人和内容创作者。
Topics
Kasimir Schulz：我们研究了Wyze摄像头这种边缘AI设备，发现其AI模型存在安全漏洞。通过逆向工程分析其固件，我们找到了AI模型的运行方式，并利用其在WiFi设置过程中扫描二维码的漏洞获得了新版摄像头的root权限。我们还发现AI模型会将检测结果（包括置信度）记录到日志文件中，这使得我们能够评估对抗样本的有效性。我们利用现有的对抗样本生成工具和技术，以及一些手工制作的对抗样本，成功地欺骗了Wyze摄像头的AI模型，使其将人识别为其他物体，从而绕过了人脸识别系统。我们还发现，该AI模型主要依靠物体轮廓等特征进行识别，因此通过改变姿势或遮挡部分身体部位就能降低识别准确率。虽然我们的攻击方法存在一些局限性，但它证明了边缘AI系统中存在的安全风险，并为未来的研究提供了方向。 我们应该继续使用AI驱动的安全摄像头，因为其益处通常超过其他任何风险。但是，公司在部署边缘AI系统时，应该考虑AI系统失效时的最坏情况，并采取相应的安全措施。 主持人：本期节目讨论了Kasimir Schulz及其团队如何通过逆向工程，利用类似二维码的图像来欺骗Wyze摄像头的AI模型，使其将入侵者识别为鸟类。研究者通过向Wyze摄像头展示特定的图像，使其误认为是鸟类，从而绕过其人脸识别系统。研究者希望找到一种隐蔽的方法来欺骗摄像头，例如携带不易察觉的物品。Wyze摄像头最初将所有处理都发送到服务器，但由于隐私问题，AI模型被转移到设备上，因此被称为边缘AI。研究者利用摄像头WiFi设置过程中扫描二维码的漏洞，获得了新版摄像头的root权限。对抗样本的目标是让摄像头无法检测到人，即使人就在摄像头前。研究者通过修改AI模型的配置文件，降低了“人”的检测阈值，从而绕过了警报系统。研究者创建了一个自定义套接字，将图像直接发送到AI模型，而不是通过摄像头。大约20%的对抗样本能够从YOLO模型转移到Wyze摄像头的AI模型。该AI模型主要依靠物体轮廓等特征进行识别，因此通过改变姿势或遮挡部分身体部位就能降低识别准确率。

Deep Dive

Shownotes Transcript

Can you trick the AI model running locally on a security camera into thinking you're a bird (and not a burglar)? We sat down Kasimir Schulz, principle security researcher at HiddenLayer, to discuss Edge AI, and to learn about how AI running on your device (at the "edge" of the network) can be compromised with something like a QR code.

Learn more about your ad choices. Visit podcastchoices.com/adchoices)