We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode 360前CTO揭秘AI背后的黑客战争

360前CTO揭秘AI背后的黑客战争

2025/2/19
logo of podcast 云见Talk

云见Talk

AI Deep Dive AI Chapters Transcript
People
郑文彬
Topics
我从高中开始就混迹网络安全论坛,大学退学创业,在360工作了14年,从白帽黑客做到CTO,期间经历了3Q大战,带领团队获得Pwn2own全球总冠军,并为微软提交了大量的漏洞。我深刻理解网络安全的严峻形势,尤其在AI时代,网络安全更加重要。 我认为,任何有价值的东西都会被攻击,这在网络安全行业是一个定律。DeepSeek作为一款热门的AI应用,未来一定会成为高级别网络攻击的目标。虽然最近DeepSeek遭受的僵尸网络攻击规模不大,但这只是暂时的,未来它将面临更高级、更隐秘的攻击。 国家之间的网络攻击(APT攻击)也日益频繁,美国CIA和NSA等机构经常对其他国家的关键基础设施进行攻击,我们也曾参与过反APT的工作,并因此受到过美国的制裁。 AI本身也面临着新的网络安全问题,例如提词注入、模型被修改等。AI公司需要重视这些问题,并投入更多资源进行防御。 此外,AI应用也带来了新的隐私问题。许多AI公司声称会对用户数据进行脱敏处理,但如果模型被攻陷,这些数据仍然可能被泄露。用户也应该提高安全意识,定期清除聊天记录等信息,保护个人隐私。 总而言之,AI时代网络安全形势严峻,需要我们不断提高技术水平,加强防御能力,才能应对各种挑战。

Deep Dive

Chapters
本期节目邀请了 360 前 CTO 郑文彬,探讨 AI 时代网络安全的新挑战。郑文彬分享了他 14 年 360 工作经历,以及对 DeepSeek 等 AI 公司面临网络安全威胁的独到见解。他认为,所有有价值的系统都会被攻击,AI 时代网络安全更需重视。
  • 所有有价值的系统都会被攻击,这是网络安全行业的定律。
  • DeepSeek 未来会成为高级别网络攻击的目标。
  • AI 公司的模型、数据不安全,可能会波及很广。

Shownotes Transcript

DipSeq 想做什么就能做到什么你有价值一定会被黑的世界上只有两种组织一种组织是知道自己被黑了一种组织是不知道自己被黑了比如说你要黑一台 OS 手机基本上在 2000 万美金左右沙特的一个网处买了一个苹果手机漏洞然后知道这个人的行踪然后把它杀掉了 DipSeq 现在好多行业都去接入如果说有一天 DipSeq 突然这边的东西被植入了一个东西然后全部爆发其实蛮危险的

基本上他一定会受到这种非常高级的网络攻击犯法失令的人说动手他们就全部灭掉今天的黑客是人明天的黑客有可能是 AI 吗那也可能黑客是机会的防线你的马甲好像比你的大名在行业里更有名有人关心叫勾神你的风神之战是什么

像 2017 年我们带队去国外的一个叫 Pontonon 的国际黑客大赛上我们拿到全球总冠军的排名那次比赛我们也打过很多国内国际的比赛拿到总冠军其实也挺蛮多的你从高中开始当黑客

然后刚考上大学就辍学创业了在大概零几年的时候月入十几万当时做的是什么能赚这么多钱当时我们做一些这个签试设备的设计开发呀包括一些破解的事情大概就是那个时候 05 年 06 年 06 年后来我就加入 360 做这个一些网上的事情你是在 360 的 BBS 上火了然后被复盛挖到了 360360 这个团队可能那时候不到 10 个人吧

他们给你开多少工资比之前我自己创业要少一点嘛要少很多吧少很多应该是对所以你为什么愿意放弃一个赚钱的机会去加入一个十个人的公司当一个兵那时候我觉得很年轻觉得说还是想做一些自己有意的时间可以去改变世界的事情因为比如说我那时候在 BBS 上每天义务帮大家回很多题就中了招然后告诉你怎么去解决但

一个人在去回铁的力量肯定是很少的我还是希望说能够借助这大的平台你在 360 干了 14 年一路干上 CTO 这个是我觉得最匪夷所思的一点因为黑客他是一个制度的破坏者然后你又是一个离经叛道的少年在早期的时候为什么会在一个体系中稳定地干 14 年

而且还获得了所谓的职场成功就是一直在上升还是蛮顺利我觉得这里面最大的一个动力还是说整个事情还是一直在处于上升的阶段把技术做得更好比我们比较比赛比我们做安全产品我觉得那个时候我们其实已经确实已经把这个

至少 2C 的网线产品打磨到一个非常精致的状态包括说原来很多黑客他们是零散的一个两个的各自为王我们当时能够把一帮黑客传在一起然后大家一起继续去挑战这种世界级的目标这种其实也一直会保持这样的对于事情的一个兴奋度你跟周鸿英一起工作是什么画面我感觉他是一个炮主你也是一个炮主

因为我很早以前跟他在一起共事我 19 岁去三洋楼对我来说可能有一点父辈这样的感觉我觉得老周还是比较喜欢能够直接的去跟他讲一些问题你们会有意见不一致的时候吗那要怎么处理呢早期的时候我觉得三洋楼早期的时候比较多我们那时候吵架就吵得比较凶你敢跟他吵架谁吵赢了

在 360 的后期的时候比如我觉得 360 应该是唯一我还在公司还能跟他吵架的一个人他今天搞了一个直播送车的活动其实就是下载他们的 AI app 可以得 100 辆车今天是第一批开奖是送 20 辆小鹏有什么漏洞可以让我们人手一辆如果真的想做的话黑客是可以基本上可以不做不能的就只要在 IT 世界里面去只不过

有两个因素会制约到我们一个是说这种道德因素就是说白毛和黑豪之间然后另外其实就是一个投入产出比的问题因为你要黑客去攻击一个东西其实难度成本是非常高的我们看到说这种国家背景的黑客那么他国家背后就是无限的资源那么他们可以去做很强的这种包括说团队协作这样的事情

那么对于普通人来说那就没有必要去比如说未来说比如说我就想要一辆小风汽车那你可能投入的黑客的成本比小风汽车的价值还要高很多你能大概讲一下需要什么投入吗比较粗暴的方式就是我可以直接把三文铭服务器黑掉用一些零件漏洞当然这个漏洞价值可能远远超过汽车的所以一般老师就不会去这样去

他送不送送给谁这个逻辑他是有他的服务器的这些程序代码去决定的如果你改掉的话那就把你变成中强能是可以的但是这里面付出的成本是相对来说比较高的那么可以不着痕迹的修改它的代码不着成本的成本就更高了对

不说痕迹的成本在于比如我要请你这么一个人很贵是吗还是成本在哪要使用一些很高级的漏洞一些武器这些东西背后的成本很高的比如举个例子就像现在安全水平最高的手机应该是苹果的 iOS 比如现在我们看到市场的价格比如说你要黑一台 iOS 手机基本上在 2000 万美金左右那么这个的成本就很高之前有个比较有名的事件就是

沙特的一个王储他去买了一个为了杀掉他一个政敌然后去买了一个苹果手机漏洞应该是 1500 万美金那个时候还是十年前的时候知道了这个人的行踪然后把他杀掉这个其实还是商业成本商业的结果上成本可能国家背景的这种会和他们付出的成本会更高就是他要养的团队然后做攻击那么当然这个里面他们获得的利益也会更高

他们做的事情也更多比如说下到核电站包括这种通信的网络上到这种天上的卫星军事的这种武器其实都可以用黑客手段去攻击去破解那么这个就威力是非常大的我们当时也去做很多这种所我们叫做反 apt 的事情就是说 apt 就是这种国家跟国家之间的这种黑客的攻击比如说美国他们经常用这种

黑客技术去攻击我们回来的一些技术设施然后我们其实在团队也去做这样的事情就是能讲一个比较有意思的你刚才说 apt 的对对对的工坊其实是在在二二零年的时候三十年被那个美国制裁嘛就其实跟这有关系的因为我其实很久以前就发现就是像

美国有两个比较多参与这种对外黑客攻击的团队一个是 CIA 一个是 NSA 就是美国国家安全局这两个都属于那个时候其实国外基本上也很少有团队能够捕获到他们的攻击然后那时候我们是

我们也是发了几个报告吧应该是 2020 年的时候发了一个 CIA 对中国的还有一个后面发了一个 NCIA 其实都是我在当时我在谭地区就发现了一些蛛丝马迹吧然后再去继续去配合这个政府部门去一起去调查然后发现了一些东西对

你发现的是就是对方如何监测我们的这个目标可能不太方便说但是反正是国家的一些比较核心的一些关键技术设施因为比如说电信或者像这种航天航空或者像这种电力能源这基本上都是他们的一些比较核心的目标包括说我们国家的一些

高新技术比如说过去像一些生物像这种航天航空都是他们比较关注的一些包括核工业都是比较关注的一些重点那么可能就会有很多被入侵的这样一个情况过年的时候 DeepSeek 遭到网络攻击前线和 310 都监测到说有两个僵尸网络对 DeepSeek 发起了攻击你怎么看这个事儿

我们看到说确实这样的事情但是我也看到说有归咎于某个国家但是我觉得这个事情其实因为网络攻击本身就是一个非常难归因的一个东西比如说你看到 IP 是美国的那么可以想说为什么美国人攻击是用自己的自己家 WiFi 去攻击对吧那肯定是因为这个代理所以用美国的 IP 来攻击的

不一定是美国是不是有政府背景我觉得很难说因为政府背景的攻击或者说国家背景的攻击他们大多数是比较隐秘的因为大多数以获取情报或者是希望在特别关键的时间去对你做断路这样的事情那么一般来说是

先做潜伏吗不是说我突然搞一个大运向这种主要聚焉服务或者这种低道子的工就分布聚焉服务这样的这种事情其实它太过明显第二个就是这种攻击其实

也只能针对一些比较没有什么防范一旦这种防御措施上来因为我们也看到说 DeepSeek 也开始上 Color Fair 这样的这种防御 DDoS 的这样的这种服务那么上来之后其实就他们做一些这种流浪侵袭做防御其实这种攻击的收益就会比较小了但是我觉得 DeepSeek 未来面临的网安全威胁还是蛮大的因为他

论文跟代码是开源了大家背后怎么去做数据标注啊做这种训练数据的这种

收集其实现在还是大家都会藏的所以综合这些因素来说我觉得可能 DVC 的未来会成为这种网络公司尤其是国家级网络公司的一个比较大的目标你看到说国内的很多具备这样独特技术能力的公司比如像华为受到国外的黑客的关注其实很自然的因为像国家跟国家之后黑客对抗一直在发生尤其是无论是这种区域冲突包括之前新冠的时候

包括高科技事件发生的时候其实背后都有国家级黑客的影子在发生这种就不是说大家看到说服务器不能用或者是出到这种大的很明显的这种其实是很明显可以看到但是实际上我觉得说没什么威胁的事情如果真正有威胁的可能是你内部已经被渗透向华为之前他们内部邮件都被美国人拿到了然后把我说

所以这有些难道还好比如说万一就在这种探摩星里面随时买了一个东西其实是你看到说 Deep Seek 现在好多行业都去接入如果说有一天 Deep Seek 突然这边东西被植入了一个东西然后全部爆发其实蛮危险的这种网络战其实就是讲的叫做敌以在我比如说我有一天我要进行网络战了

那肯定是在很几年之前我就已经在你的这种救生车里面埋伏了埋伏之后然后我突然要掐手的时候就发号施令的人说动手他们就全部灭掉了不可能说到要攻击那天才去做动手对

所以你的意思是说这一波可能还不适合加急的网络攻击但是下一波说不定就是了这一波不一定是那么下一波基本上我可以说它一定会受到这种非常高级的网络攻击

他们的区别是什么你能跟我们科普一下比如说现在的 DDoS 和江山网络和你说的高级的网络供给是什么样的 DDoS 网络就是你看到很明显你的服务就不能用了然后有很多这种外面的 IP 你也不知道是什么人突然给你用江山网络其实就是一种被控制的

主机也好或者一些 IOT 的设备然后它有一些漏洞被控制了然后它可以联网它给你发一些请求就是一个人控制很多台服务器对我们就做去同时访问它所谓叫肉机嘛就访问或者说用一些比如它像这种 DS 反射或者这样的技术去做攻击那么攻击之后呢对它造成一些这种

他的攻击就是去访问 DeepSeek 吗还是什么可以理解为说访问 DeepSeek 的网站或者一些服务导致他不能正常的工作你说肉机就是被黑客控制的一台电脑控制的一台电脑或者是今天其实有很多 ROT 的设备比如像录音器摄像头他们可能有一些漏洞然后被控制之后他也因为他跟联网有一些其实本身就是个小计算机

那么这种攻击其实是比较明显你可以看到这很多攻击然后你也可以用很多方法去防御而且其实最多也就导致你不能用了但是你的一些核心的数据比如说你怎么一些核心机密这些是不会受到影响的从现在的公开信息看你能够大概判论出来就是上一波攻击 DeepSeek 的对方大概是一个什么攻击规模成本以及他的目的吗

我们看到说这一波确实有一些江城网络去参加攻击但是看到这个规模无论从流量或者说从这种攻击的源头来说没有特别大我觉得大家看到的他们一些网络服务不稳定一方面可能跟最早期的春节那时候跟网络攻击有一定关系后面可能也是

因为这个事情比较火之后啊很多很多的用户都有进来嘛那么可能之前换方他们没有太多的预估到说会有这样大量的用户因为呃

虽然说后面肯定会加很多服务器但是很多时候你程序设计的一些瓶颈它不是说完全通过对服务器能够解决的它可能要在这个时间里面去优化它这些系统所以这个泼天的流量它也是一种攻击行为对就像我们看到说像 12306 每年抢票的时候其实就像你投入非常大的资源跟技术去做但你也扛不住说十几亿人就去抢一个东西原理上来说

比抢票都要简单因为抢票它涉及的锁定这逻辑很复杂但 DeepSig 它就是一个为大家提供 IPI 服务这样的本身原理上来说应该是可以涉及到容纳很大量的客户的但是我想因为我猜测可能就 DeepSig 自己知道可能一开始它没有涉及这么大量的用户很多程序设计的时候没有办法去兼容那么多的

或者你用一些技术比如说数据库啊一些东西可能他几百万用户是 OK 的但是上千万上亿用户他可能扛不住了那这个是很正常的

僵尸网络只是能让对方访问受限对吧对对它是一个非常简单粗暴的简单说就是所以他比较难防御他是利用一些当时就早期网络协议设计的一些缺陷所以导致说容易攻击但是他比较难防御但他的只能导致你的服务受限他不能说就再进一步的做更多的比如说信息窃取这样的事情

那是可能是谁出于什么目的去做这个攻击我觉得都有可能吧因为这个现在其实你在这种暗网上面可以找到人替你做这种攻击都有可能吧如果大胆猜想一下有可能比如说公务员赔了钱的大老板某个大金主说我花钱生气了攻击你一下甚至有可能竞争对手两个僵尸网络的两天的攻击需要花多少钱现在这个价格

也是比较黑式的但我觉得这个钱应该不会特别多几万块钱几万块钱就可以对因为其实这个东西是非常简单粗暴也没有什么成本就跟发电厂一样反正他在放着他要不去攻击他也是赔钱的

你只要给钱就可以去攻击当然具体规模其实可能只有 DVC 自己知道我们从现在看新闻报道来看这个规模应该不是特别大那么高级网络攻击其实是比较隐秘的你可能完全不知道可能你都被黑了很多年了那么原来最早有一个名言就是说世界上只有两种组织一种组织是知道自己被黑了一种组织是不知道自己被黑了

好恐怖对所以就是一定是有价值一定会被黑嘛所以那么 DeSic 其实就展现了自己的价值那么无论他背后这些技术机密也好或者人的机密也好因为像这种国家级的黑客他们背后都是线上线下去结合的比如他线上拿到的一些人的信息他们就可以对针对这些人做一些线下的这些工作这个都是他们会非常关注的

就给大家科普一个概念黑客是在互联网上利用技术手段去攻击别人白帽黑客实际上指的就是网络安全工程师戴上了白帽子的黑客网页里有一句非常有名的话基本上每个人都知道就是不知功焉知防所以白帽黑客应该是最懂攻击的只是不做坏事

可以这么解释吗打个比方的话就是如果说黑客是一个江湖的话我们可能就是标局走标的这个黑客就是那个黑帽黑鹅可能就是绿林好看当然他们可能目的很多时候不是打架结社而是说去做一些坏事或者拿到一些利益对

你之前讲过网络安全行业有一个重要的转折点就是让这个行业的白帽黑客的薪资一下子水涨船高就是 3Q 大战 360 和腾讯两个公司抢地牌然后最后要工信部去调停但是呢收益的是白帽黑客那当时比较资深的人当时的薪资到多少

我觉得到现在也保持比较好的水平吧我还看过一个数据就是应该是最近就有个七八年吧就是毕业生里面网络安全工程师一直是做毕业生里面就是工资最高的所以这个其实基本上也是从那一年开始因为做 AI 的是最高的

嗯今年不知道但是前几年一直都是就是网络安全功率是最高的因为确实这方面的人才缺口我觉得是蛮大的因为呃

网安全建设其实是一个偏后一点比如说你先建设了 IT 之后后面就发现说网安全其实蛮缺的但这时候你去找这样的人其实是有困难的因为那时候行业还没起来没有那么多毕业生当然现在是蛮多的像我们公司前段时间就招了一个应该是中国网安全专业第一届的毕业生黑客也有课班生了对对

过去都是像你这样的经历是比较典型的吗对是比较自学成才基本上是这样的平和本来他也是比较注重于交流在社区这样的一个团体一个小团体嘛所以在这样的团体里面去自学去成长我们回到 3Q 大战啊就当时在打仗的时候你担任什么角色

分析对方然后去发现这块是我在带队在去做的就比如当时三个大战球最高潮的时候是马化腾艰难的决定

禁止两个软件共存他们当时早期下发了一个模块给 QQ 装那个模块然后去探测每个人手机电脑上有什么东西然后把东西收集之后在那一天就按下按钮就是说这些跟共存的用户都不允许登录 QQ 就是他们不允许 QQ 用户使用和下载 360 的软件对那个时候他怎么知道这一点的其实是

很早以前去做了一些下发了一个隐蔽的模块去做统计的那个时候我们带队去分析去对抗这样的东西所以你们能破解吗当时是能破解是能破解但是后来这个事情最后其实是

有各方势力去斡旋的这个事情没有允许你们发挥出实力技术手段就没有去用所以这个仗如果再打下去不被叫停的话其实是两个公司的黑客的较量了对就变成技术较量其实腾讯跟我们一直是有这样的技术较量像我刚刚讲炮动的比赛里面其实最后就是我们跟腾讯腾讯其实花了很多的

他大概从外面就说过了三到四支团队然后所以在 PONTO1 里面一般就有四个团队吧其实 PONTO1 这个比赛啊就是在我们去之前它是一种就是就是

技术难度上是很顶级的但是参与的人没那么多因为他这个很小众的就刚刚讲的皇冠二明珠嘛就是最顶级的人参与其实之前的场地是很小的 16 年那年的时候呢就是我们也是大概去了三个人嘛然后腾讯就是二十多个人然后他们都是统一制服黑制服然后过去之后就把桌子占了最后导致我们都没办法坐其实在这之前跟之后我们有很多这样的技术对抗

所以你看其实一直从 2010 年持续到至少到 1718 年之后说回来那时候没有用技术的手段也是不想是心存遗憾也不是心存遗憾我觉得那个时候这个决定也是对的因为继续丢放下去想把这个东西做的又对抗然后用户又感受不到但是你真的要做到这一点

万一有个疏漏什么的那可能就导致很大的这样的一个无敌性的事件那么这个其实我们是不愿意看到的在 2019 年就提到过中年危机说一些工程师大概 20 出头是巅峰年纪越大体力越少就不如年轻人其实程序员也有这种困境但是其实网络安全行业行这种危机感来得特别早

就是为什么这样我刚讲因为他因为全聚元会好一点因为全聚元可能很多事情是有到后面就有一点体力火的那种感觉但是像真正顶级的网络人员公司他其实是这种智力的对抗那智力对抗人的巅峰就是有限的比如说夏威夷就是 20 出头的时候最强然后包括我认识很多这种

国内国外这种天才的黑客他们其实也是到了 20 我原来认识一个算是近十年十几年比较有名的一个黑客叫 G-Hot 他就是最早去破解 PS4 然后去破解 iPhone 的一个人他就是到 24、25 岁的时候跟我讲说他遇到了一个韩国的天才他跟他对决了几次之后决定就放弃了他现在在做一家 AI 公司

在 360 的后期就是当了 CTO 之后有什么你想推动改变的方向吗

那时候其实就是想把因为那时候蔡英文的黑客很多其实我的想法就是说把这些很厉害的黑客都集中起来然后我们去做更好的产品去发现更多的 AVT 包括说我们去做一些白马黑客的事情我们一直是全球主流的软件厂商我们是贡献漏洞最多的一个多少个一年能够有个一两千个是有的像我们这个公司这个这家公司现在成立就是基本上每年差不多有 300 个微软的漏洞是我们的

现在这个团队做漏洞研究的团队大概 20 人左右 20 人一年找到 300 个微软的漏洞对 这个其实是在全球就是超过全球所有软件公司也超过微软自己微软怎么有这么多漏洞其实所有的软件都有很多很多漏洞因为漏洞其实就是软件里面的 bug 它是一种特殊利息的 bug 你只要是人写的软件

就是包括现在 AI 写的代码也会有很多 bug 跟漏洞那么原来是有个统计数据吧每千行代码里面可能都会有一些固定的漏洞数量当然不同的等级的程序员他们找写出来是不一样比如微软可能他们的程序员相对来说还好一点如果更差的这种程序员他们写的都会更多 AI 能写出没有漏洞的完美程序吗嗯

目前来看是比较难因为 AI 也是学习就像 AI 学习人去说话一样它写代码也是一样的去学习人去写代码的方式然后用它让它一些推理思考一样的东西然后去把它修正得更好但是目前来看是不太可能说完全没有漏洞这样的事情

DeepSeek 火了之后现在已经有几十家公司都宣布要接入 DeepSeek 的模型然后包括 360AI 能够帮网络安全公司做什么还是跟其他的一些 IT 公司比较类似的就是说

原来网上工程师他要处理很多这种攻击的告警在这告警里面可能很多很多都是无效的那么大圆模型可以帮助他处理这些用着那些类似人的经验去快速处理一些东西就像一个其实你一个很资深的程序员你不可能对所有的技术知识背景都了解那么 AI 可能可以帮助他比如说一些攻击过来了有些东西我不太了解比如这个协议我不懂 AI 可以通过他的知识背景去帮助他

如果他们潜伏到植入一个什么东西在 DeepSeq 里面然后等到爆发的那一天会是一个什么结果我觉得都可能会有比如说它本来是攻击的让你处理成正常的这个只是我们这个行业的一种用法可能很多比如通信的电信的比如说你在外印这些能源其实背后其实是均入大模型

是会带来很多的安全风险的如果这个模型包括它的数据是不可信的不可靠的话那么这个模型你去用越多就带来的风险越多有很多车企业在做 Deep-Seek

他们如果 DeepSeek 被感染车企可能他在比如说判断路况或者什么比如说包括说车企自己也会用 AI 他们这种智能驾驶那样的东西那么其实背后如果说里面的模型有问题其实这里面是会有很多风险其实不仅是 DeepSeek 已经有很多公司都说自己被

黑过 OpenAI 的 X 账号其实也多次被黑就是说它要发虚拟币然后挂上一个钓鱼网站的链接这种感觉都是非常基础的就是社交账号被黑了为什么会反复发生呢这个很难去避免吗

像是被合理还属于传统的网络安全问题可能是密码比较弱或者是一些验证机制的问题因为黑客一直在盯着像网络安全这种是太火了大家都盯着他去攻击那就是百密一疏其实我也知道说网络安全其实在网络安全这块投入也非常多

他们在有几个像亚洲这块在日本有一个网络安全中心有很多很厉害的黑客帮他们去做这样的防御当然也避免不了对然后同时除了这种传统的攻击之外我刚才讲说 AI 其实也面临自己的很多网络安全的问题就独特点网络安全问题就是比如像这种

我们叫做 Promote Injection 就是这种提词注入包括这些甚至我们看到一些攻击可能通过仅仅通过 AI 对话就能把它的模型给攻陷的一些方式然后同时 AI 自己也面临很多这种

比较特殊的这种网络安全的问题比如说其实去年底有发生一个比较大的行业的事他们内部有一个实习生然后他就觉得说公司对于计算资源分配的终于知道你说的是哪个事情了对然后不太满意所以他用他其实是看到了 Waze 的漏洞的报告然后用漏洞用模型就把别人的模型的结果给改掉然后导致说他们好像训了半年东西都是白训这个事件我来处理了但是

你可以看到说这里面的有一些特定的 AI 的网安全问题其实蛮严重的发现蛮多问题的吧就是我们之前有一个问题是可以直接通过那个他的 AI 对话接口可以把它的模型给改掉通过 AI 对话结果把模型改掉怎么改啊就是我们发一些特定的问题然后他们然后再辅助一些接口调用然后就可以把它这个

其实是贡献到模型的现在比较流行叫 AI agent 就放在 Agent 的环境里面 Agent 里面模型输出都可以去控制的时候我就可以我问他说现在有别人问你什么问题然后我就可以问出来直接隐私就被泄露了

其实 AI 聊天我觉得是一个蛮大的隐私的问题的很多 AI 公司都号称说他们会对做隐私的处理比如说把脱名或者做这种跟对应这个人去做分离但是如果说你在被攻陷的话这些东西都可以拿到的包括说其实我们也看到说

很多 AI 公司其实会拿这个东西去做分析已经有公司拿用户可能 AI 对话内容去做分析了是吗基本上所有的公司都会做像 OpenAI 或者像前面看那个谷歌的那个 gimme 你他们都会其实会出一些报告就是我分析用户这个用户问什么问题什么的但是可能他会说我会做一些用户的托命但其实这个是很危险的毕竟都已经拿到了分析用户是为了最终卖广告吗

因为卖广告可能一部分吧当然可能做用户画像啊调影啊这都会去做所以你看到说他其实都会做这样的分析的数据都拿到了所以可能像 AI 的隐私或者这样的安全并不像我们想的那么安全吧所以我对这块也是因为我平时也是个重度用户啊但我基本上就聊完天之后我就把那个全都删了删了就等删掉吗不一定但是至少自己心里上好一点因为确实大家我觉得像

可能确实现在已经过完年之后看到很多身边朋友不是说甚至不是 IT 领域的朋友他们都在用觉得很方便可能是基本上都替代百度搜索了是的但其实里面那些东西其实相当于说之前不是说吗浏览器历史记录是死之前一定要清除的东西可能未来跟 AI 在聊天记录是如果百度做不出一个很好的 AI 那百度就没有了对所以其实

这个也会变成我觉得是隐私最集中的一块就跟以前这段期记录一样的你能教大家几个方法吗应该如何保护自己的隐私在用 AI 对话的时候

尽可能不要去泄露一些自己个人的隐私信息,比如密码或者什么东西,这个是一个基础。另外就是说很多 APP 都提供这个浏览记录删除或者个人信息清除这样的信息,可以定时去做也清楚的。或者说某一个聊天你认为说不要涉及这些隐私的,可以单独做清除。清除了之后它在长期记忆就没有了是吗?

按理说应该是这样的但是至少说我研究了一些国外在国内的 AI 就好说国外在这块做的比较好的它可以提供这种删除所有的个人信息或者这样那些功能我相信它应该是因为它有比较过眼的像 GDPR 这样的监管的机制可能就做了一些这样的事情但是国内的不太确定

刚才我们说 OpenAI 被黑客黑过但是它同时也被当成黑客过有一个小公司说 OpenAI 的爬虫机器人到处爬数据然后把他们的网站给爬摊换了所以他们去找以为是攻击行为然后一看对方是 OpenAI 所以爬虫是一种黑客的行为吗

不算吧其实像以前搜索引擎就是爬虫最多搜索引擎去用所以你就为了抓取全版的数据今天 AR 也一样他要抓很多预料的信息他用这种爬虫去去他就是想让一个

一个自动的程序他跟人一样去访问这个网站去把他的信息给抓回来所以才有些机制比如说像所有引擎的话有个叫 robot.js 就是你把它放在你的根本楼下面按理说应该爬虫就不应该自己爬了包括说今天你在互联网上建一个网站然后别人都不知道的话基本上你看到大部分流量都来自于爬各种各样的爬虫

有可能通过病毒感染去控制一个 AI 模型吗不一定是病毒感染但我说黑客攻击是有可能的所以大家现在那些 AI 公司他们有在防御吗可能网络安全确实是这样就是大家遇到事了对然后才会去投入不会很多人没有这种很鲜艳的这样的评验因为它不立刻产生价值对可能这也是

可能中国跟西方的一些公司比较大的差异因为很多欧美的公司他们是有比较鲜艳的这种我来说建设了意识的可能他们这种法律监管可能更加完善比如像 OPI 他们就是一直有很大的我知道说

应该是微软几乎整个安全团队现在都在微博和 AI 做这种红配合我认识好几个在微软做所以他们还是分不开做完全因为我们给他投了很多漏洞他们说我们现在都去支援 AI 网线对抗其实就是一个投入的对比黑客投入多少你要投入多少去防御今天的黑客是人明天的黑客有可能是 AI 吗

我觉得目前从我看到的 AI 的智商来看在黑客这工作上面可能大部分还是只能用来做辅助比较高级的黑客工机还是需要人来完成因为这里面需要设计的技术包括准确度都非常高其他领域也是比如说这种科学研究上面其实 AI 能够替代很多或者是能辅助很多工作但最难的时候可能还是要人来完成

但是未来我觉得是有这样的可能性的如果 AI 成为黑客它发起一场攻击行为那它最多能造成什么样的破坏就像我最开始说的就是黑客想做什么就能做到什么而且 AI 它可以只有算力成本可能造成的威胁就还蛮大那人类最后一道防线是什么

我觉得说其实就像防人类的黑客一样比如说在一些特别关键比如说这种核导弹这种东西里面你不能完全依赖这种计算机网络可能是需要一些人工的这种东西也可能黑客是最后一道防线有可能黑客是最后一道防线对比如我们去构建一些本身我来说包括陆终管管件工坊它就是在人类的智商的一个顶级的这种对抗假设比如埃及亚到了一个跟人差不多的水平

那可能那就变成人跟人的对抗了可能再就是这些紧急智商的这些人去做这种技术对抗我们的节目到这就结束了大家有什么想对 MJ 和我说的可以在评论区留言下期节目见