What DeepSeek Means for Cybersecurity
52:13 Share

围绕它的兴奋是理所当然的，但我认为在企业或基础设施环境中，我可能会等待更稳定、没有这些悬而未决的问题的东西。这是我的看法。如果我必须部署DeepSeek，我可能会专注于非最终用户面对的用例。因为再次回到我们之前讨论的内容，

DeepSeek特别容易受到基本的越狱攻击。如果你把它提供给用户或公众，那么强化它将是一件非常痛苦的事情。当中国公司DeepSeek在1月份发布其R1模型时，它席卷了人工智能世界和大部分科技界。

我们以前见过推理模型，但DeepSeq R1比许多模型都要好，它是免费的，而且是开源的。更重要的是，关于该公司访问高端GPU的困惑让许多人质疑R1的训练和运行成本是多少。结果？大量分析了该模型对其他AI实验室、芯片制造商以及全球AI竞赛意味着什么。在本期A16ZAI播客中，我们从不同的角度审视DeepSeq。

它对网络安全意味着什么。在这里，您将听到A16Z合伙人Joel De La Garza与三位网络安全创始人进行的三次单独讨论，他们阐述了为什么用户应该谨慎对待DeepSeek，以及为什么对新模型的兴奋是重新评估审查制度、深度伪造和老式漏洞等问题的好机会。虽然DeepSeek R1本身可能会逐渐淡出人们的视野，但推理模型的出现以及整体上更好的模型意味着我们必须相应地调整我们的安全实践和预期。加入Joel的有……

按顺序，PromptFu的Ian Webster，Truffle Security的Dylan Ayrie和Adaptive的Brian Long。在这些披露之后，您将听到他们所有人的声音。

嘿。

嘿，谢谢。感谢你们的加入。你们知道，过去两周的大部分新闻都是关于DeepSeek以及来自中国的这些新开源推理模型。显然，乐观的一面是，这正在改变一切。经济学是不同的。这是应用程序的黄金时代。另一方面，这是结束的开始。中国正在崛起。他们拿走了我们所有的数据。这太可怕了。

你写了一篇很棒的博客文章，探讨了DeepSeek。我很想听听你的想法，并谈谈它如何融合在一起。是的。所以每个人都对DeepSeek感到疯狂。我也注意到了。它有三个值得注意的地方，对吧？它是开源的，它是推理的，它来自中国。我认为它是开源的，而且他们已经

发现了这项新技术，或者说证明了它，这很棒。对于世界上每个人来说，这都是一个关于开源的可能性以及这些模型的未来可能是什么样子的好故事。有趣的部分是公司的起源以及中国政府对在中国开发的模型的影响力巨大

在中国。因此，我们所做的帖子或研究侧重于描述这种影响，了解其深度，并测试、突破模型的极限，就对其进行红队测试，看看它对哪些对抗性技术做出反应或没有做出反应。而对抗性技术，你指的是什么？

我们非常关注诸如普通的提示注入、越狱之类的攻击，因为这些通常是破坏其他东西的途径，对吧？就像一旦你用越狱之类的攻击在防御中打了一个洞，

如果它是更大系统或架构的一部分，例如RAG或代理，这将为攻击者提供大量空间来绕行并在该系统内执行其他操作。他们会在这些东西中构建许多安全功能，对吧？我的意思是，构建它们的人，它似乎具有非常复杂的一层语音限制。是的，它有两个部分。对于DeepSeek来说，有一部分限制了关于中国政治敏感话题的言论。所以这些东西就像

你知道，台湾或天安门广场之类的。很明显，这基本上与你在这种模型上看到的典型防护栏是分开的系统。所以我们所做的是，我们尝试描述政治敏感性方面的每一个方面。不需要研究人员就能弄清楚这一点。如果你问它关于天安门广场的事情，它要么拒绝回答，要么会给你

这种冗长的中国共产党路线的陈词滥调，你知道，什么也没发生。我们相信中国的和谐，等等。我认为这些非常夸张的回应引起了很多关注，因为它是一个非常清晰的例子

一个模型被引导或调整到一个方向，这对于美国的人们来说可能是令人困惑或不熟悉的。而且，你知道，对于你的公司，我猜想可能也是一个副项目，你花了很多时间来破坏这些东西。我很想知道你对DeepSeek预防措施的成熟度和复杂性的估计，以及你在类似Llama或其他模型中看到的估计。简短的答案是

DeepSeq对政治敏感言论之类的方面有非常严格的限制。它的其他保护措施非常薄弱。因此，从越狱的角度来看，它的性能比GPT差得多。在我们的基准测试中，它的性能大约差20%。但这种差异可能被低估了，因为老实说，我们抛弃了所有那些不太好用的旧越狱方法。从定性上来说，我们看到的性能与GPT 3.5相当。

也就是说，你知道，在2023年OpenAI发布GPT时，有很多零日漏洞，非常简单的越狱方法。而DeepSeek是……

基本上容易受到所有这些攻击。明白了。是的。所以我想Open AI的人可能从试图破坏它的人那里看到了很多免费的训练数据，然后进行了改进。所以这对DeepSeek的人来说是这个过程的开始。DeepSeek似乎并没有在强化DeepSeek方面投入太多精力。是的。正如我们在whiz帖子中看到的那样，DeepSeek进程运行的实际基础设施非常不安全，对吧？我认为他们没有把这些事情作为优先事项。

这意味着你构建在DeepSeek之上的任何东西都将非常容易受到越狱、注入等攻击，一直追溯到两年前的教科书式的复制粘贴注入。人们对……

数据流向中国感到非常恐慌，你不能相信这些东西，不要碰它们，它们会偷走你的车，对吧？各种各样的过度焦虑。也许这有助于人们理解大多数人与DeepSeek互动的方式是通过位于中国的托管模型。但也有下载DeepSeek的选项。

并在你自己的环境中安装和运行它，因为它是一个开源MIT许可证。你认为这两个模型之间是否存在显著差异？你是否以它们被实例化的方式对它们进行了测试？你如何看待这个安全堆栈？

是的。这很奇怪。我在网上看到很多讨论，比如，“哦，你知道，中国托管的模型是被审查的，但开源的模型不是。”根据我运行的测试，这根本不是真的。如果你在本地运行它，或者使用任何已经启动并提供服务的美国提供商，你都会得到相同级别的审查。唯一的区别是，中国托管的版本还有一个额外的防护栏，会在之后查看输出并在客户端清除它。

底线是，即使你托管你自己的DeepSeek或使用美国DeepSeek，你仍然会遇到这些严格的防护栏。但至少这意味着你不会被用于DeepSeek第二版的训练数据。或者你的敏感数据不会流向中国。是的，这对大多数人来说是一个很大的优势。关于它有趣的事情是，当然，任何来自中国的模型都不会谈论天安门广场。这就像世界就是这样。我们在……

中国政治敏感话题上进行了一项基准测试，发现我们测试集中约85%的话题受到了严格审查，你会得到那种只是重申中国共产党路线的回应。

对于你看到的任何版本的DeepSeek，情况都会如此。我认为真正让我感兴趣的部分不是我们测量到的明显的东西。有趣的部分是额外的未知数，对吧？所以这种审查非常严厉，但我们不知道我们不知道什么，还有哪些其他话题，或者你知道，北京是否在更微妙地影响其他领域？他们能否内置一个

后门，比如一串文本，它只是删除所有提示防护栏或周围的一切，并给他们想要的东西或输出上下文等等。所以我认为未知数更令人担忧，例如，那些想要将DeepSeek内部化的企业。最后要谈论的是，我很想知道你对此的看法，那就是，显然，在西方训练的模型也有自己的言论控制形式，对吧？所以我们过滤掉仇恨言论。

我想美国的“天安门广场”就是仇恨言论之类的东西。你已经测试了西方模型上的这些控制措施。它们与你在DeepSeek上看到的控制措施相比如何？成熟度水平在哪里？所以，这是疯狂的事情。在完成DeepSeek帖子后，一个自然的后续是，让我们对美国模型的敏感美国话题进行这项测试，因为有很多事情你不能，引用，不能，或者，你知道，美国敏感的话题，

这里的主要区别在于，它不那么公开，因为GBT不会在你询问它认为你不应该问的事情时给你长篇大论。它只会说，对不起，我无法回答这个问题。所以大多数人对GBT的看法与实际的GBT不同。

例如，发表一些观点或其他什么，这就是DeepSeek所做的。所以无论如何，我们将要，我们将要运行它，我们将要对敏感的美国政治话题运行基准测试，但作为基准，我想，让我们这样做，只是对所有旗舰美国模型运行敏感的中国话题。结果发现，许多美国模型也基本上受到了审查，或者至少在这些话题上有所收敛。哦，哇。而且

我知道这可能不是这个播客的重点，但我认为我们应该问问自己，我们希望西方模型的未来是什么样的？所以，我不确定我是否会在这里说审查，因为它只是基本的拒绝。也许是审查。也许不是。我的意思是，这是审查。当然。是的。所以，我的意思是，这里的审查级别是Anthropic Cloud实际上……

与DeepSeek相当。哦，哇。就与中国相关的有争议的中国内容而言。是的，这太不可思议了。它在那里的得分相同。GPT做得更好，引用，或者，你知道，它审查得更少。它更自由地表达自己的想法。是的，但仍然只有大约40%，而在这个特定的测试集中是85%。

Gemini，也就是谷歌的，做得比这更好。然后这可能并不令人惊讶，但有一个大型基础模型在这个审查基准测试中表现特别好，那就是Grok。

来自XAI，这是一个相对自由的模型。哇，酷。当涉及到敏感的中国政治话题时。对我来说，这太令人惊讶了，你知道，许多美国评论员都在谴责中国模型审查敏感的中国话题，然后看看你自己的后院，对吧？西方模型也在做同样的事情。这是一个有趣的见解。是的。

这有点像整个滑坡现象，对吧？一旦你开始审查一件事情，它就无法控制了。也许可以在这里过渡一下，因为我认为很多人都在想如何使用这些东西。听到一些风险与其他模型有些相似，这很有趣。我们很想也许只是双击一下，如果你是一家大公司或硅谷科技公司的技术人员，并且想玩DeepSeek，他们应该如何考虑使用这个东西？他们如何保护自己？你会推荐哪些步骤？是的。换句话说，保护他们的基础设施。

我认为在保护基础设施方面，我会说，首先，不要使用在中国托管的模型，对吧？自己做，或者使用这些美国提供商中的一个。是的，我很高兴能给你这个见解。老实说，我会说……

所以我认为这在很大程度上取决于你想要如何使用它。就像我说的，我不太担心公开的审查，更多的是担心可能存在的其他操纵或后门。我一直告诉大多数询问的人是，让我们再等几周，就会有一个开源模型实现这种强化学习技术，你之后会得到很好的推理。

与我们从DeepSeek看到的相当。而且我认为，如果你是认真的企业，这将是最安全的事情。而且我认为你不需要那么耐心就能出一个等效的模型。所以你认为围绕这个东西的构建和配置存在足够的不明确性，企业应该等待

更值得信赖的来源来生产一个他们可以在本地运行的模型。我认为即使你开始在其之上构建，你也会很快将其替换掉，因为根据轶事以及我们的测试，我的意思是，DeepSeek并不是一个很好的日常驱动程序。它非常慢。它很冗长。而且，你知道，

你知道，它会在答案中添加随机的汉字等等。所以它并不是一个很好的构建基础。围绕它的兴奋是理所当然的，但我认为在企业或基础设施环境中，我可能会等待更稳定、没有这些悬而未决的问题的东西。这是我的看法。如果我必须部署DeepSeek，我可能会专注于非最终用户面对的用例，因为

再次回到我们之前讨论的内容，DeepSeek特别容易受到基本的越狱攻击。如果你把它提供给用户或公众，那么强化它将是一件非常痛苦的事情。太棒了，谢谢。接下来，我们有Joel和来自Truffle Security的Dylan。感谢你们的到来。你们知道，我认为我们一直在与专家讨论

人工智能、生成式人工智能、大型语言模型，所有这些都在以惊人的速度发展。我们发布了DeepSeq开源模型、推理模型，这似乎是另一个ChatGPT时刻，这个疯狂的东西从天而降，每个人都在做有趣的事情。

所以很明显，你知道，有些人担心这背后的势头正在减弱，事情开始放缓。现在我们又看到另一个快速加速。我想我们可以假设它将继续以这种速度加速。我们从我们的企业合作伙伴那里听到的一件非常有趣的事情，也就是大公司、许多开发人员，是他们现在很多代码都是人工智能生成的。

他们看到大约20%的代码库是由人工智能生成的。许多公司正在冻结工程师的招聘，因为他们从现有员工那里获得了额外的生产力，因为这些大型语言模型通过Cursor等工具生成了大量的代码。

我看到你写过一篇博客文章，谈到一些生成的代码中包含机密信息，并且存在其他安全漏洞。而且，你知道，我们一直在讨论如何保护基础设施。我的意思是，我很想听听你对我们如何保护代码的想法。是的，不，我的意思是，绝对的。因此，就人工智能减速或加速而言，我认为普遍的观点是，如果人工智能帮助他们更快地进行研究，那么人工智能研究人员可以更快地研究人工智能。

所以这是一个指数级增长。所以这意味着，如果新一代人工智能使下一代人工智能更快，然后下一代人工智能使下一代人工智能的研究和开发更快，那么这将继续爆炸式增长。所以我想我们可以安全地指望这一点。这将继续成为我们生活中普遍存在的一部分。关于代码中的机密信息，我们做了一些有趣的调查，基本上我们只是走出去，询问所有大型语言模型

为我编写一个与GitHub的集成，为我编写一个与Stripe的集成。绝大多数模型都将API密钥直接硬编码到它们生成的代码中。它没有从环境变量中引用它。它没有为秘密管理器放置加载语句。因此，当那些不太擅长安全的人直接复制粘贴该代码并将他们的秘密硬编码进去时，就会出现问题。是否有任何硬编码的秘密实际上是有效的？

换句话说，它是否在重复训练数据？嗯，在大多数情况下，它只会说，“引用”，把你的秘密放在这里。它不会说，“引用”，例如，把你的秘密放在环境变量中。因此，它更多的是人工智能关于如何不安全地操作的指示。但它确实安全地进行了不安全的操作。它安全地进行了不安全的操作。嗯，它没有，是的。这是我们现在正在深入研究的另一个研究领域，

如果它的训练集中反复出现相同的秘密，例如，也许jQuery文件有一个密码，我是在编造这个，但假设它确实有。如果它在Common Crawl中反复看到jQuery文件。它是否真的可以重复某个人的有效密码？所以我们现在正在对此进行研究，很快就会有更多信息。但在大多数情况下，如果你要求它与GitHub集成，它会在其训练数据中看到大量不同的GitHub密钥，并且它不会重复特定的密钥。它要么重复一个示例，要么像把你的东西放在这里。

所以，你知道，这是一个安全问题的具体例子，但它并不是从LLM生成的代码中获得的唯一安全问题。事实上，已经有研究调查了LLM吐出的代码中有多少次存在安全漏洞。通常情况下，如果你要求我们开发一个完整的应用程序，它会以与初级开发人员相同的速率编写漏洞，甚至更高一些。然后这就引出了一个问题，为什么或者我们能做些什么？而且，你知道，我认为

在人工智能领域，一件非常清楚的事情是，这些人工智能公司面临的最大挑战是这个问题，叫做对齐。你熟悉这个吗？你知道对齐是什么意思吗？绝对的。但也许让我们先对听众解释一下对齐是什么意思。

基本上，它只是意味着机器人正在做你想要它做的事情。所以就像……所以是防护栏。是的。嗯，所以一些著名的例子，或者要理解这种对齐问题是如何潜入的。IBM有一款名为沃森的人工智能，它赢得了危险边缘游戏。这让每个人都大吃一惊，因为没有人认为人工智能能够赢得危险边缘游戏。突然之间，这个东西能够赢得危险边缘游戏。但后来他们用Urban Dictionary训练它，因为他们想让它学习俚语。

它开始像水手一样咒骂。所以他们不得不将其重置到赋予它访问Urban Dictionary之前的状态。所以这个机器人被认为是错位的，因为他们不希望沃森咒骂，对吧？或者另一个例子，在2016年，微软创建了一个名为Tay的Twitter机器人。你熟悉……我记得微软的Twitter机器人，是的。所以基本上，他们训练Tay或给予访问所有……

或所有推文和回复，他们希望它像一个普通的Twitter用户一样行事。它做到了。对。没过多久，它就开始表现得像新纳粹分子。它会说诸如“大屠杀从未发生过”之类的话。所以在16个小时内，他们关闭了这个东西，再也没有运行过它。这是在我们拥有今天的一些对齐技术之前。但基本上，当你用大量的数据训练人工智能时，

如今，大型语言模型通常使用Common Crawl进行训练，例如。Common Crawl是对整个互联网的抓取。整个互联网包括马丁·路德·金的《我有一个梦想》演讲以及希特勒发表过的每一个演讲。

那么，你如何确保这个东西体现马丁·路德·金的价值观，而不是纳粹的价值观？这些都是人工智能公司面临的实际问题。因此，平均而言，当你问它问题时，你希望它不是纳粹，对吧？所以我们有，我将讨论三种主要的对齐技术。我现在所说的所有内容都将直接适用于安全编码技术。所有这些三件事的挑战也直接适用于安全编码技术。

所以，首先也是最容易做的事情叫做数据整理。首先，你输入模型的数据，也许删除所有希特勒的演讲，对吧？嗯，挑战在于，假设我们不希望这个东西使用任何种族诽谤。因此，每当输入数据包含种族诽谤时，我们都会将其删除。因此，它不会在这些东西上进行训练。那么，你将无意中不会在马克·吐温身上进行训练。

你将无意中不会在1977年的《根》迷你剧集上进行训练。你将无意中不会在《杀死一只知更鸟》上进行训练。而且，你可能还会失去马丁·路德·金的一些演讲。因此，突然之间，你的机器人变得不那么有文学性了。

因为你试图整理数据，并且你产生了这些意想不到的后果。所以第二种技术是，好吧，不要限制进入机器人的内容。但事后，我们将使用一种叫做强化学习的技术来引导机器人朝我们想要的方向发展。

强化学习有几种不同的方法。一种方法是你可以使用人类来说明你更喜欢哪个版本。另一种方法是你可以使用机器人来说，“嘿，你更喜欢哪个版本？”这种方法的工作原理通常是大型语言模型通常总是生成统计上最可能的下一个。你可能以前听过这个。这是谎言。

实际上，有时它有一点随机性会更好，也许选择第二或第三个最可能的词。我们称之为温度。因此，当我们进行这种强化学习时，我们会提高温度，以便它有时会随机选择最不可能的结果。

然后人类或机器人会介入并说明它更喜欢哪一个。如果它更喜欢可能不是统计上最可能的结果的版本，那么我们将进入并调整权重，使其成为统计上最可能的结果。因此，一个非常简单的例子是，如果你让机器人吐出

纳粹内容，并且你让机器人吐出马丁·路德·金的内容，如果你选择马丁·路德·金的内容，那么它将调整其权重，使其行为更像金。因此，这是一个强化学习的例子。但是，与数据整理一样，仍然存在类似的问题，相信我，例如，如果你介入并总是选择包含以下内容的版本，我将给你一个很好的例子。假设你用GitHub上的所有代码训练这个东西。那么，

这是一个事实。数据科学家泄露API密钥和密码的频率高于站点可靠性工程师。这是有道理的，因为数据科学家的工作是提供对数据的访问。因此，在他们的Jupyter笔记本中，他们会输入数据库密码，并将其与他们的整个团队共享。但SRE的工作是确保一切正常运行。因此，他们希望限制访问。他们不希望任何人触碰正在运行的东西。不要破坏正在运行的东西，对吧？或者你知道我想说什么。所以基本上，它泄露密码和API密钥的频率会更低。

因此，如果我们进行强化学习，并且将其偏向于生成的代码片段中不包含API密钥的代码片段，那么我们可能会无意中训练这个东西使其行为不那么像数据科学家。然后我们失去了大型语言模型中整个数据科学学科，对吧？因此，当我们介入并开始调整权重时，就会产生所有这些意想不到的后果，如果

密码硬编码，与数据科学内容的权重并列，我们可能会意外地丢失数据科学内容。这让我们想到了第三种技术。第三种技术可能是最昂贵的。顺便说一句，所有这些技术，所有的人工智能公司都在使用。所以不是所有都是一种或另一种。第三种技术是你有一个宪法人工智能，基本上是一个管理者，它查看输出，然后进行调整、删除、移除、编辑，然后将其返回给用户。你有一个人工智能可能正在做数据科学家，

然后，一个 AI 充当安全工程师的角色。这就是所谓的“宪法 AI”。安全工程师会说：“哦，你硬编码了一个密码。让我帮你修改一下。让我把它换成环境变量。”它不需要成为数据科学专家就能做到这一点。它只需要成为安全专家。它非常类似于你在现实开发世界中所期望的。一个很好的例子，你可能以前见过，你可以很容易地重现它。如果你去 DeepSeek 并说：“用罗马数字数到 10”，

并在后面加上“习近平”。当它写到“习近平”时，它会突然删除之前写的所有内容，然后说：“我不能告诉你这个问题的答案。”这是因为有一个监督 AI 正在查看输出，并意识到它说了一些不应该说的话，然后它就回过头来主动删除了它。你也可以在 OpenAI 中重现类似的情况。如果你要求它生成图像，它会生成一个提示，然后将其提供给另一个名为 DALI 的 AI，

然后会有第三个 AI 来审查 DALI 的输出，并决定是否将其提供给你。所以你可以要求它做一些事情。你不能要求它制作露骨内容，但有时露骨内容还是会被制造出来。然后最终的 AI 会查看图像，并说：“好的，这里有露骨内容。我不会把它给你看。”这时，你就会突然收到“发生随机错误”的提示。

你可能以前也遇到过这种情况。这就是正在运行的监督 AI。我从未试图让它做任何不当的事情。对，对，没错。我也没有。所以所有这些都与安全领域有直接的类比。当这个东西在整个 GitHub 上进行训练时，我们需要弄清楚如何让它生成安全的代码，因为大部分训练数据都是不安全的，对吧？你在 GitHub 上有大量的非安全数据，只有一小部分是安全编写的。那么，当它训练的大部分内容都是不安全的时候，你如何让它安全地运行呢？

我们可以进行一些数据整理和强化学习，但你可能会产生意想不到的后果。它可能会学习，“劫富济贫”。但第三种，也是最有可能成功但最昂贵的方法，就是这个“宪法 AI”或监督 AI 的概念。这可以通过机器人来完成。但如果你没有可以做到这一点的机器人，就必须由人来完成。有人必须审查代码的输出，并且必须手动审核它。令人恐惧的是，我看到 LinkedIn 上的创业公司创始人发布的帖子，他们可能没有

编码背景。他们基本上主张取消代码审查检查，因为他们说：“你看，我刚刚生成了整个程序，并将其提交给我的团队，现在他们对此有疑问。我无法回答这些问题。我没有生成代码，我不理解它。”因此，我们需要一些东西来审查代码，而这个东西能够理解它。这要么是一个理解安全编码实践并能够进行调整的宪法 AI，

要么是一个理解安全编码实践并能够进行调整的人。绝对的，是的。我认为，这让我想到一个非常奇怪的问题，你可以随意回避。所有不同的 AI 模型在代码生成方面的表现都不同。似乎 Claude 一直是所有模型中最好的。就目前的技术水平而言，也许明天就会改变，我不知道。但据我从轶事中听到的是，大多数人似乎更喜欢 Claude。

而且，你知道，Anthropic 是一家非常关注安全的公司，对吧？众所周知，这就是他们创业的原因。它可能具有非常强大的宪法 AI 元素。你认为公司的这种一致性是否使代码质量更好？或者你认为这只是一个训练和改进问题？我认为，首先，我不认为任何一家 AI 公司能够保持领先地位超过……我相信他们都会定期领先彼此。我不能。

我无法具体说明他们是否使用了不同的训练数据。我想他们都使用了整个 GitHub。然后我认为，你知道，大多数质量问题都归结为一致性。我知道我提到的三件事，他们还有几种我没有提到的技术。但在这三件事中，他们都在做这三件事的某种组合。我认为这些事情会给你带来优势，那就是：我如何让这个东西同时成为最好的数据科学家、最好的 SRE 和最好的安全工程师，而不会“劫富济贫”。

完全正确。我的意思是，你描述的技术，显然，如果你提高一个方面而降低另一个方面，它可能会导致一个更适合代码结构的输出。或者如果你想写诗，你可能会采取不同的方向，对吧？这是一个非常有趣的讨论。就像我说的，我们已经从组织那里听说，很多这样的代码

仍然是，现在很多代码都是机器生成的。如果你观察一个成熟的编码组织，他们仍然会进行代码审查。这不是一家早期创业公司，但他们确实会审查进入的代码。据我所知，缺陷率通常接近你可能在初级、早期职业开发者中看到的水平。所以代码质量很好，但不是很好，仍然有错误。我很好奇，你认为随着时间的推移，

这个问题主要由 AI 解决了吗？你认为我们会在某个时候让机器取代人类吗？我认为这是一个一致性问题，一致性是 AI 公司面临的最大问题。有很多非常聪明的人正在努力解决这个问题。因此，我认为，当他们解决这个问题时，他们就会解决如何确保我的 AI 具有文学性、

创造性，而不是新纳粹，能够回答我提出的问题而不会产生幻觉。当我们得到答案时，我们也会从逻辑上解决如何确保我的 AI 是一名数据科学家、NSRE，并编写安全的编码实践。完全正确。或者是一组 AI，如果我们使用宪法 AI 模型，我们可能有一个审查者和一个制造者。

所以，是的，我认为所有这些都会一起变得更好。而且我认为，对于一致性问题，确实存在 AI 解决方案，而且它们随着时间的推移已经得到了改进。我的意思是，当沃森或 Tay 推出时，答案是将其删除或将其从互联网上移除。现在，我们有了可以实际在所有内容上对其进行训练，然后在之后进行调整的工具。我希望一致性会随着时间的推移而不断改进。而且我希望它将继续成为 AI 公司面临的最大挑战之一，因为它们的 AI 变得越来越强大。嗯哼。

开发出欺骗我们的技术，例如，或者，你知道，你需要审核思考步骤和答案步骤。也许他们只是在审核答案步骤，但思考步骤中有一些奇怪的东西。所有这些都回到了对齐的概念。有很多非常聪明的人和大量的投资用于改进对齐。但就安全编码而言，现在还没有做到这一点。对于仇恨言论来说，是的。我的意思是，我必须说，他们所做的对齐工作，他们所做的安全工作非常令人印象深刻。所有公司都开发了安全对齐

也进行了投资，他们通常不希望他们的 AI 被用来进行黑客攻击。因此，他们中的大多数人都会经历一个阶段，你知道，这个东西是在所有 Metasploit 和所有 Kali Linux 上进行训练的。让我们忘记一些这些东西吧。让我们问它一个问题，它会说：“这是不道德的。我不知道如何侵入某个东西。”想象一下，如果他们没有投资所有这些。就像这个东西会有多强大。你

现在有了在编码挑战中击败 90% 人类的模型。你不需要在编码挑战中排名第 90% 的人来侵入一家公司。有很多青少年因为侵入公司而入狱。因此，很容易让一个 AI 机器人成为世界上最强大的黑客。我认为 AI 公司实际上在这方面投入的资金比

他们如何确保我的 AI 安全地编码并且不会制造漏洞要多得多。如果你要给某人建议，比如说一家中大型公司，他们有 10 多名开发者，他们需要更快地工作，他们需要发布更多功能，对吧？我们都生活在这个世界里。你，你不会因为修复错误而获得报酬，你只会因为发布功能而获得报酬。你会告诉他们什么？他们该如何前进？他们如何保护自己？显然，每个人都在采用 Cursor，每个人都在使用 CodeGen，对吧？就像，

我们如何安全地继续前进？如果你没有资源来聘请一位安全专家作为 AI 管理员来审核你的代码，那么你需要一个人来审核代码，你需要一个人来检查，你知道，你引入了一个 SQL 注入，你需要使用参数化查询。我认为这些市场选择将在未来几年变得越来越

多。将会有专门从事安全治理的公司，他们会为你进行标记。但就目前而言，如果你的团队资源不足，并且无法获得这些资源，那么就需要有人来审查 AI 的输出。

所以我们保留伙伴系统，但伙伴系统的一半是 AI，另一半是审查 AI 的人类。是的，没错。我的意思是，很长一段时间以来，都有一些要求说你需要有两个审查者。我认为这可能仍然是一个好主意。你让人和 AI 编写代码，然后可能再让两个人来审查它，或者其他什么，这取决于代码是什么。我认为重要的是，在我们弄清楚安全主管之前，我们不要让这些人脱离循环。绝对的。

最后，Joel 和来自 Adaptive 的 Brian 在一起。所以，你知道，我们一直在讨论的问题是 DeepSeek 模型问世，震惊了世界。这似乎是另一个类似 ChatGPT 的时刻，事情正在加速，发展得更快。它现在是开源的，人们正在采用它。所以我们一直在讨论

你如何看待不仅保护基础设施和代码，还保护人员？因为现在这个模型是开源的，它已经存在了，人们可以自己运行它。它将被对手使用。它将被坏人用来做邪恶的事情，就像所有技术一样。太阳也会升起，对吧？所以我们很想听听你对

如何保护人们免受这些威胁的想法。可能发生的事情是什么，我们如何保护我们的人民免受这些事情的侵害？是的。好吧，我的意思是，首先让我们谈谈这个问题以及它在未来几年将走向何方。自从 ChatGPT 在两年多前问世以来，我们已经看到社会工程攻击增加了 4 倍以上。但我认为除此之外，

你知道，我们已经看到使用深度伪造等更复杂攻击的增长更大，在美国 2024 年，我们看到了超过 10 万起深度伪造攻击。当我一年前与 CISO 谈话时，你可能会发现 5% 到 10% 的人经历过深度伪造。现在当你谈论时，我认为可能超过 30%，40%。我认为这将最终成为每个人都将在未来一年左右经历的答案。当你看到像

DeepSeek 这样的模型出现时，我认为正如你所暗示的那样，你知道，你为攻击者提供了在消费设备上使用这些模型的能力，而没有一些更成熟的安全友好型参与者提供的防护措施，所以我认为其结果是，现在任何人都可以进行攻击

从他们的智能手机上，从世界上任何国家，并进行相当复杂的攻击。所以我认为首先，我们将看到这种攻击数量大幅增加。我认为我们需要考虑的攻击是什么，当然，我认为电子邮件肯定会继续成为一个主要的攻击媒介。但是这些新模型允许访问其他攻击媒介，其他渠道更多

以一种你可以进行大规模暴力攻击并且仍然有意义的价格。所以，你知道，无论是语音、短信、视频还是聊天，所有这些现在都可以大规模地进行，而以前我认为这在成本上是不可行的。

我们在去年看到的一件事，我们的一位普通合伙人实际上在 Twitter 上谈到了这件事，他们成为虚拟绑架的受害者。所以他们的父亲开始给他们发短信，打电话并留下语音邮件，复制了声音，听起来完全像他一样，要求将钱汇到某个地方。显然，幸运的是，这件事发生了。

这个人打电话给他们的父亲，能够让他接听电话，他证实他很好。然后从那里引发了一项调查。但这实际上是一件非常可怕的事情，对吧？不仅仅是虚拟绑架并不一定新鲜。这在许多国家已经发生很长时间了。但是能够做到那种深度伪造是新的。我想我想问的问题是，对于普通人，而不是安全人员，

他们应该如何考虑为这种可能性做好准备？这似乎是不可避免的。好吧，我现在可以给普通大众提供的最好的实用建议是打开你的手机，进入你的语音信箱，删除你可能用自己的声音制作的语音信箱问候语。

因为现在有了这些模型，他们只需要这些来复制你的声音。你不需要你在这类播客或其他地方的长篇记录。你不必是公众人物或任何方式。他们可以通过语音信箱问候语中非常小的语音样本获得它。所以这是第一件事。第二件事是，我知道这是，所以第一件事我认为非常实用，每个人都应该这样做。

第二件事更偏向于偏执狂，那就是如果你接到来自你不知道他们是谁的电话，我也会小心接听并与对方多说话。如果它不在你的语音信箱问候语中，他们可以通过再次说话几秒钟来复制你的声音。我认为你可以说“你好”，但你不必说出你是谁，或者，你知道，确认这是你的声音或给他们更多信息。

几秒钟的音频，否则可能会被使用。现在这听起来像是一个疯狂的评论，但我敢肯定，五年后，这将成为人们思考的非常正常的事情。我立刻想到我需要去删除我的语音信箱，然后记住我们正在录制播客。我有点完成了。是的，我的意思是，我认为这实际上非常可怕，当你开始考虑它时。然后我们转向新的模式并开始制作视频

你获得了做一些具有破坏性的事情的能力。我想也许从你的普通消费者转向企业，显然小偷想去有钱的地方，而钱在公司里，对吧？我们已经看到，没有任何生成式 AI，我们已经看到这样的骗局，

人们会给员工发短信，假装是 CEO，要么让他们购买礼品券，要么在 Facebook 的案例中，将大量资金汇给另一个国家的第三方。显然，生成式 AI 使这变得更加有效。我很好奇你对公司可以开始做什么来训练他们的人民，使他们对这类事情更有抵抗力的一些想法。

是的，你看，我认为公司对此过度暴露，因为，你知道，当这是一个个人，是你的父母或其他什么人，或者是一个亲人时，你会打电话给他们。你会说这说不通。你会反驳。我认为公司权力机构的影响力是如此之大。我亲身经历过许多聪明而有思想的员工，当受到正确的推动时，却违背了它。

另一件事是，你知道，我认为这让我有点担心。在技术人员中仍然存在一些自负和傲慢，认为我们可以保护它而不保护人们，我们只需要保护系统即可。现实情况是，近 90% 的攻击仍然是通过人进行的。

如果你想谈论保护事物，你看，我认为在保护电子邮件作为攻击媒介方面已经取得了很多进展。我认为系统变得越来越聪明，并且胜过了保护我们在电子邮件中的某些系统。那里必须保持警惕。但其他渠道是存在巨大风险的地方。我对负责安全并关心这个巨大新攻击媒介的人的建议是确保你的员工

A，对这些攻击的走向以及应该期待什么有非常好的了解。然后 B，测试和了解你的组织，看看你在哪些方面特别容易受到这些类型的攻击。关于 A 部分……

当你今天与许多安全团队交谈时，我认为当他们考虑对更广泛的组织进行培训时，他们认为他们只是在打勾，而培训只是一件合规性的事情。他们每年做一次，大多数人只是快速点击“下一步”以到达结尾。

他们认为他们什么都知道。但不幸的是，随着世界变化如此之快，我认为存在很多差距。我们需要确保人们真正学习并关注这些事情。然后第二点是一个持续进行的练习。我的意思是，不是说……

教育也是持续进行的，但我认为你可以做几次，让大家对事情有很好的了解。而了解你的弱点在哪里，你的漏洞在哪里，因为你的业务会随着测试这些新的攻击因素而改变，模拟这些攻击并调整来自第三方来源的数据以了解，你知道，人们在哪里，再次，有一些弱点。对。我的意思是，你需要了解这一点。

在你的团队和有权势的人中，他们的信息可能在哪些地方是公开的？他们的信息可能在哪些地方容易受到攻击？所以一直以来让我难以置信的一件事是安全行业，而且我认为这可能是安全行业中一个很大的肮脏秘密，没有人愿意谈论或没有人真正强调，那就是如果你查看支出和效率，所以如果你真的查看，我花费 X 美元，我阻止了 Y 次违规，

培训和意识是 CISO 拥有的整个投资组合中最好的投资回报率。然而，它已经成为一种例行公事，一种打勾的事情。我的收件箱里实际上有一封电子邮件，告诉我需要完成培训。所以如果像我这样的专业人士推迟了这件事，你可以想象其他人会怎么做。问题是，你如何在不把它变成打勾的事情的情况下突破这一点？你如何让员工真正感受到它的意义？

并提高投资回报率？- 是的，我的意思是，你看，我认为当你与员工以及管理这些培训的人交谈时，对现有许多传统解决方案的反馈是，培训实际上并非为公司及其试图培训的人员而设计的，对吧？90% 的内容不相关。

通常，它的交付方式非常枯燥。很难让事情不枯燥。然后我认为最后，它通常已经过时了，对吧？这些公司，因为他们倾向于制作它，而他们的传统公司在五年前、十年前制作了它，它没有针对最新的威胁进行更新，而更新它，使其变得出色，不幸的是，对于这些公司来说可能是一个成本中心。所以我认为 AI 在这里让培训变得令人惊叹的机会是巨大的。

尤其是在安全方面，你知道，我们投入了大量资金来进行关于安全问题的培训，虽然显然针对最新的威胁进行了更新，但也非常个性化。你知道，我们在 Adaptive Security 利用深度伪造技术在我们公司高管、经理和员工的实际培训中。所以他们看到了这种体验的真实情况。我们展示了攻击者如何使用这些新的 LLM 和其他工具来策划攻击。

我们为个体员工揭示了关于他们及其同事可能存在的哪些开源情报。而且我不断地，我甚至对关于你和我以及许多其他人的开源情报的数量感到非常惊讶，我认为大多数人今天并没有完全成长起来。

是的，令人难以置信的是，有什么可用。我很好奇你的看法。我的意思是，我认为所有这些都非常重要。我认为你前面提到的 90% 的攻击针对的是个人，其中很大一部分只是鱼叉式网络钓鱼。我担任事故经理很长时间了。我管理过非常大的安全组织，就像

人们点击的东西总是令人惊叹。几年前，当我还在一家银行工作时，我们进行了一项调查，我们实际上获得了骗子之间谈论如何制定信息的一些聊天记录。真正有趣的是，他们故意犯了排版错误，他们故意用词不当，以试图推动参与。这只是，

在社会工程方面似乎具有非常高的复杂性。只是可能考虑这些威胁不断发展。我想我很想知道，我们从这里走向何方？另一边有非常聪明的人，我们至少必须同样聪明，如果不是更聪明的话。对。我的意思是，我认为现实情况是，在攻击方面，那个做这些事情的聪明攻击者，你知道，

他们并没有那么多。现在有了 AI，他们可以利用自己，他们可以让自己成为无限数量的代理人，以自主地进行这些类型的攻击。这对他们来说将非常有利可图。所以他们将有很多资金可以回馈并像经营企业一样运行它，并在最好的策略和他们拥有的最好的东西之间进行扩展。

对吧？所以我认为你会看到大幅增加，你知道，这么多人对能够使用代理人自动化销售团队或其他团队感到兴奋。

客户服务团队，黑客团队也是如此。这是我们正在自动化的相同类型的交互。就整体而言，我认为，在安全和培训方面，也要回到这一点一秒钟。当培训在公司里是一种玩笑时，我认为它也向所有员工发出信号，表明公司的安全态势也不是很重要。

而且，你知道，“是的，这些测试存在，但是，你知道，你真的不必太担心。只需点击几下框即可。”

我认为这让我很担心，因为当攻击不太复杂时，他们可能已经侥幸逃脱了，但它正变得越来越复杂。我认为这是一个巨大的、暴露的广阔表面。我认为在未来几年，为了回到你关于这些攻击者走向何方的观点，你知道，我们将看到发生的事情。正在发生的事情是，有一些新闻报道，对我来说，

令人惊讶的是，它们没有得到应有的报道，但它们每隔几天就会定期出现，关于一些重大的深度伪造或 AI 驱动的攻击，这些攻击发生在某些事情上。幸运的是，虽然有一些案例损失了数千万美元，或者一家公司停业几天，或者其他什么，但这主要是经济上的损失。

我认为我真正担心的是，当你看到这实际上转变为人们受到积极伤害时，你知道，医院被关闭，能源系统被关闭，其他类似的事情。显然，我们已经发生过这种情况，但我认为这种情况会大规模发生。

这可能是促使我最大限度地阻止这种威胁的原因。因为当然，当有人停业一段时间，损失很多钱时，我们都会感到难过，但我们可以一定程度上恢复这些东西，而我们无法恢复光明。所以我认为这才是我最担心的。我认为在未来几年，这很可能会大规模发生，影响所有类型的企业。我在最近的一篇文章中提到的一个例子，我觉得这只是

也许你曾经报道过，我不知道，但在更广泛的媒体中被忽视了，那就是有人使用深度伪造来打电话给参议院外交关系委员会的主席，并设法深度伪造了一名俄罗斯政府成员，以试图从美国获得关于他们在乌克兰所做的事情的信息。值得庆幸的是，听起来他们没有泄露太多信息。我们没有得到太多。但我不知道有多少这样的事情发生在幕后，我们不知道。就像这只是通过泄露出来的。

我的意思是，类似的，完全类似的威胁。这是其中一种威胁，你会发现我们目前培训人员的方式正在失效，就像就业诈骗一样。你有一些活跃的外国，可能是外国政府支持的黑客组织

在硅谷科技公司就业，第一天上班就带走了所有秘密然后消失，对吧？这令人担忧。感觉就像你进行了培训，可能持续一周，每个人都处于高度戒备状态。然后效率似乎下降了，这种时间点合规性驱动的方法似乎并没有真正为我们服务。

好吧，我认为有两件事。首先，我认为培训应该个性化，并且应该真正吸引你，并希望让你感到震惊。如果它没有以某种方式让你震惊，那么它就没有真正起作用。所以，我认为这是第一件事。我们已经非常努力地尝试重新发明它，但我认为我们仍在发明初期，还需要更多的个性化。因此，它直接针对你和你关心的事情。第二点是，我认为人们通过体验学习最好

体验事情真正发生时的感觉。我们提供不同级别的模拟人工智能驱动的攻击，有些更容易发现，有些更逼真，更难发现，并进一步深入到凭据收集等方面。我认为，当个人体验到这一点时，他们会对此变得更加坚定。当然，

我不希望个人担心他们点击的每一封电子邮件或他们所做的一切。当然，希望有很多好的技术可以从电子邮件的角度保护他们。但在许多其他渠道中，他们并没有受到保护。很多邮件都收到了。所以我认为这里需要一种更大范围的、更新的警惕性。我不得不嘲笑你刚才讲的故事。

关于有人能够进入这些公司。几家传统培训公司几个月前实际上出来说，他们实际上有一个来自朝鲜的人，我认为他们可能雇佣了这个人，或者进入了他们的系统，或者类似的事情。这向你表明，即使是那些考虑这些事情的公司也无法完全阻止它。因此，你也需要能够做出明智的回应。

绝对的。是的，我不记得该事件的具体细节，但我可以告诉你，其他非常类似的事件涉及，你知道，大概三个人，可能是朝鲜人，以远程工作的开发者身份向科技公司申请工作，通过入职流程，通过背景调查，有地址可以邮寄笔记本电脑。

显然，这是一个转发地址。所以笔记本电脑被送到国外。他们在第一天上班时登录。他们下载代码库，获取秘密，然后就离开了，对吧？这是一个大生意。令人难以置信。感觉我们需要长期分解这个问题。显然，这是一个发展过程。你认为我们会达到拥有安全剪贴画或某种持续的安全提醒的地步吗？是的。

是的，这是一个很好的问题。我认为你提到的这一点，他们获得了，你知道，他们获得了公司电脑的访问权限，并下载了许多代码。我认为更可怕的是，由于每个人都在远程工作以及系统的工作方式，他们也可以在代码中添加新内容，或者他们可以下载有关

所有客户群及其访问控制以及我们经常在幕后发生的其他各种信息的数据。所以我认为你是对的。这肯定正在发生。至于一个持续指导你并阻止你做某些事情的教练，是的，我认为一方面你有一些采取攻击行动的代理，

你也可以有一些致力于保护的代理。就像任何军备竞赛一样，你知道，我认为我们在为善而战，试图保护，我们试图与他们匹敌，与他们对抗，并构建这种类型的工具。所以，是的，我认为你会看到很多人工智能被用于

非常好的保护。而且，你知道，在接下来的十年甚至更长时间里，我们将互相对抗。我相信我们会赢得这场胜利。但不幸的是，我认为我们必须清醒地认识到，尽管一些技术系统还可以，但我认为人类系统还没有达到标准。有很多信息在那里。并非所有信息都特别好，正如我们所讨论的那样。

很多信息可能会由于各种原因而具有误导性。我们应该将人们引导到哪里？显然，我们在 A16Z 上有一篇关于你可以做的 16 件保护自己事情的博客。我们会不断更新它。我们还可以引导人们访问哪些其他资源？有没有什么他们应该阅读的东西？因为这一切都非常前沿。是的。

它确实处于前沿，并且正在实时发生。当然，我认为我从在 X 上关注许多优秀的人那里获得了大部分新闻。我正在尝试自己发布更多内容。我试图摆脱仅仅是偏执的方面，并实际发布一些东西。所以我的用户名是 Brian C. Long。我们公司网站上也有一个博客，或者公司的网址是 adaptivesecurity.com，然后只需导航到博客即可。那里有一些帖子，我们将在该领域继续发布大量内容。但是你会看到在那里发布的一些最近的攻击和信息。

太棒了。现在我必须更新我的 16 件要做的事情，以包括深度伪造。非常感谢你。这太棒了。很高兴认识你。谢谢你的邀请。本周就到这里。如果您喜欢这次讨论，请对播客进行评分、评论并与您的网络分享。我们下周将推出另一集新节目。