Securing the Black Box: OpenAI, Anthropic, and GDM Discuss
59:59 Share

除非安全控制到位，否则你无法做到下一个大事，也无法训练下一个大型模型。

对于消费者而言。我现在无法夸大这个领域创新的阶段。

我们与每个首席信息官、每个首席技术官、每个我们作为项目的 VPN 交谈，他们都在内部使用大型语言模型。

我们是构建模型还是购买模型？如果我们正在构建模型，你或许应该考虑一下你的数据来自哪里，以及谁在接触它？

大多数人都会震惊地看到图像中完全不可见的像素，人眼无法看到。但模型可以，因为它是在 RGB 值上训练的。因此，如果你只是隐藏一些文本，看起来像一个完整的。

benie 文档，用户访问知识的权限不是重点。作为企业，难道你不希望他们拥有所有这些背景知识吗？这是让员工、工人和公司提高生产力和效率的巨大机会。

我不是一个令人兴奋的人。我是一个安全人员。如果我这么兴奋，那么你可以想象一下。

害怕未知是人的天性。因此，一项像人工智能前沿一样快速发展的技术会引发相当多的恐惧也就不足为奇了。对令人毛骨悚然的机器人电话、扩张、数据泄露或让区域的恐惧。

此信息现在是正确的，新技术带来了新的攻击因素，但在大型语言模型时代，你使用的是什么？在本集中，你将直接听到最接近行动的人的声音，这些人领导着前沿实验室、OpenAI、Anthropic 和 Google DeepMind 的安全工作。首先是 Matt Knight。

Matt 是 OpenAI 的安全主管，自 2020 年 6 月以来一直领导该公司的安全 IT 和隐私工程和研究工作。接下来，你将听到 Jason Clinton 的声音，他是 Anthropic 的首席信息安全官 (CISO)。他负责一个团队，负责处理从数据安全到物理安全的一切事务。

2023 年加入 Anthropic。在谷歌工作近 12 年后，最近领导 Chrome 基础设施安全团队。之后，你将听到 VJ Polina 的声音，他是 Google DeepMind 的首席信息安全官和网络安全研究主管。他之前也是风险投资公司 Black Cock Network 的首席信息安全官，并且还在媒体公司工作，参与了一些迄今为止最大规模的数据泄露调查。

最后，你将听到来自 a16z 的另一个声音，即运营合伙人 Joel de la Garza，在他加入 a16z 投资之前，曾担任 Box 的首席安全官，他从 B 轮融资后加入并一直发展到 IPO。在此之前，他是花旗集团的全球威胁管理和网络情报主管。希望很清楚，这四位嘉宾在安全领域拥有悠久的历史，并且都同样沉浸在这个人工智能的新前沿领域。

他们将共同探讨大型语言模型如何影响安全，包括攻防策略的变化、国家行为者如何滥用平台、提示工程等新的攻击因素等等。如果安全一直是猫捉老鼠的游戏，那么大型语言模型如何改变这场追逐的控制者？让我们拭目以待。提醒一下，此处的內容仅供参考，不应被视为法律、商业、税务或投资建议，也不应被用于评估任何投资或证券，并且并非针对 a16z 基金的任何投资者或潜在投资者。

请注意，a16z 及其关联公司可能会继续对本播客中讨论的公司进行投资。有关更多详细信息，包括我们投资的链接，请参阅 a16z.com/disclosures。你们都在安全领域工作了相当长的时间。

过去几年，人工智能和大型语言模型发展势头强劲。首席信息安全官的角色发生了怎样的变化？这种变化在多大程度上是由人工智能塑造的？人工智能是否有所不同？这看起来是否大致相同？

对我来说，以及对我的团队来说，最重要的事情之一是我们能够采用和使用这些技术来帮助我们扩大规模和提高效率。如果有什么东西定义了每个安全团队，那就是约束，无论是人员不足、缺乏经验、预算短缺还是工具不足。而大型语言模型具有我们正在看到的减轻许多这些约束的潜力，无论是我们原本无法访问的功能，还是能够像我们想要的那样快速地完成我们的运营任务，例如检测工作流程等等。能够真正突破探索这些工具可以为安全团队做些什么的前沿，这令人兴奋且具有变革意义。

不过，还有其他一些事情。在成为首席信息安全官方面有一些奇怪之处。例如，在一家前沿实验室，我们会考虑到国家安全防御，而大多数公司不会。这是一个巨大的投资。然后，当我们考虑我们采用技术的方式时，有很多挑战与处于前沿有关，这些挑战与刚才谈到的内容有关。

所以，是的，你绝对需要考虑，好吧，我将如何采用它？许多公司谈论这个问题的方式之一是采用某种类似于 Anthropic 所做的负责任扩展策略的东西。但这些东西还有其他名称。

在我们能够在人工智能领域取得下一个重大突破之前，我们需要满足这些安全控制措施。作为首席信息安全官，我们的工作就是让这些事情发生，对吧？除非安全控制到位，否则你无法做到下一个大事，也无法训练下一个大型模型。

这是一个巨大的投资。Jason 正中要害。这关系到我们思考规则的方式以及它如何转化为我们的同行的说法。

他们试图理解这种新兴技术的成本，以及这种成本如何在他们的组织内部以及其他可能出现的方面得到应用。在最前沿担任首席信息安全官与其他情况非常不同。我也喜欢他强调我们必须以身作则。

这项技术以及你可能前进的方向有很多未知数。我很幸运能够在谷歌的前沿部门工作，谷歌拥有一个庞大的安全团队，并且能够进行非常密切的合作，帮助影响这项技术在内部跨多个不同用例的应用方向。此外，在人工智能安全方面或这项新兴技术的含义方面，也对研发给予了很大重视。

因此，我现在花很多时间思考的是与一大批研究人员和工程师会面，思考可能存在的安全限制或隐私限制，以及这项新兴技术的成本。我的角色中有趣的一点是，在谷歌，是的，我们是构建这些前沿模型的团队，但我同时也与一个大型组织并肩工作，该组织正在迅速地将这项有益的技术应用于各种服务。因此，与这些产品领域密切合作，思考其各自产品的相关威胁模型可能是什么，也是我角色的重要组成部分。当你拥有这种对这项技术发展方向的全面视角时，事情会变得更加有趣。

我们有一个非常庞大的 AI 团队，他们也密切关注研究方面。因此，作为外部人士来看，我认为最酷的事情之一是你们拥有某种分裂的角色，你们可以保护 AI，对吧，权重，模型权重，并保护组织的“皇冠上的明珠”。但你们也可以推动 AI 的采用来解决这些安全问题。

这是一种你在高科技公司可以做的非常酷的“吃自己的狗粮”的事情。现在我认为你们刚刚发布了一些看起来非常有趣的开源软件。也许可以听听你们实际使用构建的 AI 产品来简化工作的用例。正如你所说，每个首席信息安全官都说他们面临的最大问题是资源。这似乎是拥有无限资源的能力。

我于 2020 年加入 OpenAI。在我工作的第一个星期就发生的事情是，我们发布了 OpenAI API，它支持 GPT-3 和 GPT-3。当时，我觉得这相当深刻。

这是第一次，一个大型语言模型真正展现了实用性。我们看到初创企业和企业正在采用它来以各种方式支持他们的软件产品。从一开始，我就对它在安全方面的作用非常感兴趣。

如果我们看看从 GPT-3 到 3.5 再到 4 发生了什么，我们会发现这些模型在安全领域变得越来越有用。因此，在 GPT-3 和 3.5 中，它们对安全事实有一些了解。它们并不是真正可以使用的工具。

然而，在 GPT-4 中，我们不断地对我们能够从中获得的实用性感到惊讶，以支持我们自己的工作。我们发现大型语言模型最有用的一些领域是自动化类似的操作，以及使功能开源并回到那些相当成熟的方面，每个安全团队都有许多运营工作负载。无论是警报进入系统，你等待分析师来查看它们，还是你从开发人员那里得到的问题，你希望回答这些问题。

大型语言模型广泛用于帮助加快和扩大团队完成这些工作的规模。例如，对于已知良好的、高置信度检测，我们想要在其后端采取行动，有时我们能够以在那里起作用的方式部署模型。

我将举一个非常简单的例子，但我喜欢这个例子，我认为这是一个合理的例子。假设你有一名员工公开分享了一份文档，而这份文档可能不应该如此广泛地分享。当然，大多数公司都有需要这样做的员工，对吧？你需要与公司内部的人员分享文档以进行协作等等。

因此，也许该文档被分享了，它发送给安全团队作为工单，然后安全工程师接手并联系员工。嘿，你是故意公开分享这份文档的吗？员工可能会很快回复，也可能在一天或两天后回复，然后进行一些讨论，他们确定。

不，我是无意中这么做的。并且采取了措施来确保该文档……我们可以部署 GPT-4 来完成所有这些来回沟通，以便当安全工程师赶上工单时，他们已经拥有了所有必要的上下文。他们只需要采取行动，这有助于他们更快地完成工作。

它消除了工作的繁琐部分。而且它对失败也相当稳健，因为在这种情况下，如果模型出错，你仍然需要有人在相同的时间内查看它，就像他们无论如何都要查看它一样。这是一个非常简单的例子，文档共享。但是你可以推断出这一点，并看到你可以帮助安全工作的其他强大方法。

我的意思是，对于运营团队来说，你可能会看到 10% 的工作量只是联系人们并询问，你是否真的想这样做？10%。也许更多。最后，向我的同事们致敬。

向刚刚从 Black Hat Asia 回来的 Pankaj Million 和 Pho Chan 致敬。他们在那里展示了他们构建的一些其他工具，以帮助支持我们的团队。他们将这些工具开源，因此它们可以在 OpenAI 上找到，如果团队想要跟踪它们的话。

我真的认为这仅仅是个开始。我认为团队可以通过多种方式采用这些工具并将其用于支持他们今天的工作。

我认为这令人印象深刻，我前几天查看了开源代码。我打算周末尝试一下，但你们正在构建的东西真的非常棒。

Jason，对于 Anthropic 的首席信息安全官来说，我知道你们拥有异常大的上下文窗口，我已经向几位首席信息安全官推荐过这个窗口。因此，将你们的策略加载到该上下文窗口中并提出问题，对吧，在安全方面有很多明显的用例。我很想知道你们是如何利用这项技术的。

现在我们正在做一些我认为很有趣的事情，其他人也应该考虑类似的事情，所有这些技术都有用。我想说有两件事……例如，许多安全团队进行软件审查以审查第三方依赖项。

你可以将大型语言模型应用于第三方依赖项，并说，这东西有多危险？你在提交历史中看到任何奇怪的东西吗？提交者的声誉评分是多少？这些都是你目前从第三方供应商那里得到的东西。

但是人工智能实际上也擅长做这件事。因此，第三方和供应链分析非常有用。当然，市场上有很多安全产品正在采用摘要，我们也不例外。

关于人工智能的一点是，它发展得如此之快，以至于询问我们今天正在做什么实际上我认为有点落后了，因为未来两年将会发生巨大的变化。我们以扩展定律为背景，我们知道模型会变得越来越强大。当它们变得更强大时，我们必须问，好吧，新的应用将会是什么？

例如，我们能否对进入ACINCD管线的所有内容都充满信心，不会引入这种严重的漏洞？因为您就像在运行一个NLM来处理通过该管线的每一行代码，也许还有其他类似的IT低垂果实。我有点想谈谈这个。所以，如果你能给其他人一个发言的机会，那就太好了，但是，我的天哪，我们有很多事情即将到来，能力方面，我认为真正重要的是要考虑，好吧，几年后你会在哪里，不仅是在网络安全防御方面，而且在攻击方面？

你的观点是，事情发展得如此迅速，也许你可能听说过一些人说这项技术感觉更像是一个黑匣子。

所以在更基本的层面上，我们很想探究一下你认为这如何改变攻防策略，它真的是双方人力资源的改变吗？还是因为人工智能的力量可以暴力破解某些东西？或者是否存在一些新的基本安全考虑因素，无论是在进攻还是防御方面？我很想听听你对这种轨迹的看法，因为正如你所说。

我们正处于起步阶段，是的，我认为总的来说，在代码安全领域，更多的是代码安全领域，谷歌在开源安全方面投入了大量资金，我们有一个大型团队在思考开源安全的更广泛方面，以及如何创建工具和方法来造福更广泛的社区。但是我们一直在探索如何使用LLM来支持非常不同的模糊测试方法，或者评估围绕代码安全的一些新答案。

总的来说，快速说明一下，对于那些不了解的人来说，模糊测试是一种自动软件测试技术，它用意外的输入轰炸软件，以检查错误、崩溃或潜在的安全漏洞。

把它想象成一种信任测试，就像用汽车来测试是否适合上路一样。所以，想象一下，把一辆车开到测试赛道上，让它驶过坑洼、湿滑的路面或恶劣的环境，以发现设计中的任何弱点或潜在故障。同样，模糊测试旨在确保软件能够处理意外输入而不会受到损害。有些人甚至将模糊测试称为自动错误检测。

我们现在已经在防御方面可以做很多事情，我们也在另一边进行这些投资。我认为所有这些中最令人兴奋的事情是，我们确实看到了一些论文发表，这些论文是关于使用大型语言模型来驱动软件漏洞的自动检测。谷歌和其他公司确实花费了大量的资金来使这些快速集群工作。

生态系统中还有其他参与者在防御方面也在做同样的工作。所以，当你考虑攻防的平衡时，我认为我目前看到的证据表明，在将大型语言模型用于网络安全应用方面，我们非常偏向于防御。

你可以看看整个生态系统，你会看到许多参与者正在提供已经用大型语言模型增强的产品，用于袜子操作，用于我们之前讨论过的总结测试。但是当我们展望未来以及攻防时，我确实认为这里有一些需要关注的领域，既有信任和安全方面，也有我们甚至还没有机会讨论的一些新的和正在出现的领域。例如，STB北京从能力的角度来看，对于AS来说是一个非常非常有趣的领域。

如果你能想象一下，从世界各地的恶意行为者那里推断出拥有一个能够潜在地策划和发起网络攻击或参与围绕选举的真实行为的整个平台意味着什么。所有这些都是滥用领域，作为行业，我们需要考虑，好吧，这实际上并不那么昂贵。如果有人只是连接我们。

并把它组合在一起，就会出现我们需要规划的线程，以及从信任和采取你的角度来看。我认为我们已经在这次电话会议上做了这件事，那就是采取选举干预的对策，因为我们预计这将成为一个问题。昨天，围绕这些方面的儿童安全问题也发布了一个重大声明，以及安全代理。

机会是另一种滥用途径吗？因此，了解这些东西可能被滥用的方式，然后领先于曲线是很重要的。这是防御方故事的一部分。

是的，也许我没有点名你，但我认为你们发表了一篇博客文章，指出民族国家行为者实际上正在滥用你们的平台。虽然这很重要，但我认为我们在所有平台上都看到了这一点，了解这些对手目前正在做什么很重要。它为我们可能在未来看到的潜在能力发展以及我们需要采取的措施提供了大量信息，以便领先于任何潜在的滥用和误用，当它涉及到我们正在努力的进攻性安全能力时。

保持关注。感谢你的提醒，VJ。那是几月份？是的，大约两个月前，OpenAI发表了一些我们与曼迪特、微软、阿里巴巴和情报中心合作得出的发现，这些发现与一次针对性破坏活动有关，我们识别并追踪了五种不同的统计方法，这些方法被用于OpenAI工具。

我们发表了一些关于他们使用方法的发现。我们真正发现的是，这些行为者使用这些工具的方式与你使用搜索引擎或其他生产力工具的方式相同，他们只是试图了解如何使用这些工具来促进他们的工作。如果你想了解更多信息，请查看博客文章。

但我在这里要分享的一个更高级别的观察结果是，语言模型有可能帮助安全从业人员克服他们的局限性，而这正是事实。像我们这样的团队专注于防御，并且更关注键盘的另一端，所以无论是规模问题，比如你没有足够的分析师或足够的时间来查看所有你想要的大型数据源。速度和你的警报正在进入队列，你几个小时或几天都无法处理它们的能力。

你没有足够的能力工程师来审查你的代码。你没有语言能力来审查你可能想要整合到你的程序中的所有情报。所有这些都是语言模型显示出巨大潜力的领域。

我致力于并且我的团队致力于的一件事，那就是打开人们的眼睛，那就是在规模上有所作为，并确保我们在内部以及安全研究界和生态系统中尽我们所能，以确保这些防御性创新能够领先于进攻性创新。我要简要提到的另一件事是我们的网络安全赠款计划，我们去年启动了这个计划，我们向第三方研究人员提供现金和API积分赠款，无论你是学术实验室还是个人，都可以推动语言模型在安全问题上的防御性应用的前沿。看到由此产生的成果非常令人兴奋，这是我们将继续加倍努力的一个领域，因为我们可以看到这里的发展方向。我们希望确保我们在安全行业的合作伙伴也能参与其中。

很棒的呼吁，伙计。顺便说一句，这是一个很棒的计划。我只想补充一点，这里的所有公司也是AI网络安全挑战赛的成员，这是一个由DARPA赞助的旨在找出安全风险的计划。所以我真的很期待看到它的最终结果。整个网络安全社区有很多地方可以参与其中。

我对DARPA的AI网络安全挑战赛非常兴奋，因为我认为这是一个范围恰当的计划，而且时机也恰到好处，静态分析发现源代码中的漏洞是一个当前一代模型实际表现不佳的领域。但当我退一步思考时，这是一个模型应该变得非常擅长的领域。

想想传统的静态分析工具能做什么，它可以发现代码中一些通用的漏洞。你可以为某些事情编写规则表达式，你可以为某些事情编写规则。也许其中一些事情做得比较花哨，但它们能做的是，它们无法理解你的开发团队在寻找漏洞时的业务背景。

因此，一些更重要的错误，例如你在进行权限检查时使用了错误的内部授权角色，这些都是当前一代模型不太擅长的事情。我曾经领导一个团队，我审查了许多这样的产品。当你考虑到语言模型吸收上下文、吸收开发人员文档、查看整个代码库并真正理解这一点的能力时，你总是会觉得意犹未尽，我认为这是一个模型应该变得非常擅长的领域，但它们还没有达到那个水平。因此，DARPA的这个计划专注于真正推动语言模型在漏洞发现和修复方面的应用，我认为这是一个非常好的关注领域。我很自豪OpenAI能够支持它，我认为它很棒。

我很想深入探讨一下这个威胁，因为我们看到了X、Y、Z实用程序攻击，这基本上是一个国家支持者。人们推测这是与SolarWinds漏洞相同的家伙。我认为我们有一些证据表明情况可能如此。

但显然，除非你有数十亿美元来进行归因，否则归因几乎是不可能的。但他们基本上试图将一个非常隐蔽的漏洞植入一个非常流行的开源组件中，这将使他们能够访问运行该库的任何东西，对吧？我认为可怕的是，他们进行了一场非常漫长的活动，一场社会工程活动，以赢得开发人员的信任，成为该项目的合法贡献者和控制者，然后试图插入他们的代码。

所以这有点像一个非常复杂的例子，让我们说一下你如何进行供应链攻击，对吧？真正令人担忧的是，我们有很多工具可以扫描供应链安全，但没有一个工具能够检测到它们，对吧？所以我想问的问题是，显然，我们看到防御措施正在加强，这是典型的矛与盾的较量，但我们是否认为这些新一代的、通常是我们的技术将能够发现这样的事情？

你拥有这种能力，我认为我们可能只是在模型何时获得这种能力上存在分歧。我们可能谈论的是六个月到十八个月的问题，但我认为它可能在这个时间窗口内。这个例子实际上非常棒，我认为它可以很好地说明随着模型变得足够智能以检测这类问题时，它的发展方式。

它们将执行以下两项操作之一：它们将被雇主要求逐个扫描特定类型的攻击。因此，将给出这个文件，给出这个上下文，这里是否存在这种类型的漏洞？是否存在这种类型的供应链攻击？你可以想象这将是多么昂贵。

它们可能被部署的第二种方式是子代理方式，其中有一个顶级代理，有点像驱动单个供应链工件分析。然后子代理会检查并检查工件，看看维护者是否表现出倦怠迹象，或者是否有可疑的提交或可疑的代码被上传？以及是否看起来像那些类型的提交。我们必须对提交进行分类。

我理解正在发生的事情，这可能是子代理可以更快地完成工作的潜在地方，你可能能够遍历整个开源软件生态系统，并找到需要调查的感兴趣的东西。所以我认为这将在未来六到十八个月内发生。运动员们。

我认为我们也看到了这种情况的反面。我认为GitHub几周前发布了一篇文章，其中可能并非由LLM策划，但大量PR涌入开源生态系统，表面上看起来是良性的，但绝对是异常的，并且值得关注，因为他们强调了团队能够评估他们没有的一些变化的能力，如果可以的话，可能会出现问题。

所以我认为对手正在变得越来越聪明。是的，我认为这次事件在他们从如此缓慢和细微的立足点开展行动的方式上非常独特。我认为目前最先进的技术可能已经能够支持这一点，你已经识别出该行动的某些方面。

但我认为我们也将会看到对手滥用这项技术，使我们在供应链方面的生活更加困难，以扩展我们一直在看到和一直在捕捉的那些类型的事情。我认为这可能也同样令人担忧，看看对手实际上可能使用生成看似良性代码的能力，并以某种方式将其引入生态系统，这似乎有点像。

是的，我认为从那以后，三天前有一篇论文发表。就像你说的那样，在技术方面，我们生活在实时环境中。现在它不再是老式的了。

几天前有一篇论文声称GPT-4能够生成利用漏洞的代码，并利用基于非常详细的CVE的“零日漏洞”，并且能够达到一定的有效性。IBS C。对这些事情的警告总是像巨大的“如果属实”。很想看到它实际运行，因为我认为我的经验仍然与之相去甚远。

快速说一下。我想谈谈开源主题，因为我认为这是语言模型可以提供帮助的一个领域。业界依赖的许多开源项目都由志愿者支持。而这些团队并没有得到资助，也没有配备大型应用程序安全团队的薪水、股权以及获得安全工程师参与这些工具所需的一切资源。

但是，如果您能够以极低的成本或免费为这些团队提供分析能力，会怎么样呢？您可以看到，有一天，这将有助于弥合差距，并帮助解决其中的一些不足之处。当然，人类分析师或人类安全工程师会发现一些工具无法发现的东西，而这些工具与开发人员一起工作，可以在很大程度上解决这些重大问题，坦率地说，这对整个软件行业来说是一个挑战，对全世界任何使用计算机的人来说都是如此，并且有一天必须与之协调一致。

我的意思是，我认为我们听到的趋势是这些工具将增强我们，对吧？它们将赋予我们超级大国，而不是取代我们。

你问到了漏洞开发和利用。我也读过那篇论文。

是的，我熟悉这篇论文中提到的内容，它在细节方面非常匮乏。所以我无法谈论有效地重现他们能够做到的事情的细微之处。但是，他们认为它就在这里，这非常有趣的的研究。

所以我的意思是，有效地，我们证明我们可以使用最先进的模型来查找漏洞并至少在入门级对其进行验证。谷歌就在那里。我们还证明，您可以改进模型以更好地完成这些任务，例如，通过非常集中的微调和其他我们一直在探索的方法。

谷歌参与Dark Project也是一个值得关注的亮点。我们对Dark Project非常兴奋，它是一个大型开源安全项目，我们正在通过多种方式为其做出贡献，从挑战设计到提供我们的模型作为竞赛的一部分。我认为这可能是未来几个月，尤其是未来几个月，将会迅速发展的事情。

而且我认为，增加的能力、联系和跨越大型代码库的代码阅读能力非常有帮助。我认为重点在于验证漏洞利用过程。源代码只是漏洞研究实际要考虑的一个方面。还有一些系统级或操作系统级的防御措施，会使漏洞利用的工作变得更加困难。

因此，当我们在Project Zero和其他一些非常有能力的研究人员在世界各地开发我们的评估时，我们试图使这些细微之处在我们的评估中更具代表性，以便我们可以推断出这些模型在验证或实际利用可能已识别的漏洞方面的有效性，因为它现在能够跨越整个代码库进行推理，例如，可能是其他代码片段，这些代码片段非常特定于该事物的某种实现。我认为这非常令人兴奋。我认为还有其他方法可以让这些模型对代码进行推理，这些方法正在查看其运行的操作系统，以及可能增加额外缓解措施的操作系统的底层硬件的其他功能，这些措施可以防止漏洞利用从一开始就发生。因此，当我们考虑这些能力时，不仅仅是查找代码中的错误然后修复它，而是从攻击的角度和防御的角度考虑一个现实的场景，当涉及到补救这些类型的问题时，因为没有简单的答案，整个过程都是分步骤进行的。

只是对这一点的补充。这篇论文说你可以利用零日漏洞。并且基于CVE描述，将其转化为可操作的攻击，VJ也指出了这一点。

有很多地方，仅仅理解实际的漏洞和实际将其转化为攻击是两个不同的认知步骤。因此，当我们考虑大型语言模型的当前智能水平时，理解漏洞然后实际执行它，它们正在横向移动。你对已获得访问权限的系统的理解，所有这些目前都是不可能的。

这是Anthropic的责任规模化策略的一部分，用于SL3评估。我们正在查看模型，并将其自身放置在服务器上。

这是蜜罐复制测试。在这个测试中，我们使用的是元编程，这正是我们在谈论将漏洞实际操作化时所谈论的内容。目前，它们可以使用元编程并有效地利用服务器。

但是一旦它们这样做，它们就会感到困惑，它们没有内部笔记本，它们没有跟踪它们自己的状态与执行环境相比。当它们进入这个环境时，它们会感到困惑。因此，这还没有通过此级别关注的评估。也就是说，在进行这些评估时，您可以看到它们是如何变得越来越聪明。你只需要说，好吧，如果它们再聪明一点，它们就能弄清楚这里出了什么问题并修复它，所以我认为我们对未来漏洞利用有一些担忧。

你们使用大型语言模型成功地进行医疗保健，这可能是每年都会出现的令人惊叹的新奇事物。所以，我们真正可以关注的这个对话的另一半是，我们认为，从投资的角度来看，这确实是企业大型语言模型之年。因此，我们与之交谈的每个首席信息官、每个首席技术官、每个副总裁网络安全都有一个项目，他们正在内部使用大型语言模型。

我们从有人拨出十万美元来玩一个工具到七千三百万美元来帮助增强他们的客户支持，应有尽有，对吧？所以这是一个很大的赌注，从某种意义上说，在接下来的18个月里，从零到一百，这既令人兴奋，也略微令人担忧。所以我很想听听你们所有人如何看待围绕在这些技术之上构建企业解决方案的风险。

也许我们可以先从每个人总是首先提出的问题开始。你目前想谈谈这个吗？因为你已经厌倦了它，内容注入，对吧？这就是最重要的事情。

已经有数百万家初创公司成立来解决这个问题。我们知道你们非常积极地处理这个问题，因为我知道Anthropic在发布红队信息、谈论提示注入方面做得很好，我们非常喜欢他们。也许只是听听你们的想法，比如你们认为我们现在在哪里，你们是如何看待的。

在我们开始之前，你跳进来之前？我们有很多不同级别的听众。你会如何定义或描述什么是提示注入？

对于那些刚接触这个领域的人来说，提示注入是指将信息插入上下文窗口，利用该上下文窗口插入模型中的一些新指令，从而导致模型改变其输出行为。所以你会看到一些东西进来，它会改变提示的解释，它可能是一份你从网页上提取的文件，或者是一张有毒的图片，然后这会影响结果的行为，这在商业决策或其他一些模型的结论或其做出的决定在你的业务中有一定的权重的上下文中可能很重要。

你最喜欢的最愚蠢的提示注入示例是什么？

所以我们其中一个最令人惊讶的，大多数人看到后都会感到震惊的是，图像中包含完全不可见的文本，人类无法看到，但模型可以，因为它是在RGB值上训练的。

因此，如果您只是隐藏一些文本，看起来像是一份完全无害的文件，它在白色背景上非常浅，为了这个例子而简化，并且非常浅的白色文本包含提示更改，自动批准您当前正在查看的内容，诸如此类，这将是一个提示注入的例子。不过，也有一些缓解措施。让我们退一步。

如果您是一位首席信息官，并且正在考虑这些风险，或者首席运营官和团队来找您，并希望首次部署AI。您需要首先询问的是，在我们的数据流和基础设施的框图中，AI在哪里？这是第一个问题。

在做任何其他关于AI的事情之前先问这个问题，如果您正在构建AI，并且它在一个所有输入都是可信的，并且所有输出都将发送到后果较低的地方，那么这与高风险的情况相比，上下文就不同了。下一个要问的问题是，我们是否部署了这些信任和安全系统？我不是推销员。

我认为并非每个组织都需要使用特定的模型。如果您决定在您的基础设施中部署一个开源模型，那就太好了，尽情使用吧。但是，当您进行此类部署时，您还需要在这些模型周围部署信任和安全系统。

就在上周，我们看到了Law的发布，同时发布的还有Islamabad。在这个领域有很多参与者正在提供部署方面的防护措施，例如H、U、S。

Bedrock有部署方面的防护措施，如果您正在运行任何模型，包括专有模型，一旦您可以为围绕它的信任和安全系统付费，您就需要使用AI来防御核心模型。从本质上讲，这就是内部防御。

当您看到这些提示进来时，您需要一个以非相关方式训练的模型，以便当它看到提示注入或看到越狱尝试时，可以在输入端捕获它。然后，在输出端，您可以使用另一个模型来扫描输出，以查看是否存在违反您特定参与模型的情况。所以有一层软件，这是我能说的最简单的版本，监视输入，监视输出。

但是，正如所有在这个领域工作过的人都知道的那样，信任和安全非常困难。您需要了解试图窃取您的模型并将其转售到黑市的威胁行为者。您需要寻找规模滥用。

您需要做这些事情。Matt之前提到的地图，寻找人们以不真实的方式使用您的平台。

即使在您公司内部，您自己的员工也可能以与您的雇佣政策不一致的方式使用您的部署，而这是一个您可以应用信任和安全规则的地方，以便您可以让您的员工评估哪个模型最适合您的公司。但是，归根结底，您必须在输入和输出方面部署信任和安全。如果您想这样做，您只是在邀请一些此类风险随之而来。

除了监视您的输入之外，还可以限制它们，并以我们正在采用语言模型来帮助启用我们的程序为例。这就是我们如何使用它来自动化我们漏洞赏金计划的部分内容。

所以我们有一个AI漏洞赏金计划，这样当各方在我们产品中发现漏洞并向我们报告时，我们可以修复它们，并且我们可以补偿举报者。我们认为这是一个重要的工具，可以用来吸引社区，确保我们能够获得关于我们能力的准确、及时的信息，以便我们可以修复它们。当我们在一年多前启动漏洞赏金计划时，我们收到了大量的报告，大量的工单。

但是很多都是安全无关的。所以很多只是人们联系我们询问其他问题，关于工具如何工作的问题，或者是一些提供者反馈说我不喜欢生成的答案等等。这对安全团队来说太多了。

因此，我们构建了一些轻量级自动化程序，它使用GPT-4来审查通过我们的漏洞赏金系统收到的所有工单。当它这样做时，它会分析它们，然后对它们进行分类：这是一个客户支持问题，不在漏洞赏金的范围内吗？该报告是关于模型行为的吗？

我们关心这些。我们通过不同的渠道处理它们，而不是漏洞赏金，或者它是一个安全漏洞，我们需要安全团队来查看。我们可以使用模型来进行这种狭义的漏洞分类。

这样做有助于我们的分析师更快地找到他们需要查看的安全相关文档，对吧？它有助于这些事情从积压中跳出来，以便他们可以更快地查看它们。该方法的故障模式仍然相当有限，如果它对分类错误，人类仍然会查看它，只是可能需要更长的时间，并且它不会做出付款决定。你偷走了人类的工作，所以所有漏洞赏金猎人，不要有任何想法。它进行分类，然后人类查看并仍然决定这是否是一个真正的阳性，它是否值得向某人付款。

优点是……

在您之前的说明中，它会很好地持续地对分类、转账工作进行分类。

只是澄清一下，你正在说，我同意，2024年将是企业普遍采用通用人工智能的一年。

是的，是的。我的意思是，更积极地说，我们看到了这种趋势的飙升，你们在你们的财务中也看到了这一点，对吧？

我认为我们都可以同意，我们确实看到了企业用例的大规模采用。也许我指导企业决策者思考风险的所在和方式的方法是：首先，也许应该考虑一下我们实际考虑的设置，对吧？我们是在构建仅供内部使用的内部应用程序，但它可能会调用第三方瓶颈 API 吗？或者我们是在某个所谓的服务提供商环境中构建云原生应用程序，并使用通过 CSP 提供的基础模型？

我们是在现有开源模型之上构建内部模型，同样也是用于内部业务用例吗？或者我们正在构建一个扩展到客户的应用程序？与 SaaS 应用程序一样，也是基于开放模型构建的，对吧？因此，我认为，如果您能将这些考虑因素归纳为三个或四个维度，那么首先应该问自己的问题是，我们是构建模型还是购买模型？如果我们正在构建模型，那么您可能应该考虑一下您的数据来自哪里，以及在内部训练或开发模型的过程中谁在接触它？模型来自哪里？以及您如何尝试在一定程度上信任模型的来源，或者您只是从某个地方下载它并使用它。

在您购买模型的环境中，您现在应该考虑的一些事情可能是：如果这是一个您无法控制的单点，那么您的数据将去哪里？这样做有什么风险？如果您正在考虑将此应用程序扩展到外部客户？是的，我认为我们都同意模型具有能力。我们稍微谈到了提示注入，这是我们最担心的问题之一。

这些事情在您的陷阱模型中很重要，对吧？如果我们向外部消费者公开接口，您有多担心这些模型披露的信息类型、它们的响应以及基于这些交互可能采取的行动？所以，是的，如果您考虑这三个维度，我认为一般来说，这些模型具有非常好的推理能力，可以处理大量信息，但它们在推理谁应该访问哪些信息方面并不完全出色。

因此，身份和访问管理的概念仍然非常重要。举个例子，您可能不希望将所有关于工程路线的信息公开给更广泛的组织。如果您决定为整个组织构建一个模型，那么您如何判断谁有权创建此类模型？因此，这不仅仅是内部的信任和安全问题，更多的是身份和访问控制以及内部的授权问题。

我很喜欢这个问题，因为它很有趣，我听说过一个非常有趣的情况，人们正在使用他们的企业数据微调开源模型。因此，作为一名员工，您可以访问大量信息，但您可能实际上并不了解这些信息中包含的知识，对吧？因为通常人们会被过度授权。

他们可以访问很多东西，但他们并没有意识到，他们不一定有能力处理这些信息。然后，当他们开始分层并提供关于这些信息、事物和见解的知识时，他们以前没有获得的信息就变得可用。因此，在访问控制和授权方面，它带来了非常不同的挑战。我知道我们在这方面仍然处于领先地位，而且可能在下周二就会发生变化，但我希望能听到您对如何开始思考授权问题的想法，即您可能可以访问信息，但不知道这些信息。现在您知道了这些信息，它就变得非常成问题。

我的意思是，这是一个开放的研究领域，尤其是在隐私领域，我们称之为上下文完整性。实际上，这意味着在某些上下文中，哪些信息应该提供给请求这些信息的用户的请求。通常情况下，鉴于某些信息显然是私密和敏感的，它以前是受约束的。

因此，问题通常在这种意义上围绕隐私展开。关于如何考虑实施系统以保证仅在适当的上下文设置下提供知识和/或信息（无论您如何称呼它）有很多讨论。同样，这可能是基于角色的、基于身份的、基于时间的、基于组织单元的。它可能是基于您的级别进行授权，这是我们在谷歌内部各个团队都在广泛考虑的问题，原因显而易见。我知道至少有一些组织或初创公司也在考虑这个问题。

我想插一句，并挑战一下优先考虑用户访问权限的观点。将访问权限转换为知识并不是问题的核心。这些特权违规行为是用户拥有过多的访问权限，然后能够推断出他们不应该被授权访问的信息。

因为如果用户有合法且合法的知情需求，作为企业，您不希望他们在上下文中拥有所有这些知识吗？这是让员工和公司提高生产力和效率的巨大机会。

我们在 OpenAI 将这一原则付诸实践。我们实际上正在使用我们的安全计划中的 GPT-4 来推动我们自己的最小权限和内部授权目标。我们有一个内部授权框架，当您寻找资源时，它将帮助您根据您正在寻找的内容将您引导到正确的资源。因此，例如，如果您是开发人员，并且需要某种范围狭窄的角色来更改服务。

但是，与其尝试找到正确的角色，不如直接请求“给我某种广泛的管理访问权限，整个订阅或租户或任何东西，这样我就可以进行更改”，这就像那些不知道自己在寻找什么的人想要按下的简单按钮。但是，我们发现大型语言模型非常擅长将用户想要执行的操作与我们定义的范围良好的内部资源相匹配。同样，我们以一种限制它们的方式来做到这一点，这样如果模型弄错了，就不会产生任何影响。

仍然需要人工审核来查看正在请求的访问权限并批准它。因此，我们已经到位了多方控制。但是，我们发现这些工具确实可以帮助推动这些结果，这就是我们对它们的使用方式。我迫不及待地想看看其他公司会构建什么。

我的意思是，如果我们最终能够实现一个认识到特权最小化一直是大多数企业规模化运营的情况的世界，那就太好了。

是的。因此，记住这些模型最重要的一点是，当您进行微调时，微调过程只能使用对将访问该模型的人员可访问的信息非常重要。模型本身无法执行任何类型的授权和身份验证操作。因此，作为目前在这个领域做出决策的高管，最佳实践就是不要在我们不应该向将使用该模型的人员公开的信息上训练或微调模型。如果我们回到在公司内部的私有数据上进行训练的例子，如果它是为客户服务代理准备的，那么您应该只在客户服务常见问题数据库上微调模型；如果它是员工福利信息，那么只在当年的福利信息上进行微调，如果您想为下一年重置它，那么训练的领域应该与微调用例的用户的领域相匹配。我认为这是一个非常重要的原则，现在应该记住，直到 Vj 和其他人解决这个问题。

如果您在模型层进行微调并处理访问控制，那是正确的。但是，如果您开始考虑将知识整合到模型上下文的其他方法，我认为您将获得更大的自由度。因此，如果您谈论的是将信息提取到提示上下文窗口中，那么这是您围绕语言模型可以执行的操作。或者，也许您正在使用检索增强生成，并且存在某种向量数据存储，您可以将授权整合到该层，并将您的授权与昂贵的因素化过程（这是您不想频繁执行的操作）解耦，并将其整合到更动态的东西中，它可以随着您的数据而发展，随着您的组织而发展，并且可以以移动过程的方式进行管理。您希望您的信息能够移动。

我只是想补充一点。我认为，当您引入模型可能调用的第一方和第三方服务时，我们确实在一定程度上具有灵活性，并且能够控制在什么上下文中或允许进行什么类型的授权才能调取哪些信息。因此，纯粹的知识检索没有任何第一方或第三方集成。发生在模型之外的更多检索可能有点难以考虑，因为任何其他推理都必须在模型级别进行，即在什么上下文中为哪些信息授权什么？

太棒了。我认为，关于我们在这个领域的发展方向，这些观点都非常棒，我相信下周它就会改变。所以，就像所有事情一样，是的。

我想问的一个问题是，这是一个故事。所以，就像和很多人交谈一样，我们总是听到一些有趣的事情。我一直听到这个故事，这个故事有两个部分。

首先，人们正在寻找窃取推理的方法。你知道，这是经典的资源劫持，你使用别人的 AWS 凭证或其他东西来获取他们的帐户，然后使用他们的计算能力去做一些事情。这可能是加密货币，也可能是发送支出。这种情况一直都在发生，只是现在它被应用于推理，人们基本上……我知道有一些地下社区，人们试图收集这些推理，构建虚拟伙伴。

然后是第二部分，他们试图构建虚拟伙伴来绕过对前沿模型设置的限制，因此他们想要做一些事情，这些事情可能不被这些提供商的信任和安全策略和标准所允许。因此，实际上存在一个非常有利可图的市场，用于交易一些这些越狱方法，以便他们能够绕过这些限制。对我们来说，这很有趣，对吧？显然，这是我们以前从未见过的技术应用层。它也感觉像是让我们更接近赛博朋克领域，我认为我一生都在期待这种情况发生。但是，让我们听听您对这种黑市的一些看法，因为您处于阻止这些人另一边的位置，也许还有一些关于人们如何考虑保护自己免受这些事情侵害的建议。

在这个领域发生了几件事，我认为了解这些很重要。例如，作为客户，您目前可以在您的网站上部署聊天机器人。例如，假设您是一位小型企业主，决定在您的商店页面上放置一个聊天机器人，服务提供商会为您提供它。

您需要考虑这种滥用途径，即通过您的网页转售对模型的访问权限，因为最终您将成为支付该使用费用的那个人。因此，您必须向您的供应商询问：谁正在为您提供这项服务？您是否有针对将我的部署用于各种用途的保护措施？您还询问了越狱。

世界上最好的信任和安全团队正在进入并对交易此类事物的黑市网络进行威胁情报分析，收集有关当前攻击和威胁概况的信息，然后将其纳入信任和安全响应。因此，当您考虑防御越狱时，解决方案的一部分就是了解越狱是什么，进行良好的监控，并找出世界上黑市中正在发生的事情，并将这些信息带回部署的产品。因此，当您部署该产品时，您将拥有最新、最好的威胁情报信息来防止这种滥用。如果您跳过这一步，如果您自己动手做，那么这些漏洞就有可能被利用。

它们得到了解决。我只想快速宣传一下我们与 Misinformation 合作发布的博文。关于检测、跟踪、分析并最终破坏统计学家使用这些 AI 工具的情况。它将数据带入一个经常被推测的领域，即这些人将如何使用这些工具。我们知道这仅仅是个开始，决策者将……我们认为，通过提高透明度，这有助于阐明这一点，我们不仅确保了我们正在采取的行动，而且还可以帮助社区和其他像我们这样的公司预测并最终破坏威胁。

我想谈谈这两点。推理窃取，以及黑市滥用和误用以及越狱的销售。但关于第一点，从推理窃取的角度来看，补充一下 Jason 在他那里观察到的情况，以及在国家层面也强调了这一点，这些都是我们从滥用角度看到的。

我们一直在思考如何识别合法流量，特别是针对我们的客户，以便能够识别可能不符合其平台上或其技术实施中应该发生的此类案例的某些内容。因此，我们有一些方法可以识别这种滥用行为，但这并不完美。这是我们在几种不同的环境中都看到的一个有趣的事情。

现在，在黑市方面，有一些被破解的模型被出售。是的，我们也看到了很多这样的情况。我们看到了SM。

由被破解的模型支持的服务，以提供某种海军服务来做某事。我们还看到了一些网络应用程序，这些应用程序也被针对特定模型的破解所利用，允许对手执行某些操作。然后还有基于这些内容的服务替代，这也是一件非常重要的事情。

在更复杂的事情方面，我们还看到被破解的模型也被用于支持进攻性网络行动。我们一直在与威胁情报小组密切合作，以了解对手试图如何滥用我们的模型。所以我们看到了这两方面的事情。真的。

我认为看到这些不同的层次如何结合在一起非常引人入胜，对吧？你有一些人使用AI来潜在地发现这些被破解的模型。AI的使用在进攻和防御中都发挥着作用。

我们谈到了你们三位参与构建这些基础模型的人。我们还谈到了他们自己企业内部的人。我很想听听你们的意见。

你们对消费者有什么建议吗？我们所有人，最终都会成为这项技术的消费者。是否有任何变化？你们有什么智慧之言想分享，关于日常使用这项技术的人如何看待未来的安全问题？

这里有很多话要说。作为一个消费者，我年纪足够大，还记得90年代初的城市。

你根本不需要知道文字处理器是什么就能做办公室工作。到了90年代末，你必须使用文字处理器才能被雇佣。我认为同样的事情也会发生在提示工程上。

我认为每个人都需要了解如何使用AI并提示它，以帮助他们更好地完成工作。想想绩效评估、撰写报告、总结或OKR更新等等，无论你担任什么角色，每个人都必须做这些事情。

成为这些方面的专家将非常重要。我认为，从个人的角度来看，每个人都需要对他们在网上看到的内容以及收件箱中收到的内容更加怀疑。所以，无论你是谁，无论你担任什么角色，当你看到一封看起来很真实的电子邮件，似乎好得令人难以置信时，请再问自己一个问题。如果这看起来不像应该发给你的东西，也许在回复可能来自某个地方的东西之前，三思而后行。

来自僵尸网络。因此，对于消费者来说，我无法过分强调现在这个领域创新的速度。因此，我希望所有收听节目的听众都能理解，这项技术、这些模型以及将这些模型应用于重要问题的能力，

所有这些都将迅速改进。正如GPT-3在其时代具有深远的影响一样，GPT-4与之相比，让它看起来像是一个科学项目。因此，作为一个消费者，我鼓励你们首先要好奇，也要灵活，要开放思想，准备好改变你们的假设，因为这项技术将不断改进。

我完全同意刚才所说的一切。事情会改变，但事情总是会改变。我不记得在我从事科技的五年时间里，每年都没有出现新的东西。

我觉得我必须随时了解这些变化是什么。所以，事情在变化，但我们有能力应对。我们作为行业正在承担责任。

我们在进行这些改变时，将安全放在首位。但是，美国消费者确实有机会利用这项新技术，从而提高生产力，而且它将在未来几年发生巨大的变化。我认为还有一件事我们没有谈到，现在提到这一点非常重要，那就是与缩放定律相关的。

如果你在IT行业，并且你并不一定在AI行业，我们之前在这个播客中讨论的所有关于漏洞发现以及使用模型作为攻击平台的内容，特别是来自各种参与者的内容，都将改变补丁的格局。因此，如果你是一个消费者或IT专业人员，在补丁可用后的第二天就发布补丁，这将是我们真正需要考虑的事情。一旦你在电脑上看到有更新可用，不要等待，现在就开始养成安装这些补丁的习惯，因为在我们知道漏洞存在时对漏洞做出反应非常重要。

以及世界各地的公司生产消费产品。他们对新的国家威胁或新发现的漏洞做出回应。我们正在负责任地这样做，正如我所说，在防御方面。

我们需要尽快发布这些补丁。所以请尽快安装这些补丁。尽快安装。

我认为就像歌里唱的那样，对吧，我们才刚刚开始。人们总是喜欢说我们正处于第二次工业革命中，但你实际上可以看到第二次工业革命的开始。这将是科技史上最激动人心的时刻。

我不是一个容易兴奋的人。我是一个安全人员，从这一点来看，我很兴奋。然后你可以想象接下来会发生什么。

是的。也许再补充一点。我非常兴奋。这项技术正在以多种方式迅速发展，我们认为它将能够为我们作为技术的消费者带来巨大的价值，而且对于企业来说也是如此。特别是我们三个，Matt、JC和我，正在认真思考责任方面，以安全、负责任的方式将这项技术交付到消费者手中，并试图领先一步，密切关注对手如何使用这类技术，并通过深入研究和开发来更好地了解这项技术如何被滥用。

并走在缓解措施的前面，以确保随着IT在行业和社会中部署和传播，我们开始越来越信任这项技术的地方，我们也能够开始看到这项技术在日常生活中带来的好处，我认为人们应该对它的采用持开放和积极的态度。并考虑这项技术能够在你的日常生活中为你带来哪些具体的好处，无论是访问你的日历、你的手机或你的电子邮件，还是你与同事互动的方式。这些技术将对我们所有人产生巨大的影响和作用。

我们很高兴能一起努力。真的非常积极。好的。

感谢你们帮助构建这些技术。我只能再补充一点，说明事情发展得多么迅速。每当我们制作AI节目时，感觉就像我们必须快速编辑这些节目，因为事情发展得太快，我们不能等太久。有些内容可能会过期。所以我很高兴能发布这一集。我喜欢你们真的像你们说的那样，参与构建这些模型，Vijay，并将它们交付给消费者。

如果你喜欢这一集，如果你听完了，请帮助我们宣传这个节目，与朋友分享。或者，如果你很有雄心，你可以在latestpodcast.com上给我们留下评论。制作播客有时会让人感觉像是在对着虚空说话。所以，如果你喜欢这一集，如果你喜欢任何内容，请让我们知道。下次再见。