AI and Safety: How Responsible Tech Leaders Build Trustworthy Systems (National Safety Month Special)
31:08 Share

为了纪念国家安全月，本期AI与未来工作特别合辑节目汇集了与四位思想领袖的精彩对话，他们专注于设计能够保护用户、防止危害并促进信任的AI系统。 特邀嘉宾：Silvio Savarese（Salesforce执行副总裁兼首席科学家）- 完整对话请点击此处收听：https://www.buzzsprout.com/520474/episodes/15548310Navindra Yadav（Theom联合创始人兼首席执行官）- 完整对话请点击此处收听：https://www.buzzsprout.com/520474/episodes/12370356Eric Siegel（Gooder AI首席执行官兼作家）- 完整对话请点击此处收听：https://www.buzzsprout.com/520474/episodes/14464391Ben Kus（Box首席技术官）- 完整对话请点击此处收听：https://www.buzzsprout.com/520474/episodes/14789034✅ 你将学到什么： 设计AI时如何兼顾安全、透明和人工监督 领先企业如何大规模开展负责任的AI开发 数据隐私和权限对安全AI部署至关重要 如何检测和减轻预测模型中的偏差 负责任的AI需要如何在速度和长期影响之间取得平衡 信任、可解释性和合规性如何塑造企业AI的未来 资源 订阅AI与未来工作通讯：https://aiandwork.beehiiv.com/subscribe 其他特别合辑节目 招聘中的道德AI：如何在构建更公平的未来工作的同时保持合规（人力资源日特别节目） 数据隐私日特别节目：AI、深度伪造和信任的未来 AI伦理的未来特别节目：女性AI领导者对偏差、问责制和信任的看法 世界卫生日特别节目：AI如何使医疗保健更智能、更经济、更人性化</context> <raw_text>0 这里是来自“AI与未来工作”的Dan Turchin。欢迎收听本月重点节目，节目中四位优秀的往期嘉宾将讨论AI安全问题。正如您所知，我们正在使用11 Labs为这些特别节目数字化我的声音。 真实的我批准了内容，当然也批准了数字分身。请在评论中告诉我您的想法。♪

欢迎收听本期AI与未来工作国家安全月特别节目，国家安全月每年六月举行。国家安全月提醒我们，创造安全的工作场所是共同的责任。对于我们这些构建AI系统的人来说，这是一个反思技术如何降低风险而不是增加风险的时刻。您将听到四位优秀的往期嘉宾Silvio Savarese、Navendra Yadav、Ben Kaz和Eric Siegel的真知灼见，

他们每个人都对AI如何帮助人性化工作以及保护其数据中的员工提供了独特的视角。让我们从大型组织如何大规模地处理AI安全问题开始。

我们的第一位嘉宾是Salesforce执行副总裁兼首席科学家Silvio Savarese。他领导着专注于构建优先考虑隐私、安全和负责任创新的可信赖系统的AI研究。倾听他解释Salesforce如何构建其研究工作，以确保AI开发即使在高度复杂的环境中也能与核心安全原则保持一致。

我们在为人类设计AI时考虑到的另一件事是，可能出现哪些可能产生意外后果并可能危害人类的方式。有时我们会谈论，你知道，AI的伦理以及

非常清楚地了解可能出现的问题以及它可能如何影响最终用户，您或您的团队对负责任地使用AI意味着什么的看法是什么？简而言之，这意味着我们希望使用您想要构建的

安全供用户使用的AI。这是简短的答案。较长的答案是，我们希望确保AI符合我们定义的信任AI原则。这实际上是我们与我们的合作伙伴伦理团队、Paula Goldman和其他Salesforce合作者一起开展的工作。

我们密切合作，了解指导安全AI、可信赖AI的最重要原则是什么。其中一些原则包括，首先是准确性。因此，提供可验证的结果，这些结果可以是平衡的、准确的、精确的，

这些模型的召回率。这非常重要。这对企业来说非常重要，因为在企业层面，你实际上承受不起错误。因此，如果您想生成一封宣传某种产品的电子邮件，您不想提供有关该产品的错误信息，对吧？因此它必须是事实正确的。这非常重要。第二点是关于安全性的。混合。

尽一切努力减轻偏见、毒性以及任何类型的有害输出。这需要幕后进行大量工作，以进行偏差、可解释性和稳健性评估。这也是红队非常重要的阶段。

保护在内容生成过程中可能泄露的任何信息的隐私也同样重要。这在生成式AI中尤其如此，因为我们不知道可以生成什么样的内容，以及我们在训练过程中注入的数据绝对不能包含任何关于用户或客户的私人信息。

还有一个即时透明度方面。因此，在收集数据以训练和评估模型时，我们需要尊重数据来源，确保我们有权使用数据。因此，对于客户，您知道，我们绝对确保我们首先，

默认情况下，我们不使用任何客户数据来训练构建模型，Benioff 一直在说，客户数据不是我们的产品，这是我们非常重视的事情，在某些情况下，我们会与客户进行试点，在这种情况下，客户可以选择共享一些数据，但我们确实确保这些数据永远不会用于训练模型，因为我们永远不知道这个旅程模型会吐出什么

我们称之为反刍。这不是一个非常诱人的词，但它实际上使概念清晰明了。因此，将先前的数据反刍回生成式AI的输出。

此外，我们关心赋权，认识到AI应该在哪些情况下扮演支持人类的角色，增强人类的能力，在需要额外帮助、额外支持的情况下帮助人类。最后是可持续性。这也恰好是Salesforce的价值观之一，但我们努力构建的模型不仅准确，而且有机会减少或包含碳足迹。太好了。

完全没有请求的赞美，但在AI客户安全方面，Salesforce遥遥领先。一个非常好的模型。我鼓励，我们可以在节目说明中添加一个链接，但Einstein Trust层为如何思考这些问题奠定了非常好的、非常成熟的框架。我喜欢你对Benioff的评论，客户数据不是我们的产品。

但是通过Einstein，您可以让客户，我不知道是通过rag技术还是微调模型等等，但是您可以让他们引入他们自己的数据，他们显然不能与其他租户共享。我的问题是，AI优先供应商如今面临的挑战之一是，当出现问题时，可能会发生很多可信的相互指责。

客户说，Salesforce，我相信你不会让模型无论如何，产生幻觉，引入偏差等等。供应商，当然不是指着Salesforce，但你可以可信地说，我们拥有平台，我们拥有算法。我们告诉过你如何使用它，但你引入了编码了偏差的数据。

每个人都在指责，但最终是最终用户、客户等等，最终成为这些有偏差的结果的不幸结果的承担者。当各方都有合理的否认理由时，您如何看待谁应该承担最终责任？

是的，这是一个很好的观点。但我认为区分消费者领域和企业领域很重要。因此，实际上是在这两个方面之间建立了界限，尽管当然这两个领域之间也有一些重叠的领域。但问题是，到目前为止，大多数已部署的大型语言模型都非常流行，并且已被开发。

专门用于消费者领域应用，例如，您知道，用于伴侣AI或作为助手，让我写一篇论文，让我从网络上查找此类信息，给我一个简短的摘要，所以这是您知道，帮助消费者执行某些任务，使他们更高效、更有效率

在这种情况下，大型语言模型需要吸收大量信息，因为为了从一项任务转移到另一项任务，为了从文学到莎士比亚到科学，

到如何种植盆景，你需要拥有这个星球上所有可能的知识。通常，这些知识来自互联网。这就是这些大型语言模型的训练方式。因此，从互联网数据中，其中一些数据可能受某些版权法的约束，这导致了一些问题，一些法律问题。有些可能包含一些偏见。其他一些可能包含一些毒性。因此，归根结底，当所有数据都被输入模型时，很难控制输出是什么。

在企业领域，需求不同，对吧？你需要，你有一个非常具体的用例情况。用例非常具体。任务是具体的。领域可以是具体的，对吧？你在CRM中操作，在金融服务中操作，在医疗保健中操作。因此，您不必在一个模型中包含所有可能的领域。因此，有机会构建更专业的模型，实际上，它比那些大型、庞大的模型要小得多，你知道，

你知道，巨大的大型语言模型。当您构建较小的模型时，您还可以更好地控制训练中使用的数据。因此，您仍然希望拥有这种对话能力，这很重要，因为这使得这些模型、这种生成式AI在实践中有效，这种与AI对话的能力是新的，这是我们在过去几年中看到的新的突破。但在某些时候，我们对模型的预期输出可以是，可以是，

与特定任务保持一致。在这种情况下，您可以使用更小的模型，我们可以使用更受控制的数据来训练这些模型。因此，这使我们能够减少幻觉、减少毒性、减少偏差，并使模型与客户的期望保持一致。在隐私方面，这实际上是一个不同的故事。因此，我们从未使用任何客户数据来训练模型。

iCityTelnet 1平台中Trust Layer的工作方式是，所有客户信息都位于Data Cloud中，这是我们自己的数据平台，我们的基础设施平台。当有提示时，当需要注入一些信息、个人信息、私人信息时，这些信息来自Data Cloud并添加到提示中。

并且通过接地、通过拖动、通过这些其他技术，它允许我们到达提示。

然后这被输入模型。模型没有零保留，因此它不会保留任何输入模型的信息或数据。它更像是一个水龙头，所有的水都流向水龙头，模型唯一做的就是调节模型的流量，但水龙头不会留住水，对吧？所以所有的水都流过去了。这里也是一样，通过我们与外部供应商或我们自己的模型建立的这些策略，

数据不会停留在模型中，不会将其用于训练。因此，没有风险将我们提示的数据用于训练。然后这使我们能够保护隐私、机密性，最终在模型产生输出后，还有一个层检查毒性、偏差和幻觉。有一些非常重要的途径和方法可以让我们评估信心

模型说：“好的，我认为这是答案，但我不知道百分比是多少。在这种情况下，我需要额外的人工验证来评估输出的质量。”因此，这些是我们为尽可能减轻这些问题而采取的一些步骤。Silvio强调了企业AI中信任和透明度的重要性。数据泄露在国家安全月危害中排名很高。

让我们向专家学习AI如何防止数据泄露。Navendra Yadav是FIOM的首席执行官兼创始人。他的团队使用AI来保护敏感数据在其存在的地方。在本片段中，他解释了自然语言处理如何帮助检测个人信息、评估其价值并阻止未经授权的访问。您和团队迄今为止解决的最难的问题是什么？

首先也是最难的是这是一个范式转变，因为现在我们正在保护数据无论数据存在于何处。那么，如何在不让人们担心“哦，现在我的数据内部运行着一些引擎”的情况下，随着数据一起移动到这些数据存储中的每一个呢？

数据存储。因此，在不让人们安装代理或任何其他东西的情况下实现这一点的整个技术挑战是最大的技术挑战。Theom构建的大量IP都位于此处。

第二件事是如何以经济高效的方式做到这一点，因为现在我们正在抓取客户环境中的所有数据。一切都在客户那里。所以可以把它想象成谷歌为企业构建的，但在企业内部运行，因为它必须抓取并弄清楚，好吧，数据发生了什么等等。

是的，这是最难的技术挑战。第一个是在数据所在的位置运行它，这样我们就不会被绕过。第二部分是关于维持成本结构，并且没有数据离开客户的环境。我在介绍中提到了为数据分配关键性分数。这是客户手动执行还是半自动化或全自动化？

它是全自动化的。因此，这些爬虫基本上所做的，或者这种分析基本上所做的，是它对数据进行分类，弄清楚这部分数据，它将其分解成小的标记，并弄清楚，好吧，这个标记映射到什么。例如，一个非常简单的玩具示例是，这是一个信用卡号码，或者这是社会安全号码，或者这是特定于医疗保健行业或特定于金融行业的东西，或者这是一个交易模式等等。

根据行业垂直领域的不同，我们自动默认为此项目的关键性应该是什么。此外，Theom还对数据的美元价值进行了估算。因此，我们查看暗网

呃，看看攻击者实际上愿意为这些数据支付多少钱，这些数据实际上交易的价格是多少等等，因此构成了tm的定价信息的基础，因此tm现在开始为不同的资产附加美元价值，这是我们对数据的最低估算，并告诉客户，好吧，这是

至少我们认为您在此特定存储中的数据价值是多少，而且客户可以驱动他们自己的api，并使其更我们的api，并使用更多自定义信息来驱动我们的api，然后我们可以更适当地为他们的环境定价，因此，我们向人们公开的是数据的关键性和数据的财务价值

有趣的是，现在CIO知道他们应该为不同的存储购买哪些网络保险。他们的保险不足吗？他们的保险过剩吗？这导致了从那里开始的所有那些有趣的对话。

能够识别或基本上标记数据（基于它是否是正则表达式或类似的东西）以确定它是否是信用卡号码、生日、地址或电话号码等，整个公司都在这样做。

带我们了解一下，我的意思是，我已经花了一些时间在这个问题上。我的意思是，当你考虑到跨越地理位置时，这实际上是一个非常难解决的问题，你知道，有很多复杂的参数。在我们将数据的值考虑在内之前，准确地为其分配标签的能力有多成熟？

很棒的话题或观点，我们在我们的……我们正在使用与chat gpt和其他……鸟类转换器等等相同的技术或类似的技术，因此我们正在使用这些除了正则表达式和事物之外，正则表达式对于某些类型的问题来说很好很便宜……我们所做的是将NLP引入这个等式，我们试图查看数据的上下文，例如有人说

我的SSNR的最后四位数字或我的社会保障号码的最后四位数字或其他东西。所以现在当你看到那个上下文时，你会看到四个数字。你知道这是社会安全号码，因为字符串的上下文或这个非结构化数据说了些什么。因此，我们让我们的NLP引擎检测到这样的事情。因此，无论他们在哪里拾取东西，它都取决于您的训练集以及它们都被精心制作的程度。这是一个。

我们实际上还做了一些其他事情，每当我们发现诸如信用卡或ISIN之类的经典示例时，我们都会对其进行土地检查。因此，在这个行业中，有一些CRC检查器可以对数据进行语义分析，然后我们说，好的，

这确实是一个有效的信用卡号码，因为它通过了这个特定的午餐检查等等，我们将其输入，因此我们在甚至将任何事物报告为某个实体之前执行了大量缓解措施，所有这一切实际上都是为了减少误报，是否存在零误报？不，据我所知，没有这样的技术存在，或者……存在，它

这始终是改进训练集的游戏，以便提出更好的论点。每当我们看到有人告诉我们，好的，你已经错误标记了这个，强化学习就会发生在我们的引擎中。因此，我们从那里获取并从中学习。这就是我们目前所处的位置。因此，误报的成本可能是您对数据价值的财务评估可能错误。这是正确的。因为你最终会分配，对吧？

我更多的是在考虑误报的成本。如果存在，比如说，你没有识别的财务数据，那可能会造成更大的损害。宾果。这正是我想说的。对不起，我打断了你。但是是的，误报是我的担忧。当他们有某些东西时

非常敏感，而我们没有将其归类为非常敏感，这就是围绕它的风险，因此我们在其周围设置了许多防护措施，这就是它进入我们的系统以尝试减少误报和误报的地方，这完全是关于精确度和召回率，这仍然是不断改进产品并从中学习的游戏

我们已经探讨了AI如何保护数据和防止系统故障。但是，当模型本身引入风险时会发生什么？认识一下预测分析世界创始人兼《AI手册》作者Eric Siegel。他一生都在研究AI在高风险决策中的意外后果。在本部分中，他解释了为什么预测模型通常会反映人类的偏见，以及为什么必须从第一天起就融入透明性和公平性。

了解AI防护栏如何将风险转化为弹性。我的伦理担忧在于预测领域，这是我职业生涯的主要关注点。它与民权有关。该模型是否做出了歧视性决定？因为所有这些运营决策它所驱动的都可能产生非常严重的后果。它不仅仅是优化业务和数字运算。

它管理着一个根据个人基础进行预测的模型，这本质上是一种小型策略，然后要么直接告知，要么成为决定性因素，或者在某些情况下，正如我所讨论的那样，自动化决策。如果它做出的决定基于受保护的类别（如种族或宗教、种族）进行歧视，或者显示某种偏见，人们称之为机器偏见，有一篇著名的ProPublica文章名为“机器偏见”，经常被引用，其中代价高昂的错误，以及模型将犯错误，就像人类一样。只是希望它犯的错误更少。它不是魔球。

但是，如果代价高昂的错误（例如，最终使某人被监禁更长时间或拒绝其信用或住房）对某些弱势受保护群体或种族群体的发生频率成比例地高于其他群体……

然后其他，你知道，从一个群体到另一个群体，这是一个非常严重的公民自由问题。所以我实际上对此非常感兴趣，在《旧金山纪事报》和《科学美国人》博客上写了很多专栏文章。我把它们都放在一起。大约有12篇专栏文章。如果有人想阅读我的作品，我把它们都放在civilrightsdata.com上。我们将在节目说明中添加链接。我经常说的一件事是，AI和机器学习模型

完美地设计用于复制人类的偏见。当我从那些对AI模型可能造成的潜在危害要么天真无知，要么选择视而不见的人那里说出这句话时，许多人的眉毛都会扬起来。

作为一名数据科学家，您对如何减轻人类偏见渗入这些模型的影响的看法是什么，鉴于正如您所说，它们可以做出

对例如谁死、谁活、谁获得贷款、谁接受教育等对人们生活产生巨大影响的预测。这是我痴迷于这个领域的核心问题。我认为你说它完美地设计用于复制人类偏见的说法是正确的。但是，猜猜看？这算是个好消息。请听我说。

通过将其摆在桌面上，量化并重点关注它究竟是什么，您所看到的是对由于现状而持续存在的不公正现象的量化。将某些群体置于比其他群体更不利地位的历史不平等。现在，例如，它体现在成比例的关系中

这些我提到的代价高昂的错误的比率。用技术术语来说，我们谈论的是……

误报率，它说，哦，这个人再次犯罪的高风险如果我们释放他们出狱。这个人有很高的风险无法偿还贷款。如果这些预测是错误的，则称为误报或误报。如果一个群体的误报率高于另一个群体。因此，通过量化，重点关注它，那么现在，与其让一群人在里面做

人的头脑，你可以看到我头上的视频，我知道我们这里不会有视频，但是我的头是最终的黑匣子，对吧？我们无法看到彼此的思想或大脑是什么

我们可以做的是量化当存在这种透明度时会发生什么。尽管模型在某种程度上可能不透明，但我们确实具有透明度，因为我们可以记录它们的活动。因此，这为我们提供了调整这些不平等并实际上以模型部署的方式实施社会正义的机会。现在，

不幸的是，这确实打开了一个潘多拉魔盒。本质上，调整误报率差异的方式类似于平权行动。

我支持平权行动。我认为误报率的差异是历史不公正的体现。我认为有机会进行调整，但这样做意味着重新引入受保护的类别。因此，总的来说，该模型在不直接根据种族做出决定方面可能是盲目的，例如。

但是您确实需要重新引入受保护的类别，就像平权行动一样，以进行调整。因此，它并没有消除当今围绕该主题的极化政治辩论，但至少它有助于我们更具体地了解问题是什么以及我们可能对此做些什么。我们已经了解了预测模型如何放大人类偏见。

现在让我们看看构建安全、合规且有用的企业AI系统意味着什么。Ben Kaz是Box的首席技术官。在本部分中，他分享了他的团队如何构建尊重客户信任、避免数据泄露并优先考虑长期价值而不是炒作的AI功能。您将听到为什么速度本身还不够。真正的影响来自尽早发现故障点并知道何时放慢速度，

在这个播客中，我们经常讨论未来工作，以及负责任地实践AI意味着什么。在您所坐的座位上，我想您一直在思考可能的艺术，但也许受到限制。

不仅是我们能做什么，而且是我们应该做什么。负责任的AI对您来说究竟意味着什么？对我来说，这个词是一个很大且非常重要的词，负责任的AI。但就它对我和我在Box的工作的意义而言，作为AI的主要用户之一，对我们来说，关键的一点是确保内容云所在的位置。我们拥有数十万客户。我们有，你知道，

数千亿个文件。我们拥有数百 PB 的数据，我们被信任来保存这些组织中一些最有价值的数据，并确保其安全，确保其安全，确保其正确使用。这是我们所做一切的基础。但是，当您向其中添加AI时，您只会遇到这些非常大的问题，这些非常困难的问题，例如，这将如何运作？我认为许多并非专注于企业应用的人有时会错过这个想法，即权限……

确实至关重要，有时也很难。例如，假设您拥有AI，并且它可以访问您所有员工的数据。

它可以访问您所有财务数据，包括即将发布的收益报告。假设您可以访问您正在进行的即将进行的并购交易。当有人开始向AI提问时会发生什么？我们已经看到有人自己构建东西，或者规模较小的公司。他们有时只是忘记了这个非常关键的点，即贵公司中的每个人都可以访问不同的东西，而AI需要对此做出回应。这可能很难。您不能只训练一个模型并期望它能够弄清楚这一点。

因此，对我们来说，当我们考虑负责任地实践AI时，首先要确保它是安全可靠的，并且尊重权限。我们使用这个术语“企业级”，这是其中很大一部分。企业，在许多情况下，我们与之交谈的客户对AI非常兴奋，他们也对AI非常害怕。

因为这些挑战。它太新了，以至于技术就像，甚至公司也大相径庭。因此，您必须确保您专注于，例如，您不希望您的AI成为您曾经经历过的最大的数据泄露来源。如果您不小心，就会发生这种情况。现在，在责任方面，就像人们使用它一样，例如，人们处理业务关键流程时面临的挑战之一，以及他们正在考虑，你知道，这，他们拥有的内容在Box和其他地方的工作流程中，我们，我们经常向他们推荐该做什么或不该做什么。即使我们竭尽全力确保您不会，AI不会产生幻觉。它会给你非常准确的答案。其中一个挑战是它会出错。就像每个人一样，没有人应该保证你AI总是正确的。同样，就像没有，这个人总是正确的。而且

因此，有些人，当他们考虑这些类型的决策过程时，例如，我们建议不要使用AI来实际决定事情。

对我们来说，这实际上是我们责任的重要组成部分，就是帮助人们学习如何使用，特别是我们的内容和工作流程。我们告诉人们，比如说，如果某些事情足够重要，一个典型的例子就是，AI可能能够查看简历，并且能够根据你想要从候选人那里获得的信息来提供大量信息。它或许能够告诉你它是否认为这个人很合适。

但是你不应该那样做。你应该让AI为你提取一些关键事实，然后你应该由本人来做决定。在某种程度上，这关乎如何在当前技术状态下负责任地行事，同时也能从这种新技术的生产力以及其他改进工作方式中获益。作为技术人员，我们习惯于只关注事情可能顺利进行的方面，因为我们对新技术感到兴奋。我认为这是几十年来第一次

同样重要的是，我们必须考虑可能出错的地方。

作为一家科技公司的领导者，我只是想知道，你如何看待你所肩负的个人责任，去创造一种文化，在这种文化中，你可能会被认为是在给创新踩刹车，但因为你想将这种文化贯彻下去，你也会宣扬做正确的事情，而不仅仅是做你能做的事情的原则。

我认为这是在一家非常重视客户对我们信任的公司工作的好处之一。我们拥有他们公司一些最重要的事情。所以我们非常重视这一点。对我来说，我们所担心的问题与其说是我们是否会做一些不负责任的事情？这在我们的文化中根深蒂固。我们的关键点之一就是不……

以任何方式造成伤害。只是，你知道，从这个角度来看，我们是企业级的。但另一方面，有时新技术如此创新，如此不同，以至于有时你会停下来，有时你会试图继续做事，而不必考虑这最终会如何。对我来说，这就是AI的一大特点，就像通常你在构建东西并拥有新功能或其他东西时一样，你会进行黑客马拉松，你会想到新的想法，并且

要花很长时间才能得到真正有效且运行良好的东西。而对于AI，比如生成式AI，速度非常快。

你会发现，你几乎将产品开发周期的前60%压缩到一两天内。我认为这有时会让人们感到困惑，因为他们会认为，哦，它快完成了。那么让我们继续前进并完成它吧。而制作真正优秀的AI导向型产品的大量工作围绕着接下来会发生什么。它的质量如何？在极端情况下会发生什么，如果出现问题。它是否真的给了你想要的东西？因此，即使演示看起来很酷，也要继续

继续尝试，试图让它失败，并探索失败的边界。这是因为生成式AI在某种程度上是概率性的。它具有你必须管理的那种挑战。全国安全月提醒我们，AI的进步不仅仅关乎速度。它关乎责任，无论是保护敏感数据、检测偏差还是构建弹性系统。安全必须融入评估和部署AI模型的过程中。

如果这些想法中的任何一个引起了你的共鸣，请收听完整剧集。链接在今天的节目说明中。如果你认识任何需要了解更多关于AI安全知识的人，请将此信息转发给他们，或者在评论中告诉我们。感谢收听本期AI与未来工作特别节目。下次再见，请保持安全，保持好奇。