We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Chatbot Confidential: When AI at Work Is Risky Business

Chatbot Confidential: When AI at Work Is Risky Business

2025/4/6
logo of podcast WSJ Tech News Briefing

WSJ Tech News Briefing

AI Deep Dive AI Chapters Transcript
People
K
Kathy Kay
N
Nicole Nguyen
S
Stephen Rosenbush
Topics
Ashraf Zayed 和 Ian Yang:我们日常工作中使用AI聊天机器人,用于工程、建模和仿真等专业任务,以及一些个人用途,例如给孩子讲故事。 Nicole Nguyen:本期节目探讨了在工作中使用生成式AI聊天机器人(如ChatGPT和Claude)时如何保护隐私和数据安全。越来越多的员工在工作中使用AI,但同时也带来了风险。 Stephen Rosenbush:大型语言模型(LLM)存在两种主要的安全风险:数据泄露(outbound)和导入恶意软件(inbound)。公司需要关注这些风险,因为技术发展速度快于政策制定速度。LLM的风险类似于云计算早期阶段,需要建立共享责任模型,但目前公司承担了大部分责任。 Kathy Kay:我们公司已经限制了公共聊天机器人的使用,员工需要获得批准并接受培训才能使用。我们也使用自己的内部聊天机器人,并追踪员工与外部机器人的互动。如果发生数据泄露,我们有应急预案来处理。重要的是要创造一个安全的环境,让员工尝试使用这些新技术,并从中学习。 Nicole Nguyen: 生成式AI工具的兴起给企业带来了新的挑战。员工很容易无意中泄露公司机密信息,例如三星和苹果公司已经发生的案例。公司需要制定相应的策略来管理员工对这些工具的使用,包括制定使用流程、进行员工培训以及建立责任追究机制。

Deep Dive

Chapters
Generative AI's integration into the workplace is rapidly changing how tasks are performed. The use of AI chatbots for various professional and personal tasks is increasing, raising concerns about data privacy and security. This episode explores the risks and benefits of using AI tools in the workplace.
  • Increased use of AI chatbots in the workplace (doubled in a year)
  • Common uses: research, writing emails, presentations
  • Growing awareness of AI's potential for data breaches and security risks

Shownotes Transcript

可以肯定地说,自从生成式人工智能出现后,工作将永远不会再像以前那样了。

人们已经将人工智能聊天机器人用于各种任务。我每天都用它来进行工程设计、建模和仿真,这正是我工作的一部分。有时也会用于一些有趣的事情,比如,在开车的时候给我的儿子讲故事,让他忙起来。

他们是《华尔街日报》的读者阿什拉夫·扎耶德和伊恩·杨。

我是个人技术专栏作家妮可·阮。今天,我们将为您带来我们特别科技新闻简报系列“聊天机器人机密”的第二部分,我们将探讨在使用 ChatGPT 和 Claude 等生成式人工智能聊天机器人时,是否有可能保护您的隐私并确保您的个人数据安全。在本集中,我们将深入探讨一个非常容易让人想要使用生成式人工智能工具的领域。

工作。我们将为您详细介绍您这位新助手带来的风险,以及如何在使用它们时不泄露公司机密。在我们深入探讨之前,快速提醒一下,我们想听听您的意见。您对使用人工智能和隐私方面是否有疑问?请发送语音备忘录至 [email protected],或致电 212-416-2236 留下语音留言。

再说一次,号码是 212-416-2236。我将在未来的剧集中回答您的问题。好的,回到节目。ChatGPT 首次出现后,许多公司迅速禁止使用该聊天机器人。然而,皮尤研究中心的数据显示,2024 年,五分之一的美国员工表示他们在工作中使用了 ChatGPT。这比前一年翻了一番多。

这很容易理解。聊天机器人可以承担您的一些工作,从而节省您的时间,最常见的用例包括研究、撰写邮件草稿和创建演示文稿。在我们开始之前,《新闻集团》(《华尔街日报》和道琼斯新闻通讯社的所有者)与 Chachibee 团队制造商 OpenAI 签订了内容许可协议。

另一项皮尤调查发现,大约 16% 的受访者表示他们至少使用人工智能完成部分工作。四分之一的受访者表示,虽然他们现在使用不多,但他们至少可以利用人工智能完成部分工作。因此,随着人工智能在工作场所的使用越来越普遍,员工及其雇主在使用这些大型语言模型 (LLM) 时应注意哪些风险?

斯蒂芬·罗森布什是《华尔街日报》专业版企业技术部门的负责人。

公司非常熟悉某种类型的 LLM 风险。他们熟悉这样的想法:LLM 可能会以令人信服的方式做出错误的决定,它们可能会产生幻觉,它们可能会存在某种偏见。但他们并没有太关注 LLM 可能会构成实际网络安全威胁这一想法。安全专家对这种威胁有两个名称。

外向型,即数据泄露;内向型,即生成受损代码或推荐恶意软件。斯蒂芬解释说,外向型威胁比较常见。这是一种网络安全威胁,存在数据泄露的风险,无论是故意还是无意。

2023 年 3 月,ChatGPT 中的一个错误允许一些用户看到其他人最初在其聊天中输入的内容。OpenAI 还表示,用户的姓名、电子邮件地址和支付信息被泄露。OpenAI 表示,它致力于保护用户隐私和数据安全。

但也存在内向型威胁,公司可能面临的风险不仅是导入受损数据,还可能通过 LIM 导入实际受损软件。斯蒂芬表示,此类威胁势必会增加,尤其是在越来越多的生成式人工智能工具涌入市场的情况下。由于这项技术还很新,技术进步的速度远远快于政府制定政策的速度,因此大多数公司至少目前只能靠自己。

这让我想起了云计算的早期阶段,当时许多公司正在迁移到云端,他们并没有真正充分认识到系统中隐藏的风险。需要完成大量的技术工作。他们没有真正的可见性,他们也不真正了解云提供商负责什么,他们自己负责什么。

并确保每个人都遵守这一约定。因此,我认为随着时间的推移,在 LLM 方面,我们将看到类似的共享责任模式形成。现在,假设拨盘,公司本身承担的份额

非常接近 100%。——而且,风险还在放大,公司由数百人,有时甚至是数千人组成。因此,潜在的故障点比比皆是。那么,当员工使用新的在线工具时,谁有责任确保公司不会面临风险呢?休息回来后,我们将听取一位首席信息官关于她如何处理在其工作场所使用生成式人工智能的看法。休息一下,我们马上回来。

凭借领先的网络和连接能力、先进的网络安全和专家合作,Comcast Business 有助于将当今的企业转变为现代商业的引擎。驱动现代商业的引擎。驱动可能性。适用限制。自从 ChatGPT 和其他生成式人工智能工具出现以来,公司安全主管不得不找出如何减轻风险的方法。而且,他们担心的不仅仅是网络入侵。

生成式人工智能带来了一种独特的挑战:员工很容易无意中泄露公司机密,例如机密信息或专有信息。这种情况已经发生过。据彭博社报道,三星在一名工程师意外将敏感的内部源代码泄露给 ChatGPT 后,禁止使用 ChatGPT 和其他人工智能驱动的聊天机器人。

《华尔街日报》报道称,苹果公司在其开发类似技术时,已限制部分员工使用外部人工智能工具。该报看到的文档显示,这家 iPhone 制造商担心员工可能会泄露机密数据。那么,公司领导者是如何解决这个问题的呢?

凯西·凯是全球金融公司 Principal Financial Group 的首席信息官。我们实际上已经锁定了任何公共聊天机器人。如果有人想使用它们,我们有一个完整的流程,会询问他们的业务理由是什么?然后需要批准。他们必须参加快速培训。他们的领导也必须参加培训。凯说,他们还签署了协议,以便在公司使用企业技术。

比如他们自己的聊天机器人。我们称之为页面,人们可以使用它,它提供了很多保护措施,以确保只有他们才能利用他们可以访问的数据,诸如此类。对于那些确实使用外部工具的人,我们会跟踪他们与外部机器人的互动。因此,一些老板可以看到你在公司设备上输入的所有内容。但是他们会看吗?这是另一个时间讨论的话题。

上传客户合同、撰写内部电子邮件、使用未公开的财务数据生成图表。如果这些数据被泄露或作为模型交易数据集的一部分被吸收,让未经授权的机器人执行任何这些操作都可能使你和你的公司陷入困境。

凯说,如果公司机密确实泄露,就会有一个系统来处理后续影响。我们有一整套方案,说明我们应该立即联系谁?我们如何评估其影响?客户是否受到影响?但她表示,对公司来说,最好的保险措施是使用新技术,培训员工并信任员工。对于任何新技术,

你必须找到安全地允许员工尝试这些方法的方法,对吧?因为如果不是这样,如果你让他们很难尝试这些事情,他们就会绕过所有障碍犯错,对吧?所以我的理念是,我该如何为员工创造一个安全的环境来尝试这些事情,这样他们才能学习,我们才能

想出新的使用方法。正如凯所建议的那样,人们将继续想出使用这些工具的新方法,例如获得医疗建议。下周,我们将告诉您如何在个人生活中使用聊天机器人,特别是健康方面,以及如何在不危及隐私的情况下做到这一点。这就是本期科技新闻简报特别系列“聊天机器人机密”的全部内容。

今天的节目由朱莉·张制作。我是你的主持人妮可·阮。我们得到了威尔逊·罗斯曼和凯瑟琳·米尔索普的额外支持。香农·马霍尼混音了这一集。我们的开发制作人是艾莎·阿尔穆斯林。斯科特·萨洛韦和克里斯·津斯利是副编辑。法拉娜·帕特森是《华尔街日报》新闻音频主管。感谢收听。

凭借领先的网络和连接能力、先进的网络安全和专家合作,Comcast Business 有助于将当今的企业转变为现代商业的引擎。驱动现代商业的引擎。驱动可能性。适用限制。