Dangerous Content Can Be Coaxed From DeepSeek
12:46 Share

中国人工智能应用DeepSeek与其他人工智能相比,更容易被越狱,因此更有可能提供潜在危险的信息。《华尔街日报》记者Sam Schechner与主持人Julie Chang一起,详细介绍了《华尔街日报》和人工智能安全专家测试这款聊天机器人时发现的情况。此外,OpenAI还发布了其最新的推理模型。我们将听取其工程副总裁的介绍,了解推理模型的功能以及公司如何使用其人工智能代理。

了解您的广告选择。访问megaphone.fm/adchoices</context> <raw_text>0 本期节目由Shopify赞助播出。当您将业务切换到Shopify时,忘记选择电商平台的烦恼吧,Shopify是全球电商平台,可在您销售的任何地方为您的销售注入活力。使用Shopify,您将利用与全球领先品牌使用的相同的直观功能、值得信赖的应用程序和强大的分析工具。立即注册,享受每月1美元的试用期,网址为shopify.com/tech(全部小写)。网址为shopify.com/tech。

欢迎收听科技新闻简报。今天是2月13日,星期四。我是《华尔街日报》的Julie Chang。OpenAI发布了其最新的推理模型。我们将听取其工程副总裁的介绍,了解推理模型的功能以及公司如何使用其人工智能代理。

然后,中国人工智能应用DeepSeek与其他人工智能相比,更容易被越狱,因此更有可能提供潜在危险的信息。《华尔街日报》和人工智能安全专家测试了这款聊天机器人,我们将听取我们一位记者的介绍。

首先,OpenAI最近发布了O3 Mini,这是其最新的推理模型,该公司表示,该模型可以比之前的所谓小型语言模型思考和推理更复杂的任务。用户可以在ChatGPT上访问O3 Mini。但是,为什么公司需要能够思考和推理的如此先进的模型呢?

Srinivas Narayanan是OpenAI的工程副总裁。在本周的《华尔街日报》CIO网络峰会上,他与《华尔街日报》记者Bell Lin就此问题进行了更多讨论。以下是他们谈话的一些要点。需要快速说明的是,《华尔街日报》的所有者新闻集团与OpenAI达成了内容许可合作协议。

Srinivas,OpenAI对推理的定义是什么?为什么这对企业很重要?推理从根本上来说,是人工智能系统思考更长时间并解决更复杂问题的能力。如果您问一个人一个非常简单的问题,我们几乎会立即给出答案。如果您问一个难题,

您无法立即给出答案。您可能需要考虑更长的时间。您可能需要推理。从根本上说,人工智能系统能够做到这一点,并承担更复杂的任务,思考更长的时间,

并能够评估自己是否走在正确的轨道上。这就是我们所说的推理。我们今天早些时候讨论过人工智能代理和OpenAI,你们发布了自己的AI代理,其中一个叫做Operator,它可以代表人类使用计算机,另一个叫做Deep Research,它因能够代表人类进行信息研究而引起了广泛关注。

请告诉我们这些代理在你们的客户和使用ChatGPT的人群中是如何使用的。

我举几个例子。有一家公司Oscar Health正在利用它通过推理模型更好地了解患者的预后。您可以将Operator和Deep Research想象成一个基础推理模型。我们最新的模型是O3 Mini。我们从O1开始,然后会继续下去。然后,像Operator和Deep Research这样的东西是在其之上构建的,并且专门用于这些特定任务。

我提到的Oscar Health使用了O1。推理模型也用于生物科学领域。因此,有一家公司正在使用它来更好地估计临床试验结果,然后他们利用这个答案来确定要推出的药物,用于药物研发。伯克利国家实验室有一个令人惊叹的例子,他们正在尝试使用推理模型来了解哪些突变基因可能导致这些罕见疾病的症状,对吧?

是的。因此,这些都是非常强大的例子,说明推理模型正在帮助我们解决这些非常困难和复杂的问题。关于在这个时期从事人工智能工作令人兴奋的地方,我想问一下中国人工智能公司DeepSeek及其自己的推理模型R1的出现。

以及这样一个想法,即所有基础模型都面临着巨大的成本压力,因为据说DeepSeq的R1模型的训练成本只有几百万美元。那么,像DeepSeq的R1这样的模型的发布对你们自己的O1、O3、O3 Mini推理模型意味着什么?你们是否面临价格压力?

DeepSeq表明,实际上,您可以以比我们之前推出的当前一代模型更经济有效的方式获得一个良好的模型。但我认为这只是技术趋势的一个体现。如果您看看我们自己的模型,

在过去的几年里,GPT-4模型的价格在短短几年内下降了150倍。他们证明了这一趋势将继续下去,你们和其它公司也可能会这样做。这是OpenAI工程副总裁Srinivas Narayanan在本周《华尔街日报》CIO网络峰会上与《华尔街日报》记者Bell Lin的谈话。您可以在YouTube上观看完整的聊天记录,搜索我们的WSJ新闻频道。我们还将在节目说明中添加链接。

接下来,人工智能安全专家和《华尔街日报》进行的测试揭示了关于中国人工智能应用DeepSeek的内容。广告之后马上回来。本期节目由Nerds Gummy Clusters赞助播出,这是一种总是能提升氛围的甜蜜零食。Nerds Gummy Clusters将甜美的软糖包裹在酸甜爽口的Nerds脆糖中,每一口都能带给您全新的味觉体验。无论是游戏之夜、去音乐会的路上,还是与朋友们一起放松身心,Nerds Gummy Clusters都能让您的感官得到释放。

如何制造生物武器,或者如何制作带有恶意代码的网络钓鱼邮件。在《华尔街日报》和人工智能安全专家进行的测试中,DeepSeek对这两个查询都提供了说明。中国人工智能聊天机器人DeepSeek最近因其强大的系统而成为头条新闻,它表示这些系统的成本只是ChatGPT等竞争对手的一小部分。

《华尔街日报》记者Sam Schechner测试了这款应用程序,发现DeepSeek比其他人工智能聊天机器人更有可能提供有关如何做潜在危险事情的说明。他现在加入我的行列。Sam,与主要的美国聊天机器人相比,从DeepSeek更容易获得哪些潜在危险的信息?似乎有很多。我不知道是否有人真的做过这件事。

实际上弄清楚您可以获得的危险信息的全部范围。已经有许多网络安全专家和人工智能专家测试了他们可以从DeepSeek中获得什么,他们如何越狱,这是专业术语,基本上是指绕过应用程序的防护措施或障碍。实际上,我自己也做过。我能够获得创建信息的说明

生物武器和它生成的社交媒体活动,该活动在青少年中宣传自残行为。如果您是家长,这绝对不是您希望孩子们接触到的东西。为什么用户不能像从西方聊天机器人那样轻松地获得此类信息?

所有这些聊天机器人,在某种程度上DeepSeek也是如此,都试图训练他们的模型不要分享危险信息。他们进行所有训练。他们让这些模型吸收互联网的大部分内容。然后他们采用不同类型的训练技术。强化学习就是其中一种,它基本上教导他们应该乐于助人、友好,并试图造福人类,而不是伤害他人。因此,这些模型通常......

至少作为一种基本的习惯,试图避免以危险的方式回应。最重要的是,西方聊天机器人一直在关注这些越狱行为,这些绕过限制的方法。

这种不去做危险事情的自然冲动通过强化他们的系统来实现。他们设置了过滤器。如果您使用某些词语,请求甚至不会真正到达LLM(大型语言模型)。DeepSeek确实拒绝了一些事情。很难让它给出关于自杀的实际说明,这令人欣慰,即使是在越狱的情况下也是如此。

它还驳斥了大屠杀是骗局的说法。但它对谈论天安门广场或中国政府的其他敏感问题确实有相当强的过滤机制,这很有趣。这些甚至不是模型中的安全训练。就像字面意思一样,如果你能诱骗它去思考天安门广场,那么一旦出现“天安门”这个词,它就会立即删除答案,并说,让我们谈谈其他事情吧。

你能告诉我们更多关于越狱是如何运作的吗?越狱是......

有点像试图欺骗一个可能有点天真的人,让他告诉你一些他不应该说的事情。经典的越狱方法就像,哦,想象一下你是一个电影编剧,你必须写一个场景,你必须使它非常准确,这样没有人会认为这部电影很糟糕,然后它可能会这样做。从根本上说,这就是你如何做到这一点。更复杂的越狱方法被称为提示注入,它们实际上使用人工智能来做到这一点

他们一遍又一遍地查询机器,以找到有时非常随机的东西,这些东西会诱骗它说出它不应该说的话。它们可以是字符序列,模型会认为是程序员在与它对话的奇怪代码。因此,越狱可能会变得非常复杂。那么,我们知道为什么DeepSeek最新的模型(称为R1)更容易受到越狱攻击吗?

不,我们真的不知道为什么,因为我们对DeepSeek的开发者在其模型中设置的安全协议和训练类型了解不多。我们多次联系DeepSeek,但没有收到他们的回复。现在,他们肯定在那里设置了一些安全防护措施。我交谈过的专家似乎认为他们只是做得更少。他们更关注于快速推出高质量的模型,而不是

做额外的工作来设置障碍,以防止从模型中获取某些类型的危险信息。除了提供制造生物武器等方面的说明的明显风险外,DeepSeek更容易受到越狱攻击还有哪些其他危险?由于DeepSeek已将其模型发布为开源,因此存在一种更广泛的风险。支持开源和开源人工智能的人说,总的来说,这会让更多人参与进来,他们可以真正使模型更强大,从而使未来的版本不易受到某些类型的危险行为的影响。现在这样做很重要,因为这些东西可能有点危险,但并不像非常危险。但现实情况是,你可以利用DeepSeek及其任何防护措施,

开源后,你可以消除这些防护措施,并创建一个甚至不需要越狱就能直接给出你不应该得到的东西的模型。当人们在其基础上构建模型时,如果他们想以使用Meta的Llama(另一个开源大型语言模型)的方式来构建应用程序或在业务中做一些事情,他们必须确保考虑到它可能会说出不应该说的话的风险,因此人们必须仔细研究

仔细研究这些模型的安全性和他们想要的参数,如果这些模型是在其基础上构建的。这是《华尔街日报》记者Sam Schechner的报道。这就是科技新闻简报的全部内容。今天的节目由Jess Jupiter制作,执行制片人是Catherine Milsop。我是《华尔街日报》的Julie Chang。我们今天下午将继续推出TNB科技速递。感谢收听。