#116 - ChatGPT plugins, AI hardware, petition to pause AI, Trump deepfakes
01:38:30 Share

我们的第116集，回顾和讨论上周的重要 AI 新闻！ 查看我们的文本通讯 https://lastweekin.ai/ 本周故事： 应用与商业OpenAI 正在大规模扩展 ChatGPT 的功能，让它能够浏览网络等 NVIDIA 的重大 AI 时刻来临 快讯前谷歌中国负责人通过创办自己的企业加入 ChatGPT 热潮 Cerebras Systems 发布七个新 GPT 模型，训练于 CS-2 晶圆级系统 生成式 AI 将影响主要经济体的 3 亿个工作岗位 Agility 最新的数字机器人为其首个工作做好准备

来自加州大学伯克利分校和 Deepmind 的研究人员提出 SuccessVQA：一种适合预训练 VLM（如 Flamingo）的成功检测重构 快讯新的虚拟测试环境打破了自动驾驶汽车紧急决策的“稀有诅咒” 科学家们正在利用机器学习预测鸟类迁徙，并通过它们的叫声识别飞行中的鸟类 新的家庭 AI 工具监测老年居民的健康 Runway Gen-2 是首个公开可用的文本到视频生成器

OpenAI 联合创始人谈公司过去对公开分享研究的看法：“我们错了” 1100 多位知名签署者刚刚签署了一封公开信，要求“所有 AI 实验室立即暂停至少 6 个月” 快讯在旧金山，一些人想知道 AI 何时会杀死我们所有人 Clearview AI 被美国警方使用近 100 万次，它告诉 BBC Centrelink 用于验证身份的语音系统可以被 AI 欺骗 AI 现在可以画手了。这对深度伪造来说是个坏消息

人们还没有被 AI 特朗普照片所欺骗（还没有） WGA 将允许人工智能参与剧本创作，只要编剧保持署名

<raw_text>0 你好，欢迎收听 Skynet Today 的《上周 AI》播客，在这里你可以听到我们聊聊 AI 的最新动态。像往常一样，在这一集中，我们提供了上周一些最有趣的 AI 新闻的摘要和讨论。你还可以查看我们的《上周 AI》通讯，网址是 lastweekin.ai，获取更多文章。我是你们的主持人之一，安德烈·库伦科夫。我目前正在斯坦福 AI 实验室完成我的博士学位。

我是你们的另一位主持人，杰里米·哈里斯。我从事国家安全和 AI 工作，专注于 AI 安全。实际上，我也有一本书即将出版。事实上，4 月 4 日，所以可能在这期节目发布时，正好是一两天后。

这本书的主题是量子力学、物理学、意识的物理学以及 AI 如何与之相关。我知道这听起来有点疯狂，但它确实与我们在这里讨论的一些内容有关。所以如果你想了解，可以看看，书名叫《量子物理让我这样做》。无论如何，今天的背景有点有趣。就像我在多伦多大学的量子物理实验室和后来在马克斯·普朗克研究所的默默无闻的时光。

是的，我曾研究量子力学中的悖论。这大致是量子力学基础领域的研究。这使我开始思考我们的现实感知在我们相信的物理理论中发生小变化时会变得多么脆弱。所以如果你拿量子力学，稍微改变一下，它会如何彻底重新构想现实？这就是这本书的重点。

这与我们从领先的 AI 实验室看到的许多内容有关。你知道，伊利亚·塞茨基弗几个月前曾著名地说，我认为 GPT-3 有可能是稍微有意识的，这种讨论。无论如何，这是不可避免地要讨论的，因为我们在谈论意识的物理学，而这实际上是非常不被理解的。无论如何，这就是背景。

好的，是的，听起来很有趣。希望我能得到一本免费副本。也许吧，我们拭目以待。但让我们开始讨论 AI 新闻。首先，像往常一样，我们有我们的应用和商业新闻故事，首先是

OpenAI 正在大规模扩展 ChatGPT 的能力，让它能够浏览网络等。基本上，OpenAI 为 ChatGPT 添加了插件支持。因此，现在可以支持在 ChatGPT 和 Gmail 或 Expedia 等服务之间添加一种“胶水”。

其他类似的服务，这样 ChatGPT 不再只是生成文本，而是可以接收信息并将信息发送到这些外部服务。

是的，随着我们开始询问 AI 系统的能力以及评估 AI 系统能力的意义，这变得有趣。我们现在对 ChatGPT 有了相当好的理解。数亿人已经使用过它。

但是如果你拿同一个系统，它具有 X、Y 和 Z 的能力，然后你给它工具使用，会发生什么呢？我们可能会发现什么新的能力？这是一个有趣的问题。我认为这是我们在这些系统演变中进入的第二个阶段，我们不仅可以看到原始系统的能力，还可以看到原始系统加上任意一组不断增长的工具的能力。

所以从这个意义上说，这很有趣。这是关于新兴能力的另一个角度，通常我们认为新兴是指你扩大 AI 系统，扩大模型，看看它有什么新能力。但是如果只是引入一个新工具呢？这可能会带来什么新的机会，什么新的风险？这是这些系统能力的一个有趣的跃变。是的，我完全同意。我认为...

绝对有智能能力的方面，现在你可以做一些事情，比如查找事实，或者检查数学方程的正确性，或者更多与智能相关的事情。在这个维度上，我认为这实际上是非常令人兴奋的，因为...

直接使用这个的实际能力，我认为这将是一个大事件，现在，不再只是获得文本输出，这可以做很多事情，但最终并不是与任何东西的接口，你不能让它为你直接在 Gmail 应用程序中预订航班或写电子邮件，或者其他一百万件事情。

现在，借助这个插件支持，无论你做什么，你都可以告诉 ChatGPT 去做这件事，然后它可以直接将其发送到你正在使用的任何服务。我认为你可以看看像 Trello 这样的工具来跟踪活动，或者，我不知道，任何软件。我们每天使用的东西太多了，现在...

通过插件，任何这些都可以与 ChatGPT 结合。

是的，绝对如此。这也引发了我们是否考虑过模型能做什么的限制的问题。众所周知，大型语言模型的一个限制是上下文窗口，即它们能够在任何给定时间读取或消化的最大文本量。在某种意义上，这是一种衡量模型能够拥有的思想最大复杂度的标准，稍微人性化一点。

现在，当我们考虑插件时，像允许外部存储的插件，实际上允许模型在任何给定时间内保持更多想法。我认为有一个有趣的问题是，与工具的交互是否应该被视为模型的扩展，还是...

作为模型本身的一部分。显然，这里有一个模糊的边界，但我认为随着我们开始看到这些工具的使用方式，以及它们是否改变了这些系统的风险表面，确实存在一些有趣的研究问题。

我们已经看到 OpenAI 在暗示，新的风险表面正在出现。他们明确表示需要一个安全策略。目前，他们的插件安全策略是优先考虑少数开发者和 ChatGPT Plus 用户。因此，他们将在较小的规模上推出，进行标准的 OpenAI 10% 测试，以查看人们在实际使用中如何使用这个，然后逐步进行更广泛的推出。但无论如何，看到这一切真的很有趣。我还想补充一点，至少对我来说，这让我开始思考 Adept AI，对吧？这个专注于制作可以在互联网上执行操作的 AI 工具的初创公司。

对。像 Adept AI 的经典例子或他们的第一个工具叫 Act One。众所周知，它能够为你预订或搜索适合你偏好的房屋，利用它对互联网的访问。

我认为这里有一个有趣的问题，即这种方法是否能与 ChatGPT Plus 插件相抗衡，因为现在我们在谈论 OpenAI 进入 Adept AI 的领域。这可能对许多专注于更狭窄的方法的公司构成战略风险，这些方法涉及让 AI 使用工具作为一种特殊的事情。看起来这现在被纳入了 ChatGPT 和 GPT-4 等更通用的能力中。

是的，我同意。我认为 Adept AI 从他们发布的演示中直接与网络浏览器接口，因此模拟一个人输入 URL 并点击东西。这是一种不同的方法，只是通过 API。你可以向另一个网站发送请求并接收响应。

而我们通过直接使用浏览器和键盘所做的大部分事情，无法通过 API 完成。从根本上说，很多事情都是通过 API 调用完成的，对吧？你在笔记本电脑上写东西，然后通过服务发送到某个 API。所以

这是一个有趣的问题，我相信看到这一切如何发展会很有趣。但我认为这是一个重大事件，我很想看看这如何融入各种非常常用的事物中。是的，绝对如此。

然后我们还有另一个来自 NVIDIA 的故事，也许更多的是关于硬件方面的，对吧？是的。这个故事是关于 NVIDIA 的重大 AI 时刻来临。来自 Engadget 的报道，涵盖了...

NVIDIA 在 AI 方面的最新动态。NVIDIA 在 AI 领域已经有至少十年的历史。我是说，我们之所以能有这样的 AI 改进，很大程度上是因为自 2010 年以来使用 GPU 来训练这些大型神经网络。

NVIDIA 一直在不断推动 GPU 的性能极限。他们一直在不断扩展，现在你可以购买价值 10,000 美元的 GPU。你还可以购买一种叫做 DGX 的东西，基本上是一个迷你超级计算机。它有，我不知道，8 个、12 个 GPU 或者其他，很多内存等等。

所以，是的，当然很贵，但现在他们提供了一种云服务，虽然仍然不便宜，但绝对比购买这些超级计算机便宜。

是的，故事的一个重要部分是，NVIDIA 正在推出他们的新一代 GPU，即 Hopper GPU，H100，这种 GPU 是针对当前 AI 中引起轰动的特定架构（这些变换器模型，T 和 GPT）进行优化的。

因此，专门设计用于优化这些系统，并在 A100（前一代系统）上提供了显著的改进。因此，似乎他们正在开始将 H100 和 A100 混合在一起，提供给世界，并且他们现在在 DGX 云实例中以 37,000 美元的低价提供一个节点。

他们可以在混合中使用 A100 或 H100。这真的很酷。他们还谈到了宣布 AI Foundations，这是一些用于大型语言模型训练的云软件。实际上，我认为这又是一个例子，

不仅是软件追逐变换器，基本上每个人都开始在行业层面上趋同于这种架构，而且现在硬件也是如此，我们看到越来越多的大型语言模型变换器导向的软件、基础设施、硬件等等。因此，看到这一点真的很有趣，A，是否反映了一种普遍的信念，即嘿，这将几乎无限期地继续下去，

B，这是否意味着即使其他想法在加速 AI 方面最终更有成效，我们仍然在某种程度上锁定在这种硬件选择中。坦率地说，我对变换器非常乐观，我认为它们将能够做出令人不安的事情。但有趣的是，整个行业，从硬件到软件，现在都受到几年前发生的创新的影响。

我想是三四年前，或者不，更多的是变换器的发明，是什么时候？2017 年左右。2017 年。是的。是的。我同意，这很有趣，因为在相当长一段时间内，合理的研究基本上是，我们不断为各种应用发明新的神经网络，它们都是定制和手工构建的。而现在，你知道，

在很多情况下，你可以直接部署这个标准模板，扩展它并格式化输入和输出，仅此而已。是的，正如你所说，这是一种新兴的范式，已经出现了几年。现在看起来，可能从工程的角度来看，这将成为 AI 的一种标准化部分。

确实如此。你知道，我在听伊利亚·塞茨基弗的采访，他是 OpenAI 的技术负责人，深度学习领域的绝对明星。是的，他基本上说，他被问到，你的日常工作是什么样的？你花多少时间来想出新想法，花多少时间在工程类型的工作上？

他说，实际上，新想法只占很小一部分。我是说，这是一部分重要的工作，但在我的日常工作中占比很小，我认为这实际上在某种奇怪的方式上反映了我们看到的 NVIDIA 这一举动的软件方面。因此，NVIDIA 说，嘿，你知道吗？我们将制造定制硬件，使变换器的构建和扩展变得非常简单。这对构建这些系统的工程师意味着

好吧，这只是一个工程问题。它只是一个软件问题，试图扩展，而不一定是想出新的算法突破。这仍然是一个重要的部分，但并不是这些大型项目的主导部分。对于像我这样的人来说，我认为我们在算法上可能已经拥有了所需的成分，甚至在硬件方面，现在可以达到人类水平的智能。

这并不令人振奋，尤其是因为我对这些系统可能造成的影响感到有些担忧。但有趣的是，它变成了一个工程问题，我们已经有了路线图，似乎我们有一个配方，可以让我们基本上走到我们想去的地方。

是的，这确实很有趣。我认为在某种意义上，这就像我们找到了...

一个基础，现在只需使用，你不需要想出一些新想法来使用 AI。你知道，我们知道所需的成分，你需要一个数据集，你需要一个模型，现在可以是一个标准化的模型模板。因此，如果你想在行业中构建一个神经网络来做某事，

你不需要从研究的角度考虑太多。你制作一个数据集，使用一个模型，更重要的是工程，使其高效等等。然后，故事的另一个部分是，NVIDIA 现在有一个推理平台，因此不是训练而是运行东西。

例如，NVIDIA L4，它非常高效且性能卓越，现在可以在 Google Cloud 上使用。实际上，已经有几家公司在使用它。

所以，长话短说，NVIDIA 在硬件方面主导 AI 领域，并可能会继续保持这种地位。是的，这对他们来说确实是一个成就。

是的，正好在合适的时间。你知道，推理变得越来越重要，越来越多地由 NVIDIA 构建的事实也反映了这一点，你知道，这些东西确实正在进入主流。现在，公司不仅仅将 AI 视为一个研究项目，他们的大部分资源都投入到训练这些庞大的系统中。

但他们现在在思考，如何将这些系统以规模服务于真实用户？我认为这是 AI 演变中的另一个阶段转变。人们开始意识到，嘿，做出预测的成本是多么重要。我们再也不能忽视这个成本。现在我们正在开发硬件来专门促进这一点。因此，我认为，2023 年至今以各种方式真正具有变革性。我们看到...

AI 演变的阶段在我们眼前展开。甚至还没有到四月。是的。我认为这里有一句话。这些都是来自 GPU 技术大会的新闻。NVIDIA 的首席执行官对此评论说，我们正处于 AI 的 iPhone 时刻。我认为这实际上是一个很好的隐喻，你知道，iPhone 发布或宣布时。

然后在一年内，几年的时间里，每个人都在使用智能手机。每个人都可以随时随地连接到互联网。这完全是变革性的，对吧？几乎在生活的各个方面，智能手机都...

在某种程度上改变了我们的生活方式。现在，我确实认为 AI 正处于一个点，在一两年或三年内，它将无处不在。就像智能手机一样。是的，也许我认为比智能手机更重要，智能手机之所以伟大，是因为它们让我们能够...

随身携带一小块智能。这是非常愚蠢的智能，更像是记忆存储，主要是记忆存储和通信。但 AI，我们谈论的是思想的自动化，人类水平的思想，几乎涵盖所有领域。

因此，你知道，AI 的 iPhone 时刻是什么样子，令人难以置信。但我的意思是，你知道，我认为很难想象它将如何从根本上改变社会，像看到大型语言模型被广泛使用时的世界，就像我们不能超过大约...

30 秒而不检查我们的“大型语言模型”，可以这么说。那种世界，我认为对你我来说是显而易见的，它以某种形式即将到来。我们当然不知道这些隐喻有多好，但我只是不知道普通人是否准备好面对这一切，以及社会是否有足够的制度力量来应对这意味着什么。但无论如何，我们必须迅速找到答案。是的。

是的，是的，这令人兴奋。这确实有点可怕。我认为，你知道，这一切都在发生。我们正处于早期阶段。在一两年内，情况将完全不同。所以这是一个有趣的时刻。

接下来是我们的快讯环节，几则较快的故事。首先，前谷歌中国负责人通过创办自己的企业加入 JAT-GPT 热潮。大约有...

李开复，他是风险投资界的重要人物，曾任谷歌中国负责人，通常在 AI 领域是一个相当知名的人物，写过一本或几本关于 AI 的书。是的，现在有一个新的企业要做类似 Chat GPT 的事情，尽管不太清楚。

是的。这篇文章给我的印象是，一个富有的中国技术官僚，他对 AI 有很多了解，发明了一个新的流行词。因此，他称他想要构建的平台为 AI 2.0，声称将超越 Chat GPT。似乎没有太多细节。看起来像是一种平台玩法。

但还需要观察，我不知道是文章的问题还是什么，但似乎没有太多信息。我认为一般来说，这只是你所说的，成为越来越多的中国公司（百度、腾讯、阿里巴巴等）朝这个方向发展的稳定涓流的一部分。

这些公司看到西方（特别是 OpenAI）构建的大型语言模型，正是因为他们模型发布的宣传。他们在说，嘿，我也要。我认为从扩散的角度来看，这将非常有趣。当我们开始思考这些系统能做什么时，我们可以在我们的边界内进行监管。但当另一个国家以不同的标准开始看到自己的生态系统繁荣时，事情就会变得非常复杂。无论如何，不太清楚这将导致什么。帖子中提到的另一件事是关于百度的有趣故事。他们的 Chat GPT 类似模型 Ernie Bot，

他们最初发布时，导致公司股票暴跌，仅仅是因为演示效果不佳。没有包括人们可以玩耍的实时演示。他们只提供了一些截图。因此，股票暴跌。但后来，嘿，结果证明这个模型实际上相当不错。它从早期用户那里获得了很好的评价。因此，最近反弹了 13% 左右。

总体而言，看到股票价格对这些公告的敏感性是相当有趣的，无论是炒作还是不是，我的意思是，人们在某种程度上为这些模型定价了巨大的价值。看看这是否在短期内实现将会很有趣。是的。

接下来，我们有 Cerebras Systems 发布七个新 GPT 模型，训练于 CS2 晶圆级系统。这是另一个硬件故事，Cerebras Systems 是一家构建与 CPU 和 GPU 相当不同的专业芯片的公司。它们基本上是这些巨大的芯片，而不是相对较小的 CPU，通常只有两三英寸的标准大小。

这些芯片真的非常大。是的，现在他们已经训练了 GPT 模型，他们表示这只花了几周的时间，而通常需要几个月的时间。他们发布了许多模型的权重，最高的有 130 亿个参数。

这相当大。我们还没有看到太多这样的规模的模型被发布，尤其不是由一家公司发布。

是的，开源问题总是一个有趣的问题，尤其是最近我们看到越来越多的人在玩 LAMA，这个泄露的元模型。它也相当强大且前沿。它导致了一些这些开源版本的 Chat GPT，基本上提出了许多关于在这个能力水平下开源是否是个好主意的问题，尤其是从恶意使用的角度来看。

至少如此。你知道，各种公司在这方面采取了不同的立场。但当涉及到这个硬件时，安德烈，你对这些新的 Cerebras 系统比基于 GPU 的策略更高效的原因有大致的感觉吗？是的。

是的，我得考虑一下。这是相当不同的，所以我甚至不完全理解其含义。我认为我的一般感觉是，数据从存储器传输到 GPU 的需求较少。因此，它在保持数据与计算相邻方面更为简化，但我可能完全错了。我需要考虑一下。是的，我的理解是，目前的主要瓶颈就是在芯片上移动数据，人们正在尝试各种基于光学的策略来做到这一点。我想 Cerebras 也有自己的策略。这听起来是思考这个问题的正确方式吗？是的，我会这么说，我认为。

Cerebras 是这些公司之一，真正构建与标准计算完全不同的东西。因此，即使是 NVIDIA 的东西，过去 30 年的 GPU 仍然基于一堆芯片和存储器。这与基本计算架构的观点相当不同。

所以我很想看看这是否会产生重大影响，正如你所说，变换器似乎是一种标准，我们为它们获得越来越多的定制硬件。然后也许我们最终会拥有完全专门用于 AI 的全新架构。是的，这很有趣。我不知道。我把这个故事视为一个提醒，无论我们认为自己对 AI 发展的速度有多了解，总是存在被硬件的意外发展所盲目的风险，这种发展可能会说，嘿，你知道吗？

那个巨大的变换器模型，GPT-5，结果发现它在更小的系统上训练的成本要低得多或可训练。无论如何，保持这种可能性在脑海中是有趣的。是的。是的，我认为另一个需要注意的事情是，130 亿个参数曾经被认为不算什么，但我认为有趣的是，现在我们对这些事情有了更好的理解，例如 LAMA，显示出通过正确训练可以获得相当令人印象深刻的性能。因此，这可能是许多新模型开发的一个重要起点。

接下来，我们有生成式 AI 将影响 3 亿个工作岗位的消息，涉及主要经济体。这是高盛的研究，包含许多细节，但大致上这 3 亿个工作岗位将至少部分受到生成式 AI 的影响。

大约三分之二的美国工作岗位在某种程度上暴露于此。对于大多数工作岗位，工作任务的负担可能不到一半，但大约 7% 的工作岗位将至少有一半的工作基本上由 AI 完成。你可以想象，一旦大部分工作由 AI 完成，你就不会有那么多人在这些工作岗位上工作。

是的，你知道，这类文章，首先，我被一些估计的保守性所震惊，至少对我来说。他们谈论说，这可能会引发生产力的爆炸，最终在 10 年内将全球年 GDP 提高 7%。对我来说，这听起来可笑。我认为这是一个荒谬的时间估计，但我非常准备为我的错误感到尴尬。

我们的第116集，回顾和讨论上周的重要 AI 新闻！ 查看我们的文本通讯 https://lastweekin.ai/ 本周故事： 应用与商业OpenAI 正在大规模扩展 ChatGPT 的能力，让它能够浏览网络等 NVIDIA 的重大 AI 时刻来临 快讯前谷歌中国负责人通过创办自己的企业加入 ChatGPT 热潮 Cerebras Systems 发布七个新 GPT 模型，训练于 CS-2 晶圆级系统 生成式 AI 将影响主要经济体中 3 亿个工作岗位 Agility 最新的 Digit 机器人为其首个工作做好准备

来自加州大学伯克利分校和 Deepmind 的研究人员提出 SuccessVQA：一种适合预训练 VLM（如 Flamingo）的成功检测重构 快讯新的虚拟测试环境打破了自动驾驶汽车紧急决策的“稀有诅咒” 科学家们正在利用机器学习预测鸟类迁徙，并通过鸟鸣识别飞行中的鸟类 新的家庭 AI 工具监测老年居民的健康 Runway Gen-2 是首个公开可用的文本到视频生成器

OpenAI 联合创始人谈公司过去对公开分享研究的态度：“我们错了” 1100 多位知名签署者刚刚签署了一封公开信，要求“所有 AI 实验室立即暂停至少 6 个月” 快讯在旧金山，有人想知道 AI 何时会杀死我们所有人 Clearview AI 被美国警方使用近 100 万次，它告诉 BBC Centrelink 用于验证身份的语音系统可以被 AI 欺骗 AI 现在可以画手了。这对深度伪造来说是个坏消息

人们还没有被 AI 特朗普照片所欺骗（还没有） WGA 将允许人工智能参与剧本创作，只要编剧保持署名

<raw_text>0 我认为当我们谈论具有能力的 AI 系统时，就像看看 GPT-4 及其能做的事情。这正处于一个似乎不断扩展的轨迹上。就像我们谈论我们正在自动化 7% 的工作。我只是...

而且似乎还有更多的工作在实践中会受到影响。我非常准备好被惊讶，但部分原因也是因为人类在猜测哪些工作会受到这些东西影响时直觉很糟糕。你知道，曾经有一段时间，我记得，大约 20 分钟前，我们在谈论—

哦，隐喻地说，我的意思是，早在那时，人们说，哦，从事贸易的人将是第一批。我们会有机器人做 X、Y 和 Z。结果发现，嘿，你知道吗？那些实际上是一些最安全的工作，这也是人们最近在这些研究中得出的结论之一。

这就是那个古老的 X 的悖论，计算机容易完成的任务并不总是你根据观察人类所期望的任务。有时你会惊讶于某件事情竟然如此简单。如果我是个赌徒，

我会对这个预测持怀疑态度，并在 GDP 和劳动力扰动的更大增加上投入更多资金。但这是我今天的热评。是的，我认为 7% 确实显得相当保守。另一方面，在过去十年中，经济学家们进行了相当多的研究，分析 AI 可能对

其中一个可能的因素是，即使在以往的工业革命中，当你有，嗯，电动机作为基础技术时，采用也有点延迟，对吧？所以我们有这些东西，但要真正完全转向 AI 并不会，嗯，过...

这需要一些时间。而且很多 GDP 是购买商品，对吧？而不是服务。这些硬件的东西，比如卡车，实际上可能会受到影响，但不是由生成式 AI 和工厂，经济中有相当一部分并未暴露于这种更纯粹的基于文本的工作。因此，是的。

哦，抱歉。是的，我只是想说，我完全同意这一点。我确实认为在推广方面，推广的时机，使这项技术在质量上与汽车、电动机和蒸汽机等不同，这些技术需要很长时间才能在经济中扩散并开始创造真正的 GDP 价值，因为它是基于软件的。因此，至少在我看来，ChatGPT

成为了历史上人类技术中增长最快、采用速度最快的技术。当它推出时，他们在两个月内达到了 1 亿用户。我认为这反映了媒体。我们现在使用软件来传播这项技术，它通过 Slack 等平台传播，在那里你可以拥有一个...

像自动服务机器人那样帮助你完成工作之类的东西。因此，将价值更快地交到用户手中，这就是为什么我对 AI 特定的扩散论持怀疑态度。再说一次，这可能是错的。我是说，我知道什么？但无论如何，我认为考虑到我们可能处于一个从经济价值扩散的角度来看根本不同的时代，这一点很有趣。

是的。不，我认为你可以谈论许多维度。另一件事是，如果你只是自动化工作，这是否真的会增加经济的产出？对吧。所以我不知道。有很多问题，但我相信会有很多这样的报告即将发布。

说到自动化，下一则故事是 Agility 最新的 Digit 机器人为其首个工作做好准备。因此，Agility Robotics 制造这些类人机器人，现在宣布最新版本的 Digit 机器人，专门设计用于移动这些塑料箱和仓库。因此，它

现在有一个小头部可以介绍给人们，并且它有这些奇怪的手，基本上完全用于搬运箱子。是的，我的意思是，希望他们能够实际部署这个机器人。我们实际上没有任何这种类人机器人在任何地方工作。是的，他们的希望是部署它。

是的，看到机器人技术的推动真是太有趣了。我想我们在之前的某一集中简要讨论过这个，但仅仅是 LLM（大型语言模型）已经让那些试图将这些东西应用于机器人技术的人感到窒息。很酷的是，你知道，确实有一些公司正在全力以赴。最近似乎...

在这方面取得了一些有趣的进展。就像这不是我们第一次看到这个领域的重大进展。我有点好奇，像 LLM 技术将最终如何使机器人受益，知道如何更容易地给出可遵循的指令，以便机器人最终在其头脑中构建和使用稳健的世界模型。他们可以利用这些模型来逻辑推理，穿越他们的环境。

但无论如何，真的很有趣，正好在这个趋势中。是的，我认为，从长远来看，你肯定需要这些 LLM 的东西来制造可以做任何事情的通用机器人。但这显示了拥有一个专门的机器人用于几乎在一个非常重要的应用中可能是一个良好的起点。

接下来是研究与进展。首先，我们有学习如何培养机器学习模型。这是一篇来自 MIT 的论文，基本上做了标题所说的事情。与其仅仅拥有一个初始神经网络，具有一组

权重并且只是经过训练而不被改变。我在这里提出了一种方法，可以在训练过程中不断扩展神经网络，以提高训练效率，并希望达到合适的规模。这不是第一次这样做，但他们说这在各种原因上都很好，因为有一些学习

而且头条结果是，平均而言，它将训练某个东西的计算成本减少了一半，减少了 50%，这就是，嗯，很多。是的。

这是真的。是的。你在这里得到 50%，在那里得到 50%，这些东西的复合效应相当快。看起来这又是一个你可以想象会被纳入下一波超级规模 AI 模型的进展。是的。这有点有趣，因为我记得当我第一次深入学习深度学习时，我在思考随机初始化的想法，比如为模型中的参数选择随机值来开始。

作为一种看起来非常粗糙的过程，粗略的策略。因此，看到人们采取这种方法并说，嘿，是的，也许我们可以从较小模型的学习中获益，然后围绕它成长，真是太酷了。我

我也很好奇，如果你将随机初始化模型的训练过程与这个模型进行比较，究竟在哪里，或许我错过了这些曲线，我相信他们实际上，我相信他们确实绘制了它们，但那些曲线看起来如何？它们在长期内是否会平稳到相同的水平？但你在训练过程中获得性能优势的时间有多长？

是的，我认为他们有相当多的结果和实验。大部分是在这些相对较小的模型上，如 BERT、BERT-small 到 BERT-base，因此远不及 CHA2GPT 或 GPT-3。在这些模型上，他们有一些图表显示，基本上在整个训练过程中，你最终会更快地改善。

他们确实与过去几年中几种其他方法进行了比较，这些方法做了类似的想法，基本上是取一个较小的神经网络，然后稍微插值权重以转换你的大型神经网络。因此，是的，我也没有找到一些我感兴趣的细节，比如你多久应用一次这个操作？

你是每 X 步应用一次，还是你怎么知道？这只是你训练计划的一部分吗？这并不太清楚。但明确的是，如果这实际上是通用的，他们说这是一个适用于变压器的通用方法，那么如果你能将大型模型的训练计算成本降低 40%、50%，

是的，显然现在在行业中以及在学术界也会产生直接影响。

他们确实进行了更多实验。他们在十亿美元模型上有初步结果，特别是 GPT-2，他们确实显示出 40% 的效率提升。因此，如果这实际上能够扩展到 100 亿、200 亿，是的，我想这将无处不在地应用。

是的，这真的很有趣，因为这是那些从根本上改变我们对训练模型过程的思考方式的事情，我不知道，似乎在美学上是新的。就像我没有看到人们过多地玩弄随机初始化的前提。因此，看到这一点被打破真是有趣。

而且两倍的因素是，我认为思考这意味着什么是有趣的。你知道，前沿实验室会通过像，嗯，囤积这些利润来回应，还是他们会倾倒相同的预算并将他们的系统规模翻倍？我的猜测显然是后者，但无论如何，这为人们提供了一套新的选择，关于他们想如何构建和训练他们的模型，这令人兴奋。是的。

是的。是的。我确实认为扩大规模仍然不容易。因此，这将使训练更快。但如果你试图扩大到更多的权重，你将需要更大的超级计算机等等。但，是的。是的。很有趣看看这将走向何方。

我也有点想知道可解释性角度。如果你有一个较小的模型，你打算用它来启动一个更大的模型，我想知道这是否给你一个选项，可以深入理解那个较小的模型，并进行你的机制可解释性或你将要做的任何事情，理解那些神经元。然后随着你扩展那个结构，也许使理解更大的结构变得稍微容易一些。这是我在这里随便说的，但我期待像

克里斯·奥拉和 Anthropic 通常会对此有一个有趣的看法，希望在接下来的几周和几个月中。

是的，不，我认为这是非常合理的。OpenAI 已经证明你可以使用较小的模型来预测较大模型的性能。因此，你可以用相对较少的计算量，了解架构的变化或类似的东西，然后一旦你扩大规模，影响将会是什么。因此，我认为你可能，嗯，是的，扩展到更多的东西。

下一则故事是来自加州大学伯克利分校和 DeepMind 的研究人员提出成功 VQA，一种使用 Flamingo 的成功检测重构。因此，这里的想法是对于像强化学习这样的东西，它更像是一种试错类型的技术，而不是仅仅拥有一个数据集并在没有数据的情况下学习，

你需要某种东西来检测成功或失败，对吧？一般来说，这一直是为每个强化学习任务定制的，并且以不同的方式实现。这里他们提出了一种通用的方法

你有一个代理执行其任务的执行视频，并且你使用一个视频问答模型

所以这里是 Flamingo，可以说它有点像图像和文本的 GPT-free。是的，让这个大型模型预测代理是否完成了某个任务。比如你问它，机器人是否成功插入了中等齿轮？它会说是或不是，这就是你的奖励。

所以，是的，我认为这有点有趣。我们最近没有太多谈论强化学习，但显然，我认为我们将开始看到这些巨型模型越来越多地影响强化学习，而这只是一个例子。

是的，我认为在安全性、对齐问题、AI 中的安全问题上有一个有趣的角度，因为你知道，如果你有一个强化学习代理，然后你有一些像成功评估函数、某种奖励模型，它会说，好的，你执行了那个动作。好吧，让我评估那个动作和世界的状态，并根据此给你奖励。

你可以让那个系统学习如何破解这个过程。如果奖励指标简单到足够，它可以找到危险的创造性策略，使奖励上升，但看起来与实际想要的东西完全不同。一个著名的例子是，OpenAI 训练了一个 AI 系统来玩一个叫做 Coast Runners 的游戏，基本上是一个赛车游戏。你会在一个赛道上驾驶一艘船。

而 AI 学会了通过战略性地将船撞向不同的障碍物并造成大量损害，它可以收集更多的涡轮积分，而这些积分是它获得奖励的原因，从而在玩游戏时表现得更好，至少根据它所给的奖励函数，而不是通过按照预期的方式尽可能快地跑完赛道来玩游戏。因此，我发现这很有趣的是成功 VQA

我们正在谈论的是使用对世界有相当一般理解的模型，只需给它输入一张图像，让它广泛地看待那个景观并说，嘿，总的来说，是的，机器人成功地将奖杯放入奖杯柜中或类似的东西。

因此，你有一种更稳健的方式来评估这些模型的性能。希望这能在一定程度上减少你的 AI 在这些环境中优化时学习破解奖励的机会。这并不是万无一失的，但在这个意义上，它给你提供了更多的稳健性。- 是的，我认为一般来说，这基本上是有一个二元奖励。因此，你是否通过那时达成了你想要的目标？

这使得奖励破解变得更加困难。仍然有一些情况，在模拟中你可以，嗯，破解物理并做一些疯狂的事情。但如果你在现实世界中这样做，想出一些疯狂的方式来获得奖励将会非常困难。

所以，是的，我认为这是一篇有趣的论文。这仍然是研究，他们正在为一些特定任务进行微调并运行它。这只是尝试进行研究的另一种方式。

使用强化学习进行训练。我们之前已经看到一些类似的想法，使用分类器作为奖励指标，但这似乎确实是一种相当通用的方法，可以利用这些通用系统将其应用于各种领域。我认为这正是令人兴奋的原因，对吧？就像是

对于那些担心对齐问题的人，以及你知道，以可扩展的方式解决这个问题，使用 AI 系统作为 AI 系统性能评估者似乎是实现这一目标的必要条件，以实现某种对齐。我认为他们在论文中标记的两个维度尤其有用，首先是他们标记的语言泛化，这个系统的想法是，如果你问人们，

关于你正在训练的 AI 的成功的不同方式，你仍然会得到一个连贯的回应，对吧？所以如果你问，比如，AI 是否将奖杯放入奖杯柜中，或者 AI 是否收起了奖杯？这两个问题可以被这里的 Flamingo 类模型以应有的方式进行构建性解释。因此，这确实涵盖了稳健性的一个维度。然后另一个就是视觉稳健性，对吧？这个模型能够在改变场景的视角时仍然理解它所看到的东西，并希望利用其更全面的通用世界模型进行更稳健的评估。是的。

越来越多地，似乎在这些具身设置中，你有一堆 AI，其中你会有成功检测器，你会有一个用于通用推理的语言模型，你会有另一个用于低级控制和操作的通用模型。

因此，从高层到低层的翻译链是有趣的，我想。

接下来是我们的快讯。首先，我们有新的虚拟测试环境打破了自动驾驶汽车决策的稀有诅咒。因此，基本上谈论一个新的模拟环境，可以模拟自动驾驶汽车可能遇到的可怕、危险的情况。这很重要，因为当你实际上想要部署某个东西时，你需要进行测试以证明你的自动驾驶堆栈是安全的。如果你可以在模拟中进行大部分测试，那么这将使部署这些类型的自动驾驶汽车变得更容易。

他们是如何做到这一点的？稀有诅咒，即他们在这里追求的事情，实际上是发生危险事件的机会非常少。现在，常规做法是，是的，你尽可能多地驾驶你的 AI 系统，并希望它遇到一些危险情况，以便你可以针对这些危险进行训练。他们是如何浓缩这种

经验并以某种方式保留这些危险情况以供训练的？策略是什么？是的。因此，基本策略是，不是通过驾驶一百万英里来收集你将要收集的同样类型的数据，而是在模拟中，你可以基本上浓缩到那些情况

是危险的。因此，你可以节省很多时间。我认为他们利用了很多关于可能出现的可怕情况的现有数据。当然，这确实有局限性，因为...

我们谈论的是一些奇怪的情况，这些情况并不典型。因此，我认为这更多地解决了像紧急车辆在道路上行驶或其他司机闯红灯这样的典型情况。这些情况并不常见，但也并非不常见。

这对我来说是有道理的，我想。是的。然后，我想这就是让我对这个感到困惑的原因，因为自动驾驶汽车的挑战在于那种长尾的奇怪事情，像是可能发生的事情，比如，我不知道，突然间，呃，我甚至不知道。我的意思是，可能发生的奇怪事情。有人穿着奇怪的服装，像是穿着奇怪的服装跳到你的车前，你的车必须弄清楚那是什么，等等。因此，我想这就像是让我们快速通过那些更可预期的奇怪事情，但我们仍然必须处理那种长尾的奇怪边缘情况。

是的。是的。显然，自动驾驶比你能说的任何通用推理都要困难。它比 LSAT 更难。是的。谁知道呢？

接下来，我们有科学家们正在利用机器学习预测鸟类迁徙，并通过鸟鸣识别飞行中的鸟类。因此，这是一篇小文章，谈论 AI 如何被用于鸟类或鸟类学的研究。

它谈论的是这个系统 BirdCast，使用了他们从气象卫星收集的大量数据。

是的，这使研究人员能够拥有一个机器学习模型来理解这些图像并量化鸟类迁徙，我想在鸟类学领域这相当重要。是的。还有气候变化研究也是如此，我想，了解鸟类如何应对新的压力，这是一种有趣的应用。

此外，通常还有更多这些狭窄的 AI 应用，在像 Chat GPT 这样的背景下容易被遗忘，但在某种程度上显然创造了价值，以非常明显的人类对齐方式。因此，这些专业的科学系统是我们进入的这个新 AI 时代的一个令人兴奋的子类。在这里看到它被使用真是太酷了。是的，绝对如此。我想你可能还记得...

蛋白质折叠在去年或两年前是多么流行。DeepMind 有 AlphaFold。现在在 AI 的术语中，那已经是很久以前的事了。但这是另一个例子，科学，科学学科正在被 AI 转变或至少受到极大影响，涉及各个领域。这只是另一个例子。

一种指标或方式来对 AI 感到印象深刻，整个科学现在都在被 AI 加速，这真是，嗯，酷。

我们有新的家庭 AI 工具监测老年居民的健康。因此，显然有很多老年人，我们缺乏照顾他们的人。这个新系统

相当有趣。它使用低功耗雷达技术和 AI，可以处理来自传感器的读数，以预测和理解

这些老年人正在做什么，基于那些可能嘈杂且难以读取的雷达数据。- 是的，我认为再次，这是 AI 的一种非常积极的应用，我们作为一个社会考虑我们的老年人以及保持他们安全和参与所需的资源。

这是 AI 的一个维度，包括对话 AI，我对此非常看好并感到兴奋。在我们的社会中，成为一个老年人并不容易。如果你曾经有亲属在养老院，你就会知道，给他们提供所需的关注是多么困难。因此，从安全的角度来看，保持...

老年人免受跌倒等事情的伤害，这听起来真的很好。然后，你还有对话系统来保持人们的参与。这些都是粗略的解决方案。显然，你希望在 NICs 中有更多人，但随着人口老龄化，我预计

像这样的事情会变得越来越重要，尤其是当人们有越来越少的孩子来照顾他们时，类似的事情。在像中国这样的国家，我预计这种技术会变得相对有利，因为年龄和生育率的原因。

是的，是的，确切地说。它永远不会取代人类看护者，但由于人类看护者的短缺，它也会有所帮助。事实上，纽约和其他地方已经有试点项目

有一家公司专门致力于拥有这些小型 Alexa 类型的机器人，具有更多的运动能力，可以与老年人互动，基本上陪伴他们，同时帮助他们处理药物或提醒等事情。因此，我也认为这是一个相当重要的事情，值得期待。

最后，我们有 Runway Gen 2 是首个公开可用的文本到视频生成器。也许我们现在应该有一个关于生成性的完整部分。但，是的，文本到视频，而不是文本到图像，你可以生成短视频。因此，仅仅几秒钟，并不是超高分辨率，比较粗糙。

但是，你知道，这是第一步。我们只看到去年发布的几篇研究论文，也展示了这种描述视频并获得几秒钟的视频的能力。现在仍然处于非常早期的阶段。但现在我们有来自 Runway 的一个公开可用工具，你可以尝试一下，也许可以用它做一些事情。

是的，绝对是一个例子，展示了扩展的绝对无情的有效性，以及它是如何持续工作的。我记得在 2015 年与某人讨论该领域的状态时，我们讨论的基本上都是分类器和回归器。因此，你会输入，我不知道，给 AI 一张图像，然后它会告诉你里面有什么，对吧？它不会生成图像。

因此，他有点像，嗯，我认为我们可以在某个时候将这个过程反向运行，从类别标签到图像。我们在讨论实现这一目标需要什么。我们在讨论算法。我们并没有讨论处理能力和规模。似乎这就是所需的一切。要反向运行这个东西，你只需要，嘿，更多的计算，更多的处理能力，更多的规模。有趣的是，

他们在文章中多次指出，Mid-Journey 直到最近才能够处理照片级真实感图像生成。因此，这种视频生成也不是照片级真实感的，所以很容易看着它并摇头说，啊，好吧，它还没有达到。但现在我们有太多的例子，表明一夜之间，我敢肯定六个月后，一年后，

我们将看到真正的更长的视频，具有照片级真实感，也许是对这种能力出现的警告，但看看它对娱乐、艺术等的影响将会很有趣。又是一个重大进展。

是的，是的，确切地说。视频有点棘手，因此你不会很快生成电影，但我也认为我们很快会获得更令人印象深刻的纹理视频模型。

是的。而且实际上，上周的事情是：这是检查你的 AI 拥有多好世界模型的有趣方式：如果它能够创建视频，例如，两个物体以看似物理可能的方式相互作用，那么这就是一个很好的指示，表明你的模型是扎根的，它学会了一种物理学。

而且，你知道，我们看到人们越来越多地向语言模型提出这些问题，例如，逻辑问题或涉及的问题，比如，如果我拿一个这样的物体和一个这样的物体，把它们放在一起，或者有一个以这种方式工作的齿轮组，输出会是什么？看到视频作为另一种探测方式，了解这些世界模型的稳健性、完整性，AI 对现实物理世界的理解有多扎根，真是有趣。绝对是的。是的。

<context>#116 - ChatGPT 插件、AI 硬件、暂停 AI 的请愿、特朗普深度伪造 我们的第116集，回顾和讨论上周的重大 AI 新闻！ 查看我们的文本通讯 https://lastweekin.ai/ 本周故事： 应用与商业OpenAI 正在大规模扩展 ChatGPT 的功能，让它能够浏览网络等 NVIDIA 的重大 AI 时刻来临 快闪前谷歌中国前负责人通过创办自己的企业加入 ChatGPT 热潮 Cerebras Systems 发布七个新 GPT 模型，训练于 CS-2 晶圆级系统 生成式 AI 将影响主要经济体的 3 亿个工作岗位 Agility 最新的数字机器人为其首个工作做好准备

来自加州大学伯克利分校和 Deepmind 的研究人员提出 SuccessVQA：一种适合预训练 VLM（如 Flamingo）的成功检测重构 快闪新的虚拟测试环境打破了自动驾驶汽车紧急决策的“稀有诅咒” 科学家们正在利用机器学习预测鸟类迁徙，并通过它们的叫声识别飞行中的鸟类 新的家庭 AI 工具监测老年居民的健康 Runway Gen-2 是首个公开可用的文本到视频生成器

OpenAI 联合创始人谈及公司过去对公开分享研究的看法：“我们错了” 1100 多位知名签署者刚刚签署了一封公开信，要求“所有 AI 实验室立即暂停至少 6 个月” 快闪在旧金山，一些人想知道 AI 何时会杀死我们所有人 Clearview AI 被美国警方使用近 100 万次，它告诉 BBC 由 Centrelink 使用的语音系统验证身份时可能会被 AI 欺骗 AI 现在可以画手了。这对深度伪造来说是个坏消息

人们还没有被 AI 特朗普照片所欺骗（还没有） WGA 将允许人工智能参与剧本创作，只要编剧保持署名

<raw_text>0 接下来是政策和社会影响，当然这里发生了很多事情。第一个故事是关于 OpenAI 联合创始人表示公司过去对公开分享研究的做法是错误的。这是我们之前提到的伊利亚·苏茨克维尔。

我认为这是一次采访。基本声明是因为现在竞争如此激烈，OpenAI 是一项业务。OpenAI 最初被称为 OpenAI，因为这个想法是开放的，分享他们的输出作为开源，您知道，

要开放。多年来，关于开放 AI 是封闭 AI 的笑话已经成为了陈词滥调。所以这在某种程度上是在解决这个问题，并表示，他们不再相信开源。

是的。我认为一个有趣的问题是，开源是否曾经是正确的想法。我必须说，第一次宣布 OpenAI 这个想法时，这种普遍的开源 AGI 开发的愿景听起来有点疯狂，老实说。

这个想法是我们将创造人类水平的智能，然后我们将开源它，以便任何人都可以使用和开发。当你考虑到你可以造成的伤害程度时——我不是在谈论社会伤害。我是指对使用能够比人类更好地编写恶意软件、能够设计新生物病原体的系统的个人造成的身体伤害。

我一直觉得这被视为一个好主意是很奇怪的。坦率地说，我认为看到这种变化是件好事，我们听到 OpenAI 传达不同的语气，正如伊利亚·苏茨克维尔所说，我们错了。直截了当地说，我们错了。如果你相信某个时刻 AI，AGI 将会极其强大，那么开源就没有意义。这是个坏主意。

我完全预期在几年内，大家都会清楚地意识到开源 AI 是不明智的。你知道，我认为，

开源的想法，我明白背后的那种乌托邦愿景。别误会我的意思。我理解对公司垄断这项技术的担忧。对我来说，似乎比这更糟糕的是，当每个心怀不满或有私怨的人都有自己的像人类水平或超人类 AI 可以随意使用时，尤其是如果这是开源的，他们可以调整和修改它。

我不知道。对我来说，这似乎……我可能错了。我认为这有点疯狂。我认为这很有道理，对吧？在某个时刻，这是一项非常强大的技术。你可以以多种方式滥用它。而且这很昂贵。另一方面，公平地说……

直到真的几年前，这些模型并不是 AGI 水平的。这更像是朝 AGI 发展的道路，因为我们不断变得更好。

这样我们就可以共同思考对齐，理解这种增长等等。在那里，我可以看到一个论点，即开源是最好的，因为那样我们都可以理解这项技术并做到这一点。是的，现在也许 GPT-3，或者现在的 GPT-4 是一个不开源的好理由。

我完全同意。这似乎是激励像 Aloyther AI 这样的团体的立场，他们的使命就是开源这些模型。他们的明确使命就是这样做，特别是为了让 AI 安全人员、AI 对齐人员可以进行调整，这听起来你可以同意或不同意这种方法。但至少作为一个目标，它听起来是高尚的，对吧？

OpenAI 的创立目的，至少正如埃隆·马斯克当年所阐述的，明确是他希望 AGI，人类水平的智能，能够像，

普及在普通人手中，这让我觉得有点难以与现实调和，坦率地说，以及人们在实践中使用这些东西的方式。这并不是一个简单的问题。确实存在垄断问题。在某个时刻，作为一个社会，我会争辩说，现在实际上作为一个社会，我们必须弄清楚

我们希望这个游戏如何进行。但无论如何，这是一个有趣的焦点，对吧？你可以看到，我对此感到激动。每个人都在以自己的方式对此感到激动。关于这个话题有很多不同的立场，每个人都在尽力应对，但这极其复杂。我们发现自己不得不在截止日期前完成哲学作业。

是的，我认为在另一个维度上，实际上即使这是开源的，大多数人也无法运行这些模型。因此，开源意味着你发布一个模型的权重，但它仍然需要超级计算机才能实际运行。

因此，实际上发生的事情是，如果你开源它，那么现在俄罗斯或朝鲜或各种坏代理，如黑客组织，可以花钱建立计算机基础设施，以便随心所欲地使用 GPT-4。因此，特别考虑到这一点，我认为可以轻松地提出一个论点，

像 GPT-4 这样强大的东西至少不应该开源，应该以某种有限的方式共享，以更谨慎的方式，如果不是完全封闭的话。这是事实。然后还有一个角度，当你考虑到当前对超级计算机的需求时，运行一些这些开源模型。

处理能力的成本正在不断降低。我们刚刚讨论了 Cerebrus AI 平台，它在这些模型的处理效率上取得了指数级的改善。H100 也即将上线。训练这些模型的成本正在崩溃。因此，如果你开源一个今天需要超级计算机才能运行的模型，

两年后，我们可能需要重新审视这个故事。到那时，模型已经存在很久了。如果每个人都想要它，他们都可以得到它。因此，这有点像跑步机效应，当我们考虑使用这些模型进行恶意用途的成本时，我们必须考虑的不仅是今天的成本，还有未来一到三年的成本，这使事情变得有点复杂。

是的，谈到这一点，接下来的故事是 1100 多位知名签署者刚刚签署了一封公开信，要求“所有 AI 实验室立即暂停至少 6 个月”。所以这是这封公开信，我认为上周已经公开发布，里面有很多名人。所以埃隆·马斯克、史蒂夫·沃兹尼亚克，

很多 AI 界的知名人士。是的，基本上它谈到了我们应该放慢速度，甚至暂停，因为事情发展得太快，不安全，我们需要赶上，以便至少在某种程度上限制负面影响。

那么，杰里米，你对此怎么看？我认为在很多不同层面上这都很有趣，其中之一是签署者的名单。因此，显然我们有约书亚·本吉奥在上面，他是该领域的传奇人物，现代深度学习的创始人之一。埃隆·马斯克和斯图尔特·拉塞尔，还有 DeepMind 的联合创始人和 Stability AI 的联合创始人，我认为这尤其有趣，因为他们一直在做开源的事情。

但除此之外，我认为这是一个很好的机会，我认为，讨论今天先进 AI 开发中的博弈论，因为我

我认为对很多人来说，这个暂停的想法似乎就是一个绝对的好主意。我不知道我是否同意。即使我是一个 AI 安全的鹰派，我对这方面的发展非常担忧。我认为我们很快就会遇到危险的能力系统。我认为我们根本没有技术理解来控制这些系统。然而，

我们今天刚刚谈到处理能力的价格是多么迅速地崩溃。因此，OpenAI 现在与 DeepMind 以及其他几个实验室一起，正处于这一领域的前沿。他们通过在处理能力上花费大量资金来保持这一前沿。

而正是这些预算创造了护城河，使他们能够拥有一些领先时间。他们计划在这段时间内投资，希望能对齐他们的系统，使其安全可控，然后再发布。因此，如果你谈论像实施六个月的暂停，

据说是为了让这些组织能够相互协调。我认为这种协调是至关重要的，但这里的一个缺点是，在这段时间内，你的计算成本在不断下降。你让其他人更容易跳入，并消耗了一些 OpenAI 认为它需要的时间，以便在后端进行所有的对齐工作，使事情在另一端安全。

我实际上倾向于认为这是一个相当合理的提议，因为在没有这样的东西的情况下，我确实认为我们正以不可管理的速度朝着潜在的非常危险的结果前进。

我认为需要考虑的事情是，这样的暂停的成本是什么？还有，你知道，中国会发生什么？对冲基金会发生什么？就我所知，这封信中没有提到，但它们绝对处于交叉点。如果你看看那些有预算来进行大规模 AI 项目的人的话，经济激励和知道如何做到这一点，像这样的韦恩图几乎完全包括某些对冲基金。

而且他们并不是世界上最透明的组织。因此，从安全的角度来看，这里也存在风险，他们可能根本不太关心安全，甚至可能不一定意识到一些对齐风险的事情。因此，我认为这是一个非常多面的事情。我认为这里没有任何解决方案是特别令人兴奋的，但这绝对是我们应该考虑的事情，像这样的解决方案，或许在某些方面更全面的解决方案也是如此。

是的，我认为确实可以提出论点，认为这封信中提出的观点是好的。为了澄清，我想我说错了，实际声明是

他们呼吁所有 AI 实验室立即暂停至少六个月，训练比 GPT-4 更强大的 AI 系统。因此，这是，是的，对于非常，非常，基本上不要在我们已经达到 GPT-4 的基础上进一步发展，这实际上在实践中只适用于少数几家公司，对吧？所以这几乎只是，

对 OpenAI 说话。是的，事实上你有，知道，DeepMind 的德米斯·哈萨比斯也签署了这份文件，这也表明，嘿，

你知道，他们，DeepMind 认为这是一个好主意。而这恰恰使 OpenAI 成为这份文件明显的非签署者之一，这又是这个事情的另一个几乎政治维度。我知道山姆·奥特曼今天早上神秘地发推文，类似于，暴风雨中心的非常平静，这是一种有趣而阴暗的参考，关于这里发生的事情。但是，

我认为如果没有其他，看看这个问题的严重性，首先，我认为这不是一个特别可行的问题。

说我们有信心地知道发生非常非常糟糕的事情的概率低于 10%。我认为这不是一个可行的立场，认为我们知道有超过 90% 的信心会发生非常非常糟糕的事情。在 10% 和 90% 之间的任何事情似乎都是合理的。然而，在 10% 和 90% 之间的任何事情都很快会导致一些非常重要的政策响应。

因此，具有这种形状、这种感觉的提案，乍一看似乎几乎荒谬，我认为在某个时刻必须被考虑，令人惊讶的是，考虑到这项技术的发展速度，无论你关心的是生存灾难性事故风险部分，

还是恶意使用部分。这两件事，无论你更关心哪一件，我认为在短期内都将非常重要。试图掌握这个问题意味着更好地掌握这些系统的行为、可控性，以及我们的政策机制，以控制、遏制和管理这项技术生态系统。

是的，我的确在讨论这个问题时，你可以持怀疑态度，说，好吧，这显然不会发生。你无法让每个人就某件事情达成一致。但我确实认为，仅仅声明这一点是值得的。媒体对此进行了大量报道。因此，它使公众更加意识到 AI 安全的概念。我认为这里的另一个方面是

AI 对齐、AI 安全、AI 部署、AI 政策，这些并不是或没有成为 AI 研究的热门领域。我们作为一个领域一直在优先考虑在任务上变得越来越好，而不担心使这些模型安全地部署。我们确实有关于这一点的研究，但这还不是热门话题。

而现在，也许希望通过这些信件和 GPT-4，这将改变，我们将真正大幅改变该领域的重点，关注 AI 安全和对齐。是的。

是的，我当然希望如此。我发现 Twitter 和社交媒体上的一些反应有点令人失望。有一群人出来，嘲笑 AI 代表对人类生存的根本风险的想法，而在这种情况下，我认为我们有更多的研究表明，实际上这是一个需要非常认真对待的事情。

比他们的立场所暗示的要严重得多。你知道，甚至我们看到深度学习的创始人杰夫·辛顿也开始朝这个方向发展，并开始发出信号，像，嘿，我认为这实际上可能是个问题。再次提到约书亚·本吉奥也是这件事情的签署者之一。因此，你知道，这是一种美学，对吧？总是很有趣成为怀疑者。总是很有趣成为走进房间告诉每个人，哦，我来揭穿这些

听起来疯狂的想法。它们不应该被给予任何曝光等等。你知道，大多数时候，这种立场最终是正确的。这也是为什么在公共广场上辩护是如此容易的原因之一。但现实是，我们有关于 AI 和寻求权力的研究。例如。我们知道，默认情况下，通过所有实验和任何人能够运行和设置的理论，我们始终得出这个结果，

是的，最佳政策，最佳 RL 政策倾向于默认寻求权力。我们已经看到奖励黑客。我们已经看到各种危险行为的例子，如果你只是构建一个更大规模、更强大的系统，这些行为似乎会普遍化。因此，我认为在能力方面的人们开始更多地了解这些风险是很重要的。

当然，在对这些问题发表任何评论之前，因为否则你会得到像安德鲁·吴的评论，坦率地说，我认为这并不符合应有的审查，尤其是来自像安德鲁·吴这样一位非常知识渊博的专家。他只不是 AI 安全专家，

不幸的是，这通常使他在这个特定问题上缺乏全面的视角。这又是，杰里米的热评。我想今天就是这一天，但无论如何，我希望我错了。是的，至少在根本关切人类灭绝方面，我仍然是一个怀疑者，至少在这些类型的生成模型中，直到我们达到基于代理的

类型 AI，实际上是自主的，这没关系。但我想说的是，即使作为一个不太关注 X 风险的人，AI 安全，无论如何，显然在许多方面都是重要的。而我想说的是，我不喜欢这封信的地方是

很容易嘲笑这个提议，暂停至少六个月训练 AI 系统。我个人会认为，像这样的东西，比如说，我们需要建立一个多组织框架

这样的组织，在你部署之前，你可以提交模型供 AI 安全专家测试。你可以独立验证和红队等等，以确保有一些共识认为这是安全的。

在这种情况下，我认为，如果有人试图制作一个可以自主做事情的代理型 AI，这才是实际的可怕之处，而不是目前并不自主的 GPT-4，那么拥有某种监督委员会，或者说，甚至作为某种形式的多组织合作，或许甚至作为

政治法规的一部分，这确实是需要以某种形式建立的具体事物。是的，我认为很遗憾这在这封信中没有被提及。但无论如何，这封信是好的，因为它推动了 AI 安全的理念。

是的，我完全同意关于具体性的事情，你知道，空白。他们有一些建议，但正如你所说，它们并不够明确。而且，关于代理和什么样的模型令人担忧的问题也是如此，你知道，你可以使用 GPT-4 来...

非常快速地引导一个代理型系统，快速地在其上方加一个 RL 循环。因此，这些规模化的系统使我们与那些危险、风险系统之间的增量步骤越来越少。而且你需要加在其上以使其真正危险的额外东西越来越小，难以检测。

所以这就是我对这个整体想法有一些同情的地方。我认为这是一个复杂的领域，我不责怪任何人试图理清思路，但我确实希望人们能参与到实际的基本论点中，而不是玩一种更美学的牌。

是的。这是一封相当简短的信。再次，我们将始终包括这些故事的链接。因此，如果你想阅读它，你可以继续查看播客的描述。

接下来进入快闪环节，谈到 AI 安全，CNBC 有一篇概述文章，标题为“在旧金山，一些人想知道 AI 何时会杀死我们所有人”。是的，这是 X 风险，对吧？灭绝风险。这并不奇怪。现在许多 AI 人员至少在某种程度上...

关心这个问题。这篇文章特别涵盖了旧金山的失调博物馆，我们一再提到的启蒙。对齐基本上是 AI 做我们希望它做的事情，而失调则是它做我们不希望它做的事情，比如杀死所有人。这是一个关于失调整个理念的博物馆。

这不是你听过的最旧金山的事情吗？它的前提是某种失调的人工智能消灭了人类，基本上留下了这个艺术展览来向当代人类道歉。

他们有所有这些荒谬的内部参考，关于 AI 对齐。我想我们谈过纸夹最大化器。无论如何，这就像这个场景。细节并不重要，但这是某些人用来说明 AI 安全原则的场景。因此，他们有一个叫做纸夹拥抱的雕塑，他们用纸夹展示了两个人的拥抱。

嗯，他们显然有带扫帚的 Roomba 在房间里游荡，还有《黑客帝国》电影的道具等等。因此，无论如何，非常非常内部的事情。但是我认为有一些事情是可以超越旧金山的非常内部圈子的，它旨在将对话扩展到非技术人员。

我觉得这很可爱。我觉得这非常有趣。天哪，这又是，真的是最旧金山的事情，拥有一个专门致力于 AI 存在风险的展览。是的，是的。这相当可爱和幽默，令人惊讶的是，

我认为你可以从标题旁边看到的内容是“对杀死大多数人类感到抱歉”。再次，这是从 AI 的角度来看。是的，我认为这非常非常湾区，旧金山。但即使它主要迎合技术人群，

对 AI 安全和这些失调概念的公众意识提高是好的，这些博物馆希望会更多地出现，以便人们了解 AI 的历史、潜在未来等等，因此，向创作者和策展人奥黛丽·金致敬。是的，是的。我喜欢的一件事，最后快速提一下，是捐赠者是匿名的，我有点喜欢，因为这不那么分散注意力。我们不在谈论谁资助了这个东西。我们可以专注于艺术和奥黛丽·金的伟大工作。接下来的故事是...

Clearview AI 被美国警方使用近 100 万次，它告诉 BBC。因此，Clearview AI，我们去年讨论过很多，是一种面部识别工具。给出一张图像，它可以给你一个名字。给出一个名字，现在...

显然它已经被美国警方大量使用，这一直是他们的主要目标。事实上，由于伊利诺伊州的 ACLU 案件，它已被禁止向大多数美国公司销售，但似乎美国的警察组织越来越多地使用它，现在 Clearview 声称它已被使用了 100 万次。是的，看到法律试图跟上所有这些发展是非常有趣的，以及公众在理解这些事物如何被使用和我们审计这些技术的能力或无能方面的斗争。

这确实不是一个简单的问题。尤其是当这些系统也出错时，因为这也是发生的事情。你会发现人们因为面部识别问题而被逮捕。但无论如何，这是其中一个更黑暗的方面。是的。因此，意识到这一点是好的。

随着 AI 的普及，像监视或剖析这样的更多实际事情正在发生，我们需要对此进行监管。接下来的故事是，中央链接使用的语音系统可以被 AI 欺骗。这种由澳大利亚政府为许多人使用的语音识别系统，

可以被 AI 欺骗。你不能仅仅用它来访问你的账户。你确实需要客户参考号码，但显然这是一个重大的安全隐患。

是的。我认为我们将继续看到这样的事情。这让我想起了，你知道，量子计算和人们担心量子密码学会破解 RSA 加密方案，我们所有的密码在原则上都可以被破解。这就像是其中之一，对吧？每一次 AI 的新发展都将破坏我们社会结构中固有的一些基本假设。

这似乎是，你知道，这是另一个这样的事情。就像你说的，你仍然需要知道你的客户参考号码才能访问这些东西。因此，这并不是完全的开放漏洞，但，你知道，在你开始看到一些相当明显的安全系统漏洞之前，你不需要太多这样的事件。

是的。我们已经看到关于网络钓鱼的新闻，你只需给某人打电话，假装是某人。是的，这将成为黑客的一个大实践。我们知道这一点，我们必须以某种方式为此做好准备。这有点奇怪。

下一个故事也是关于担忧，具体来说，AI 现在可以画手了，这对深度伪造来说是个坏消息。因此，这是《华盛顿邮报》的一篇概述文章，关于 AI 最近取得了很多进展。最近，我们在文本到图像的 AI 中看到了大量进展。最近，一些 AI 以前无法做到的商标问题

现在开始能够做到。上周我们讨论了 mid-journey v5，是的，这篇文章基本上讲述了 mid-journey v5 不再表现出这些可预测的缺陷，这意味着在各种方式上更容易欺骗他人。

是的。我记得有一个阶段，当牙齿也是这样的时候，你知道，你会看到 AI 生成的图像中人们的这些可怕的微笑。然后这种情况就消失了。因此，我们看到所有这些事情。我不知道。关于手的一个有趣的事情是，我认为我从我妻子那里得到了这个，所以我很确定这对大多数人来说是正确的。我记得她谈到，当她学习绘画和绘画时，画手是一个非常大的挑战。这对 AI 来说也是如此，这很有趣。我不知道我是否会预料到这一点。但是的，这是一个有趣的重叠。对于我们的 AI 生成或图像生成 AI 来说，又跨越了一个障碍。是的，这确实很有趣。

在我们的艺术和趣事部分结束时，实际上下一个故事也是关于深度伪造的。因此，人们还没有被 AI 特朗普照片所欺骗，来自《大西洋》的报道。这几乎正是我们刚刚谈到的。有一些 Twitter 帖子，带着，

0 前总统特朗普被逮捕。曾有新闻报道说他可能会被逮捕。因此，有人生成了这些深度伪造的图像，或者可以说是生成了照片。本文讨论了人们并没有被真正愚弄。我是说，这种情况确实在网上传播开来，获得了数百万的观看次数。但大多数情况下，人们只是觉得这很有趣。人们对这种情况持怀疑态度，程度上是

他们，是的，如果某件事情看起来不可能，他们仍然可以考虑并说这可能是人工智能。但确实，这显示了在被这些人工智能图像愚弄的潜力方面的进展，如果它们继续改进的话。

是的，看看这些照片也很有趣，因为我不知道。它们有——也许我只是在自欺欺人，但它们有一种特定的——这并不完全是“怪异谷”，但感觉它们有一种氛围，一种轻微的艺术氛围，正是Midjourney以偏向这种风格而闻名。

所以，是的，我在想这会持续多久，可能这些东西看起来会变得更可信，但它们绝对是很酷的图片。我是说，天哪，你知道，能够做到这一点，我不会在一年半前就打赌会在这里。

是的，是的，这确实令人印象深刻。我是说，如果你仔细看，你仍然可以看到一些缺陷，但实际上并没有像几个月前那样明显的缺陷。实际上，我认为另一个我觉得有点好笑的故事是关于人工智能生成的教皇方济各穿着充满互联网的羽绒服的图像。

教皇穿着这种大白色外套抵御寒冷，我想是羽绒服。这张图片也广泛传播。与特朗普的图像不同，我认为它实际上愚弄了许多人。对吧，这有点好笑，特朗普的图像，

看起来有点时尚和酷，所以分享起来非常有趣，而且看起来足够可信，但我想，它愚弄了我们的怀疑探测器，判断这是否真实。但它确实看起来非常真实。

是的，我会直接说，刚开始看到它时我被愚弄了，当时我在Twitter上看到了它。我想，哦，那看起来像——你知道的，我想他的公关团队真的应该让他看起来更具传统的天主教风格，我想。但好吧，你知道，你做你自己。是的，这真的很令人印象深刻。我认为——

你知道，我在想，当你放大十字架时是否有一些明显的线索。你看不到——我想是的，Midjourney认为十字架上应该有耶稣。抱歉，他脖子上挂着一个十字架，就像某种大饰品。但你看起来并不完全——它看起来变形了。看起来那里并没有真正的人。所以我不知道。也许这是一个缺口。我只是—

在这里挑剔一些东西，但总体来说，真的是一张令人印象深刻且有点好笑的图像，是的，是的，实际上即使现在看也很难找到明显的线索，所以呃

是的，希望我想我们都需要学会对Twitter上的图像保持怀疑态度。是的。最后一个故事，WGA将允许在剧本写作中使用人工智能，只要作家保持署名。因此，美国编剧协会现在提出了一项政策，允许使用人工智能来写剧本，

只要提供者实际上获得署名。所以基本上是说像ChatGPT这样的东西是一个工具，作家，一个人类作家可以使用，但剧本仍然最终是人类作者的作品。

是的。这真的很有趣。我们看到所有这些决定不仅仅是在写剧本和类似的事情上，还有书籍。似乎人们在书籍方面采取了不同的方式。几周前我们报道了一些故事，总体来说，这些出版商表示，嘿，我们不会默认接受人工智能生成的内容。

这可能需要改变。并且确实似乎美国编剧协会在这方面采取了不同的立场。挺酷的。我很好奇第一部人工智能生成的剧本会是什么样子。也许我们已经看过带有第一部人工智能生成对话的节目。我不知道。但，是的。我想很多作家已经在使用ChatGPT。值得注意的是，公平地说，对于实际的剧本，

在这一点上，你不能用GPT-4生成整个剧本。你可以生成一页或一段对话，但你需要有人参与和编辑等等。所以当我们扩大规模时，故事可能会改变。是的，我对具有32,000个标记上下文窗口的GPT-4版本感到好奇。所以在那时，你实际上是在处理一本书的三分之一到一半的长度。嗯，我想知道那会有多连贯。我，你知道，我想我们还没有机会去玩那个系统，但，嗯，

是的。我是说，再次回顾，我们谈到过一个相当著名的科幻杂志完全关闭了投稿，因为它被低质量的共享GPT故事轰炸。这是针对短篇小说的。所以对于短篇小说和视觉艺术来说，更难说，知道，不要使用人工智能。

- 是的。 - 因为，是的。 - 而且第二代实际上可能会更具挑战性。就视频或实际上是图像而言，对吧？你输入一个提示，你得到一张图像，你几乎可以立即评估这张图像。你可以说，哦，那是一张好图像，那不是我想要的。然后你立即输入一个新提示，你得到一张新图像。

但如果你谈论的是完整的剧本或大量文本，这个过程就慢得多，因为你需要更长的时间来评估你刚刚生成的输出。所以我想我想象这可能是一个有趣的挑战，以一种文本生成的方式与图像生成有所不同，在我们获得高质量输出的速度上。是的。还有...

我想这也是针对专业作家的，对吧？所以那些在行业中提交剧本的人，这就没那么麻烦。这更多是关于如何在使用人工智能作为工具时获得报酬的政策，它有点像在说，人工智能就像一个文字处理器，像Word一样，它是一个工具，但在不同的上下文中，提出论点就要困难得多。是的。是的。

因此，我们将结束《上周人工智能》另一集的播出，可以说是另一集的GPT谈话。再次提醒，您可以在lastweekin.ai查看新闻通讯。请与您的朋友分享这个播客，并在Apple Podcasts上给我们留下评论。我们真的很想听听您的想法。下周再见。