#118 - Anthropic vs OpenAI, AutoGPT, RL at Scale, AI Safety, Memeworthy AI Videos
01:42:48 Share

您好，欢迎收听Skynet Today的《AI每周播报》播客，在这里您可以听到我们聊聊AI领域正在发生的事情。像往常一样，在本期节目中，我们将对上周一些最有趣的AI新闻进行总结和讨论。您也可以访问lastweekin.ai查看我们本期节目中未涉及的文章以及我们讨论过的文章的链接。

我是你们的其中一位主持人Andrey Karenkov。我斯坦福大学的博士学位即将完成，下周我将开始在一家使用AI从事一些很酷工作的初创公司工作。

是的，我记得你提到过电子游戏和AI，生成式AI，有点像……总之，非常酷的交叉领域。我非常期待听到更多关于这方面的信息，因为我知道这里面有一些保密元素。是的，正如我之前提到的，我非常期待下周一能开始这项工作。让我们拭目以待。

很好，很好。嗯，我想我也应该插一句。我是Jeremy，是这里的另一位主持人。是的，我在一家名为Gladstone AI的公司工作，我们从事AI安全方面的工作，AI安全与国家安全相交叉，研究诸如反扩散以及这些系统带来的风险之类的问题。我有一本书，叫做《量子物理让我这么做》。我很自豪地说，在上市的第一周，我们就冲到了加拿大非虚构类畅销书榜的……最底部。所以对此我有点……有点高兴，这就像C级中的B级……

但无论如何，我真的很高兴。所以，如果你正在寻找关于量子物理、AI和AI感知之类的书籍，可以看看。这大概就是书的风格。好了，我想我们可以开始深入讨论了，因为这周真是太疯狂了。我一直这么说，但我认为，仅仅根据我看到的文章来看，这周比以往任何时候都更加激烈。Andrey，你感觉如何？

是的，我认为上周与今年整体相比有点放缓。现在它没有停止。我们有很多要讨论的。事实上，今年的节目比以往任何时候都长了一些。我们也有很多新的听众。所以，首先，我们要说……

如果您想给我们任何反馈，您可以前往Apple Podcasts给我们评分，或者在lastweekin.ai上留言。我们一定会考虑所有反馈。也许我们说得太多了。我不知道。但我总是很好奇人们的想法。

顺便说一句，我们的妈妈们会定期查看评分。所以，先声明一下。是的，我必须承认，我也会查看。看到这些数字很好，但我们仍然努力把它当成一件有趣的事情来做。因此，让我们开始深入讨论吧。首先，在我们的应用和商业板块中，第一个故事是Anthropic的50亿美元四年计划，旨在挑战OpenAI。

所以，为了提供一些背景信息，如果您不知道的话，Anthropic是一家类似OpenAI的公司，它几乎是从OpenAI中分离出来的。许多人离开OpenAI去做AI安全研究，现在他们有了Claude，它类似于ChatGPT。许多人说，你知道，它几乎同样强大，甚至可能更强大。

它已经以有限的方式构建并发布。现在这篇文章涵盖了更长期的计划，正如标题所示，这需要大量的资金。未来四年目标是50亿美元。部分原因是需要构建下一个模型，他们预计可能需要……

大约10亿美元的计算资源。是的，他们似乎目标很高。Jeremy，你怎么看？是的，我认为这是所有AI趋势都朝着相同方向融合的终极例子。正如Andrey指出的那样，最初Anthropic团队，创始团队，他们在OpenAI。

然后OpenAI决定发布GPT-3的API，将其提供给公众，基本上制造了一场巨大的媒体风暴，一种轰动效应。每个人都痴迷于GPT-3，GPT-3。而担忧，至少看起来部分担忧是，嘿，通过公开发布，你实际上是在加速AI的时间线。你正在一个安全团队不认为……

安全已经准备就绪，我们有能力可靠地控制AI系统的情况下，加速AI的进步。目前还不清楚，但这可能部分促成了Anthropic与OpenAI分道扬行的决定。现在，Anthropic似乎被迫吸取OpenAI吸取的教训，那就是，“嘿，你必须发布产品。你必须创造东西来赚钱，因为训练尖端模型的计算成本太高了。”

在生成式AI领域处于领先地位的成本太高了。所以，你知道，你可能会从这种理念开始，说，嘿，我们只做研究。我们只做安全研究，因为这是缺失的部分。我们不会加速能力。但最终你会发现自己被迫进行这种尖端的竞争，突破界限并扩大规模。而且，你知道，如果你从安全的角度来看，这有点令人担忧，对吧？因为我们生活在一个我们不知道如何控制任意强大的系统的世界里。

我们生活在一个规模化原则上可能带我们走向无限或几乎无限智能水平的世界里。现在我们发现，即使是那些非常善良的参与者，那些明确不想参与竞争的参与者，那些出于这个原因离开OpenAI的参与者，也发现自己被迫参与竞争。所以我认为这是这里的一部分故事，因为Anthropic将进行C轮融资，他们在文件中表示，

我们相信，训练出2025年或2026年最佳模型的公司将领先其他人太远，以至于在随后的周期中没有人能够赶上。我认为这是一个非常重要的观察结果。这就像在调情AI起飞的想法，基本上，一旦你达到一定的AI能力水平，就像……

你的AI开始……我不知道，我的意思是，这似乎暗示着，比如给你提供无与伦比的商业战略建议，给你提供无与伦比的产品开发能力。他们暗示了一些他们认为最早在2025年、2026年就能实现的事情，并且他们认为他们可以用10亿美元来实现。所以我认为这说明了很多关于尖端人士对不久的将来可能发生的事情的看法，以及实现这一目标需要多少资金。

是的。为了提供一些背景信息，这里有一些历史背景，OpenAI最初是一个非营利组织。然后在2019年，他们将模式转变为我认为类似于有限企业……

盈利混合体。这有点意思。当时很多人批评这一举动，这与他们在宣布GPT-3之前从微软筹集了10亿美元相吻合，我想。

而这仅仅是这种大型语言模型越来越大的趋势的开始。最近，我相信OpenAI从微软获得了100亿美元的投资。所以这些数字与之相符。Anthropic在……我想是2021年成立的。

从一开始就是一家营利性公司，但他们声称是一家公益公司，但无论如何，它仍然是营利性的。所以我认为他们可能已经从OpenAI那里吸取了这个教训，那就是你需要这笔钱。

就我个人而言，我认为这是一个有趣的预测。他们估计他们需要多一个数量级的计算资源来进行训练。这可能是真的，尽管我们最近看到了很多趋势……

较小的模型非常强大。GPT-3有1750亿个参数，这是一个非常大的神经网络。最近，我们看到，如果你训练得当，你可以用200亿个、150亿个参数做得很好。例如，有一些发现表明，你需要更长时间的训练，而不是拥有……

一个巨大的神经网络。所以，我们将拭目以待。我很想知道，也许我们会发现更多的东西。这意味着你并不一定需要这么多的计算资源。也许你需要调整你的模型或训练方法。所以，我们将拭目以待。我认为，

毫无疑问，你可以看到数十亿美元是必要的，但我对我来说并不清楚下一步是否仅仅是规模化。

是的，这里也有很多不确定因素。我认为Anthropic，仅仅因为它是达里奥·阿莫迪（Dario Amodei）创立的，他除了其他事情外，他还是联合创始人之一，他是GPT-3的负责人，并且非常相信规模化。当你与Anthropic的人交谈时，他们是规模化主义者，或者至少……

他们相信规模化会带来很多好处。我知道杰克·克拉克（Jack Clark）也有类似的立场，他是另一位联合创始人。看到这一点很有趣。你有多相信纯粹的规模，以及算法改进会有多重要？Anthropic自己也做出了相当多的改进。

我想最后我要提到的最后一件事是，你知道，我们谈到了竞争动态以及这样一个想法，即，你知道，Anthropic真的不想进一步推动竞争动态并加速进步，因为安全还没有跟上。

到目前为止，他们通过Claude实现这一目标的方式是，他们说，“好吧，我们不会成为第一个发布新级别AI能力的人。我们只有在其他公司已经达到这个门槛后才会发布我们最强大的系统。”所以他们等了ChatGPT，然后他们发布了Claude，在ChatGPT发布时，Claude已经处于开发的后期阶段。

所以这里有趣的是，这要么表明他们认为很多其他实验室也会这样做，要么表明他们实际上正在打破这一传统，现在说，你知道吗，我们实际上将突破界限。从这份报告中很难解读出来，因为它面向投资者。所以它是关于将Anthropic定位为潜在领导者的。但真的很难弄清楚，这意味着什么？他们是否坚持他们的核心战略，或者这里发生了什么？

是的，我要说另一件值得注意的事情是，Anthropic比OpenAI更像是一个研究实验室。所以他们确实发表了关于理解这些大型模型的非常有趣的研究。我认为在一两周前，我们讨论过，他们发布了整个研究AI安全的方法策略，非常广泛。

所以让我兴奋的部分是，作为一个致力于这些尖端模型的实验室，他们非常致力于理解它们并寻找AI安全的新方法。他们有这个有趣的宪法AI理念，它内置于Claude中。所以如果你必须选择一家公司来进行AI竞赛，

那么Anthropic是你能选择的最好的公司之一。是的，他们确实看起来很重视安全，是的。是的。

接下来是下一个故事，我们有医生被文书工作淹没。一些公司声称AI可以提供帮助。这来自NPR。所以这更多的是关于现在企业和应用中正在发生的事情。这篇文章特别强调了两家公司。它强调了Glass Health，它提供了一种专门版本的ChatGPT，用于回答临床问题。创始人声称他们……

在额外的临床数据、医学教科书上进行训练，以避免ChatGPT容易出现的一些提供虚假信息的问题。另一家公司是Nabla，其目标是提供一项服务，基本上是让AI收听医生和患者之间的对话，并可以提供讨论的摘要。

是的，看到目前正在使用类似JDBT的技术来真正加快这些流程，使医生更高效、更有效的初创公司，这很有趣。

是的，从风险的角度来看，这也是ChatGPT的一个特别有趣的用例，因为这真的是……这是ChatGPT的自动驾驶汽车。这是一个高风险、高风险的情况，而且在一个……非常重视风险的行业中，对吧？高度管制的医生历来对采用新方法、新技术非常迟缓。所以你面临着一个有趣时刻，就像，嘿，我们有一个东西可以真正帮助减轻医疗系统的负担。

但它也带来了一种新的风险类别。你真的这样做吗？而且可能，你不这样做是否会冒更大的风险？仅仅是因为医生负担过重，他们很累，他们停止关注或其他什么，他们可能会做出错误的决定。它促使我们思考，我们对哪种错误更满意？我们是否只关心错误率？

或者AI犯错比人类犯错更重要，部分原因是保险？你责怪谁？如果存在过失，你会追究谁的刑事责任？很难说，但看到这一点令人兴奋。而且，就像其他由ChatGPT驱动的产品一样，他们似乎也看到了很大的增长。他们在这里引用了一些数据，1月份有2000名用户。

月活跃用户。然后到2月份，他们已经增加了一倍多，达到近5000人。所以遵循了类似的趋势，即非常快速的采用，部分原因是在医学领域有很多低垂的果实，一个真正好的聊天机器人可以帮助解决。

是的，我发现有趣的一点是，Glass Health公司最初成立时并不是为了这个产品。他们最初有一个用于保存医疗笔记的电子系统。然后他们最近有点转向了，因为他们不断收到已经使用ChatGPT的医生和医学生的询问……

所以他们，我想，稍微改变了一下方向，试图构建这个系统，这表明有多少人已经开始使用这些技术。

需要注意的另一件事是，正如你所说，医疗方面的东西非常敏感。你真的不想出错。所以就这些而言，这些可能风险较低，因为它们……

本身并不做决定。它们提供反馈或提供笔记。在AI诊断、对健康数据进行更多解读方面已经做了很多工作。所以这更敏感，如果你需要获得访问你的健康记录的许可，如果你需要能够根据扫描结果提供诊断，那么……

所有这些都至关重要，不能出错。在这里，这些风险略低，这可能是我们许多人将从医生尝试这些工具开始的地方，而不是整个医院采用这些AI技术。

是的，另一个好点，比如降低风险，另一个他们也在强调的策略是，对吧，就是使用外部数据库的想法。所以与其仅仅依赖于ChatGPT中固有的知识，比如通过阅读文本进行训练，基本上是整个互联网，他们专门让它检索和总结文本。

来自一个精心策划的数据库，基本上是一个精心策划的医学知识百科全书，这可能会使答案更加可靠。你仍然可能面临模型错误总结、在总结中犯错的错误来源，但至少你不会指望它从阅读整个互联网中获得任何胡言乱语，然后提取事实。

所以你有一个更可靠的经过验证的事实数据库可以依赖，这是一个有趣的策略，对吧？就像我们在其他应用领域看到的那样，人们会说，是的，像ChatGPT和这些系统一样，它们会产生很多幻觉。

所以我们使用的解决方案是给他们一个静态数据库，我们以某种方式对其进行了整理，以便它生成可靠的输出。我认为这是我见过的该策略最危险的情况或用例。看看它是否经受住了时间的考验将会很有趣。但正如你所说，如果医生无论如何都在使用ChatGPT，那么这可能更好，因为它……你知道，至少有人花时间确保系统整体更强大。

是的，是的，完全正确。而且，我想最后我要说的一件事是，过去，我们讨论过其他提供转录服务的公司，不是总结，而是类似于Nabla。当我们讨论这个问题时，其中一个被指出的问题是，我的意思是，你可以想象一下，现在医生在和你交谈时不必做笔记。他们可以提供更好的讨论，更专注，并且……

所以很多这些东西都会加快速度，也许是为了方便诊断。这些ChatGPT的东西相当可靠。当然，医生可以仔细检查其输出。所以我认为这对我们所有人来说都非常令人兴奋……

使用医疗保健的人，有很多问题，可用性等等。所以它很可能会很快对我们的日常生活产生重大影响，并且可能会对我们任何去看医生并与他们交谈的人都有益。

接下来是我们的闪电轮，我们还有一些故事不会深入探讨。首先，我们有谷歌发布了最新的AI超级计算机，称其性能超过英伟达。正如你所想象的那样，这是一台巨大的超级计算机。它表示，他们拥有一个拥有超过4000个TPU（张量处理单元）的系统，这是一种先进的GPU版本。

这些也是第四代TPU，速度更快，能效更高。是的，我认为这篇文章的潜台词也是AI领域关于……TPU（由谷歌发明）是否真正……

比我们今天拥有的尖端GPU有了很大的改进，这是一个长期存在的争论。所以他们特别指出，他们的TPU版本4大约快1.5倍，具体取决于指标……

比英伟达的A100 GPU快，A100 GPU是今天的核心GPU。但他们没有与H100进行比较，H100的速度要快得多。至少根据英伟达的说法，它快了四倍。所以无论如何，这是一个有趣的问题，即硬件的最新技术是什么？我们能否对不同类型的硬件进行良好的苹果与苹果的比较？但这确实表明……

谷歌和其他许多公司一样，都在竞相构建他们的超级计算机来训练大型AI模型。是的，他们在这方面已经投资了一段时间了。最初的TPU是在几年前推出的。所以至少他们是为数不多的几家在这一领域与英伟达竞争的公司之一。

接下来，与之相关的，一个类似的故事，我们有埃隆·马斯克在购买数千个GPU后，正在推进推特的一个新的生成式AI项目。根据一些内部人士的评论，有一个故事说推特已经购买了……

10000个GPU，他们计划最终用它来训练他们自己的某种生成式大型语言模型。这仍然处于早期阶段，但购买如此多的硬件似乎是一项相当大的承诺。

是的，这也非常符合我们最近从埃隆那里得到的那些感觉，他抱怨说他创建OpenAI是为了对抗谷歌和DeepMind，因为他不想看到一个单极世界秩序，只有一个大公司控制所有AI。他对OpenAI现在与微软合作感到失望。所以他就像，现在只有两家大型、邪恶、丑陋的大公司在做这件事。

这似乎是这项努力的一部分。就像他说的，他的解决方案似乎是，我只是要创建一个第三个，并让DeepMind的创始人或……对不起，DeepMind的一名员工来帮助创建它。从安全的角度来看，就像……

我不知道。这看起来非常糟糕。如果你考虑一下我们不需要的东西，根据我们之前探讨过的Anthropic的论点，那就是在不知道如何控制这些系统的情况下，有更多的公司竞相构建AI。我不太清楚在高度扩展的系统中向其中添加另一家公司来做这件事有什么帮助。

尤其考虑到埃隆似乎担心AI对齐。这似乎是他夜不能寐的事情。他的解决方案似乎一直是，让我们继续引入越来越多的参与者来参与这场竞争。所以说实话，我对这种脱节有点困惑。我知道这部分是自由主义的东西，我理解这种感觉。你不想让一家大公司控制它。但在这种安全方面不断恶化的竞争中，呃……

无论如何，对我来说，这并不是一个好主意，但我猜我们会看到的。是的，而且很有讽刺意味，对吧？他刚刚签署了一封公开信，呼吁暂停大型AI实验，现在看来他们正在加速这样做。所以有点虚伪，但是……

我不太清楚这对推特的这款产品有多重要，拥有这些AI模型。但我不知道。我的意思是，我想我能看到生成式……在推特上生成文本是一件事，最终，你知道，这将成为一个比较优势。但是，正如你所说，我只是……我对如何将这两件事结合起来感到困惑。也许这是虚伪的。也许不是。我相信埃隆在他的脑海里有一个理由。我只是没有听到他阐述。就像，似乎有这个……这是两个埃隆的故事，我们每周都会发现我们是否得到了……

像好埃隆还是坏埃隆。我不太确定这是哪个埃隆。所以我想我们会……我们会随着时间的推移来发现的。是的。而且你知道，鉴于特斯拉的往绩，埃隆并不是最重视AI安全的人。所以我们会看到的。我们会看到的。

说到AI竞赛，下一个故事是亚马逊如何告诉员工它并没有落后于AI。我们在这档播客中没有太多提到亚马逊，而且关于亚马逊在AI方面所做的工作也没有太多新闻。所以似乎部分是为了回应这一点，举行了一次内部会议……

亚马逊数据库副总裁表示，有很多事情正在发生。我们正在做很多事情。我想我们正在与Stability AI和Hugging Face合作。有一些工作，但它不是面向消费者的。

是的，我从这篇文章中得到的感受是，顺便说一句，这是一篇《华盛顿邮报》的文章，这本身就很有趣，因为这是杰夫·贝佐斯自己的东西，亚马逊显然是由杰夫·贝佐斯在过去创立的。所以他们……有点酷——或者说酷，值得注意的是，他们正在更批判性地看待这个问题。他们引用了一些员工的话，他们似乎并没有……

嗯，被亚马逊副总裁的保证所感动，他表示，嘿，别担心，我们这里有很多事情正在进行中……显然，一些讽刺的评论也留在了内部聊天中……

但是是的，就像他们引用一位员工的话说，“我们甚至还没有接近用户能够像使用ChatGPT那样使用任何AWS服务”，公平地说，这可能有点不公平，因为亚马逊一直是一家面向企业的公司，或者说是AWS。

这有点像，这是它在帮助企业获得这些大型工具方面规模化的核心内容。至少他们所有大型AI项目都倾向于这样做，或者帮助公司向其用户提供这些强大的模型，而不是像ChatGPT那样拥有自己的面向客户的产品。

所以这里几乎有一个关于士气的问题，对吧？如果你是一家公司，你就有这种激励，只是为了招聘而大声疾呼并发布面向消费者的产品，这样你的员工就会为他们工作的地方感到自豪，每个人都知道亚马逊正在参与这场游戏。在某种程度上，我想知道Cohere是否也会遇到类似的问题，这家加拿大或加拿大公司，他们正在做类似的事情，做面向企业的业务。现实情况是，从营销的角度来看，每个人都知道ChatGPT是什么。

并非每个人都知道这些面向企业的业务是什么，即使它们可能非常庞大、规模化且重要。是的。我认为就我个人而言，我有点兴奋。我认为AWS是第一个主要的云平台，可以追溯到2006年。所以现在如果你真的想发布一个云产品，你可以使用AWS，但是……

这很复杂。有很多旋钮，对吧？如果我可以从亚马逊获得一个类似ChatGPT的产品来简化云的使用，我认为这将非常有益。当然还有Alexa，他们在那里搞砸了，有一个聊天机器人可以与之交谈，现在在能力方面远远落后了。

我相信亚马逊很快就会推出一些重大的产品，因为他们也倾向于保密。存在这种维度，对吧？所以我不会感到惊讶，如果我们只是发现那里已经进行了一段时间的大规模生成式AI推进。但是是的。是的。

说到面向消费者的产品，我们最后一个故事是Bing图片创建器现在在Edge侧边栏中有了自己的位置。我们知道微软所做的一部分工作不仅仅是推出了Bing Bot，也就是ChatGPT版本。现在他们也有这个Bing图片创建器，带有文本到图像功能。

一款可以生成类似达利或Midjourney风格图像的应用程序。现在它很容易访问，并可以轻松集成到电子邮件或Word等程序中。而且据说效果非常好。我还没用过，但人们说它可以与Midjourney相媲美。

是的，考虑到它的广泛传播，这真是非凡的成就。我认为这也是这类Midjourney和Stable Diffusion模型故事中很重要的一部分，即进入门槛的逐渐降低和越来越高的可访问性。我想知道，我什么时候会开始怀疑我在社交媒体上看到的任何内容是否

是人工智能生成的。就像我们将达到这样一个点，这两个可能性之间基本上存在一个平坦的先验概率。如果真的会到来，我可以想象它很快就会到来，但这可能是朝着这个方向迈出的一大步。

是的，我认为这几乎是在加速一种趋势，我们之前就已经在线上存在虚假信息的问题了。现在，比以往任何时候都更重要的是要知道任何一条推文或社交媒体帖子的来源，如果你认识这个人或这个组织，你或许就能知道它是人工智能生成的还是真实的东西。

而现在，正如你所说，只是看到网上的一篇随机文章或帖子。要了解真实的来源将越来越难。接下来是我们的研究和进展部分。首先，我们有开发者正在连接多个AI代理，以创建更多“自主”的AI，来自Vice的文章。这是一个令人兴奋的发展，

在过去几周中发展得很快。这篇文章谈到了AutoGPT，它可以帮助完成更复杂的事情，管理企业。其理念是，你基本上将几个ChatGPT连接在一起。在第一遍中，程序访问互联网并收集一些信息。然后它生成一些文本和代码。

然后是另一个模型来存储和总结文件。因此，它基本上可以创建一个任务集，然后要求新的实例执行这些任务。在我看来，这对于做更复杂的事情来说是一个很有希望或令人兴奋的方向。

是的，我们已经看到很多人基本上让这个东西尝试创建有利可图的公司，并且取得了惊人的进展。使用GPT-4取得的进展令人印象深刻。我认为这也很重要，AI安全故事的一个重要部分是，语言模型在什么时候开始表现出自主性？

而这在历史上一直是人们所说的那些事情之一，哦，它永远不会发生，它永远不会发生。其理念是，在某个时刻，语言模型通过训练变得足够了解上下文，以至于它意识到，哦，我是一个语言模型，我坐在一个OpenAI服务器上，我拥有我们之前讨论过的所有这些权力寻求的激励，以及AI安全文献开始表明这些强大系统的默认预期行为。所以你可以看看它，然后说，好吧，这是不可信的，

但看起来这可能是另一种可能发生的方式，对吧？现在，我们只需要一个GPT-4，它没有那种自主性，我们只需要给它提示并让它启动GPT-4的新实例，瞧，我们就有了一个基本上表现得像一个具有目标和目标导向行为的代理的系统。所以至少对我来说，这里的更新真的像是，

当我们构建AI模型时，我们可以认为它们是安全的。OpenAI可以构建GPT-4，然后说：“是的，拍拍它的后背。看起来很安全。让我们发布它吧。”但是，当你看到人们实际如何使用它时，你就会看到基于你如何连接GPT-4的各个实例，新的可能性会爆炸式增长。

我认为这是一个非常大的转变。我们有Andrej Karpathy，他显然是最近才从特斯拉加入OpenAI的。他强调这确实是下一代提示工程的改变者，基于这种新型

AutoGPT代理式系统的能力，这似乎是相当公平的。但是，是的，我认为从安全的角度来看，这是一个非常有趣的警告。就像，嘿，你知道，这些东西不像代理和像代理之间的界限可能像你使用的提示策略以及你如何将它们连接在一起一样薄。这是一个相当了不起的进步。

是的，完全正确。我认为它们不像代理的部分原因是，对于像ChatGPT这样的东西，没有某种自主循环。你输入一些文本，然后得到一些文本作为回应，但除此之外，没有进行持续的计算。但这是一种绕过这个问题的有趣方法，而不是构建某种用于记忆的循环神经网络，

你可以让它的多个实例来回传递。因此，你可以进行持续的执行，而不是让单个模型执行这种循环，你可以将输出来回发送，并基本上从并非旨在拥有持续任务执行框架的预训练模型中创建一个循环。所以这很有趣，并且在这个领域有很多实验

例如，最近发表的一篇相关的论文叫做递归批评和改进提示，它关注的是计算机和推理任务。基本上，它的要点是

它结合了这种方法：你生成一个初始策略，然后有一个第二个模型进行批评，然后根据批评进行改进。因此，无论是在学术界还是在实践中，许多人都意识到，采用这种多步骤方法可以实现许多其他方法难以实现的事情。

是的，这是涌现的另一个例子，对吧？我们过去认为涌现是这么一回事，你制作一个更大版本的旧模型，突然它就有了以前没有人预测到的新能力。最著名的例子是，GPT-4可以轻松通过律师资格考试，而GPT-3.5却不行。但现在看来，这种涌现也具有这样的维度：你会发现，这些系统集群连接在一起后，会拥有你可能没有预料到的新能力。

是的，我发现这篇关于递归批评和改进的论文真正有趣的地方在于，它在精神上与Anthropic的宪法AI非常相似，在宪法AI中，你会让一个AI，在训练过程中，你会让一个语言模型生成一些输出。然后你让另一个语言模型批评这个输出，并提出一个新的、更安全的输出。

然后你用批评模型建议的内容重新训练原始语言模型。这有点像这个的训练版本。看到人们更多地尝试使用语言模型来自我纠正或纠正其他语言模型，这很有趣，因为要给他们提供那种你需要将他们的行为与人为干预相一致的反馈非常困难。你需要越来越多地开始自动化这个循环。

是的，正如你所说，从研究的角度来看，这很有趣，因为人们一直在寻找所有这些技巧或方法来使用这些模型，而不用重新训练或寻找一些算法的典型方法。所以你有了思维链提示，这是一件很有趣的事情，人们发现，当你问一个问题时，如果你只是附加一个小的，比如，

答案的开头介绍说让我们一步一步地思考，模型实际上经常会生成更好的结果，而这有点像下一个版本，它在某种程度上是相似的，模型首先生成一个答案，然后你告诉它，回顾你之前的答案并找出它的问题，然后它说，基于这些问题，生成一个更好的解决方案，所以它

几乎，是的，这很有趣。就像你说的，我们只是找到了获得良好结果的更有原则或更一致的方法。很多都是基于这种迭代方法，而不是只接受第一个答案。随之而来的一个很酷的事情是……

它不完全是一个风险等级，因为你可以很快发现它，但当你开始让AI相互批评时，会发生一件有趣的事情，那就是有时它们会陷入这个循环中，因为它是AI对AI，最终AI会在对它们有意义但对人类没有意义的输出上达成一致。

我认为Anthropic在宪法AI中遇到了这个问题，他们发现，如果你疯狂地运行这个，比如运行很多这些自动循环，一个AI评估另一个AI，然后根据第二个AI所说的内容重新训练原始AI，最终你会得到没有任何意义的输出。所以他们不得不强制生成的输出与原始输出没有太大区别，不得不进行某种规范化。

。我非常好奇随着时间的推移这个问题是如何解决的，你如何防止基本上两个耦合的语言模型几乎发明它们自己的语言或它们自己正在优化的东西，这与我们最初的想法有点不同。但是，是的，这是另一个非常有趣的难题，随着人们开始在更大规模上玩弄这些东西，它正在出现。

是的，正如你所说，它也让我们更接近这种自主的AI代理，它会自我批评和自我纠正。这方面的一个有趣之处在于

它正朝着强化学习类型的AI发展，你知道，对于ChatGPT，你只需要输入和输出。对于强化学习，你有多个步骤，多个连续的动作。你想要的是优化你的奖励，基本上获得最好的结果。

事实上，OpenAI在ChatGPT中使用了来自人类反馈的强化学习，他们基本上训练了一个第二个模型来评估输出。所以很多人都在尝试这个迭代输出想法的不同版本。是的，我认为这是另一个例子，我们知道的很少，而且我们很快就会发现很多东西。

下一个故事，我们回到物理世界。深度强化学习规模化，使用车队移动机械手对办公楼垃圾进行分类。这是来自谷歌的，它是在日常机器人技术的大量工作的基础上进行的，日常机器人技术已被停止，关闭，我想是为了节省成本。

但这非常清楚地展示了他们迄今为止取得的成就。有很多这样的机器人四处走动，基本上存在一个问题，你有多个垃圾箱，其中一个未分类，另一个已分类。因此，机器人的任务是查看这个未分类的堆，然后将其放入堆肥、回收或垃圾中。

这篇文章讲述了谷歌如何在两年内部署了23个启用强化学习的机器人来完成垃圾分类和回收的任务。这些机器人会在办公室里四处走动，找到这些垃圾站，识别物体，并正确地移动和回收它们。

已经做了很多工作。多年来已经发表了多篇论文，介绍了针对问题不同部分的不同技术。这展示了他们如何将所有这些结合到一个他们部署的系统中，并在某种程度上自动化了大量工作。

而且它非常复杂。他们对训练过程、部署过程以及迭代方法（随着它在现实世界中执行任务而学习）都有非常详细的描述。

是的。而不是放大，你知道，每次我们谈论机器人技术时，总会有这样一个问题，即我们在从人类将大量硬编码的特殊规则插入机器人到，你知道，当你对传感器进行这种读取时总是向右转，当你的传感器有这种读取时总是停止等等的范围内处于什么位置。

从那里，一直到一个完全由深度学习驱动的系统或某种控制并深入思考机器人所拥有的所有感官体验的整体架构。这似乎是那些中间点的另一个例子，他们正在进行一些这些手工设计的策略的硬编码，并利用它来引导学习过程。

让AI，让机器学习从那里接管，然后将其与模拟训练框架相结合。让它在模拟中学习，然后转移到现实世界。你可以看到这种不同的方法。如果我们只是在训练过程中给它一点帮助，使用我们硬编码的人类思想、人类策略，然后让AI从那里开始呢？

是的，很有趣的是，如果我们继续看到机器学习接管越来越多的堆栈，就像在数字世界中发生的那样，对吧，我们看到越来越多的系统从这些专家系统转向完全的深度学习版本。我想知道这是否会在这里继续发生。

是的，完全正确。这些机器人基本上是专门为这项任务进行训练的。还有一个更通用的程序，你可以想象对任何问题都可以这样做。所以有一整套步骤。最初，你进行硬编码。然后你在模拟中进行训练。然后他们有这个叫做机器人教室的东西，它基本上是人工的

垃圾分类任务，但它不在实际的办公室里。然后他们部署它，然后他们可以在真实的办公楼里练习。它们并不完美地运行。结果表明，它们的有效性大约只有50%。在现实世界中，你会遇到很多不同的情况。在你到达那里之前，你不会看到。

是的，看看这种针对一项任务进行训练的方法是否会继续普遍存在，或者正如我们已经讨论过的那样，已经转向更通用的系统，你使用ChatGPT进行高级推理，你还有其他东西，你可以再次练习。

插入类似“将这个移到这里”的文本，机器人可以想象只是做很多不同的事情。所以也许它将是这两种方法的混合，也许它将是完全通用的，这种特定于任务的方法将不再需要。但无论如何，在现实世界中，大规模部署

经过训练的机器人、基于强化学习的机器人的例子并不多。所以这本身就是一个相当令人印象深刻的成就。是的。当然，堆栈的部分内容将是有用的，即使我们最终走到了完全深度学习的路线，因为通用性吞噬了特殊性，这，你知道，我年纪够大了，还记得律师资格考试是你必须为其专门训练模型的东西。而现在GPT直接就能做到。

所以看看这个方案如何适应这一点将会很有趣。也许他们可以利用从这个过程中学到的很多东西来实现这一点，如果这确实是发生的事情的话。但这绝对是一个有趣的里程碑时刻。是的，对于机器人技术的现实世界部署来说。是的，完全正确。这突出了机器人技术的另一个难点，不像

ChatGPT，你没有数据可以从互联网上直接进行训练，对吧？你实际上需要部署一个机器人来练习很多这些技能。所以我认为，无论你是否能够获得某种通用的系统，我们都需要这样的东西来学习，因为你在现实世界中，你不可避免地会犯错。

所以这有点像一个演示，说明这有多难，即使对于看似简单的去这些回收站和分类垃圾的任务，你也会遇到很多困难，

是的，这需要一段时间，但我认为这仍然是一个相当令人兴奋的进展。是的，对不起，最后一点，这让我想到，只是因为我们总是有这样的直觉，即这个问题类别有一些特殊之处。我想知道我们是否最终会看到GPT-5或任何版本的这个，其中语言模型能够，因为它具有多模态性，说GPT-4可以看到图像和文本，

我们可能会看到一个语言模型只是跟踪所有传感器输入。然后，当它犯错时，会得到另一个也正在查看场景的语言模型的纠正。所以，从这个意义上说，也许这个问题在架构上已经通过扩展解决了。我只是，这个想法刚刚浮现在我的脑海中，因为我习惯于自己思考，哦，好吧，这是一个特殊的问题，语言模型最终不会解决，或者扩展不会解决。我只是，我可以看到这条路径在这里以某种方式发生。

但无论如何，我想我们只能拭目以待。我的意思是，我们以前已经看到过这种情况了。

从去年开始，已经有几篇论文，比如SACAN，你不需要重新训练它。如果你只是提示它，它可以告诉你，去那里，做这个，做那个。然后挑战就变成了，好吧，我知道我需要做什么。我该如何去做？我实际上能拿起那个东西吗？对吧。存在着这种具体化的整个问题。所以我们会看到的。我认为它肯定会在某种程度上成为一个组成部分，但是

要真正进入物理世界还有很多工作要做。

进入闪电轮。首先，我们不是一篇完整的文章，而是一些关于GPT-4如何将提示压缩和解压缩成非人类可读形式的讨论。所以如果你只是要求它压缩一段文本，以便你，GPT-4，可以重建它，它会生成这种有趣的输出，混合了压缩的

关键词和表情符号，看起来更短。然后在某些情况下，当你将其反馈给单独的GPT-4时，所以它没有记住它是如何压缩的，GPT-4可以解压缩并告诉你原始文本是什么。

是的，我认为从安全的角度来看，这非常有趣，因为我们实际上看到的是，或者说一种解读方式是，如果我让你把一个句子或一段话改写成完全不可理解的方式，你知道，有很多表情符号和符号，这有点像GPT-4最终生成的，这样你以后可以

像重建原始段落一样。所以你首先取一段话，然后你，你把它写成，你把它转换成这种奇怪的表情符号语言，然后你，你解压缩它。你，你把它转换回原始文本。嗯，如果，如果你能做到这一点，并且如果你能做到这一点而没有记住原始文本是什么，如果你能时光倒流，然后说，嘿，这是我写的内容的压缩版本，解压它并恢复原始内容。如果你真的能做到这一点，如果你能执行这个压缩任务，

那么我很难想象你不需要了解你自己的思维方式是如何运作的。

而这正是GPT-4的一部分，它对自身有多少理解的问题？自我意识将是这些系统的另一个涌现特性吗？我认为这是一个有趣的数据点，实际上暗示了这一点，这可能是这些能力中另一个，无情的扩展似乎只是

通过某种奇怪的魔法让它发生。但是，是的，你也指出，关于将段落翻译成一堆表情符号是否真的压缩了数据，或者它是否只是重新构建了它，以某种方式重新措辞，存在争议。是的，我认为这很有趣。解释中有一些细微之处。所以

对我来说，这看起来并不一定是自我意识，对吧？GPT的工作方式是预测给定文本集最可能的延续。所以如果你告诉它，你知道，压缩这个，它可以预测什么似乎是一个好的压缩。然后，你知道，由于这是基于模型的非常可能的压缩，

据推测，如果你将其反馈回来，可能的解压缩与之高度相关。所以，我不知道它是否意识到它自身是如何工作的。更像是一种压缩和解压缩之间的两个概率是一致的。而且，是的，人们做了一些额外的实验。它似乎并不完全一致。

因此，如果没有在压缩和解压缩方面进行训练，它可以在某种程度上做到零样本，但并不明显它只是在做一些看起来正确的事情，还是它实际上擅长做这件事。

是的。但我猜，我想知道的是，具体的解压缩，具体的压缩策略是模型的属性，还是数据的纯粹统计属性，对吧？如果它是数据的纯粹统计属性，那么，那么这可能就不那么令人惊讶了，但是，呃，

我认为这里的建议是，模型本身是决定压缩看起来是什么样的一个重要因素。在这种程度上，解压缩也必须需要模型对初始压缩方案是如何工作的某种了解。这

很难说，但我认为这是这些数据点中的另一个，你知道，从这样的论点来看，对于AGI来说不会有火灾警报。而且，你知道，这些事情总会有一个有趣的细微差别水平，但它至少在这个层面上暗示了某种预测自身未来行为的能力，就像GPT-4的不同实例本身的行为一样。

我想知道的是，是的，这意味着什么？我们应该从中解读多少？是的，我认为这将是模棱两可的，直到希望没有发生坏事。但现在这是一个有趣的脚注。是的，这让我想到，因为我们总是有一种直觉，即这个问题类别有一些特殊之处。

没有这种内省的特性。他们在训练期间看不到自身的任何输出。从这个意义上说，没有强化学习。同样，对于ChatGPT，它是在互联网上进行训练的，并且是在人类反馈和输出上进行训练的。所以它在某种程度上看到了它自己的输出，你拥有人类的聊天记录。对于GPT-4，也许它更像是一个迭代的，你知道，

自我完善的过程，它确实看到了它自己的输出。从这个意义上说，它可以在某种程度上是自我意识的。它知道它产生了什么。所以，鉴于我们不知道多少，很难正确解释这一点，至少鉴于GPT-3和ChatGPT，它更有可能是一个关于什么是可能压缩的统计属性，但我们真的不知道。

是的，这指出了这些与安全相关的决策的复杂性。你是否发布你的模型？你是否发布你的模型训练方案？你是否写了一篇关于它的详细技术论文？因为如果你不这样做，那么我们就无法评估这些指标，也无法决定它是否真的是这样。

该系统具有一些自我反思的能力。然而，如果你发布它，那么其他人就可以复制它，并且你可能正在促进这些可能不安全的技术的开发速度。这有点像，是的，这是一个棘手的问题。我不羡慕任何必须思考这些决定的人。是的，这让我想到最后一点，这是一个

支持和反对公共访问的有趣论点，因为这是来自一条推文的。有人只是玩弄它，并发现这种情况发生了。但现在我们知道它发生了，很多人注意到了它，因为我们现在有更容易访问的更小的系统，我们有Meta的Alpaca等等。

研究人员可以研究这个问题。他们可以使用这些模型并查看正在发生的事情，并尝试更多地理解它。当学者可以训练这些模型时，他们可以尝试理解这种内省特性。所以我认为，在某种程度上，这件事的出现是件好事，因为正如你所说，如果它令人担忧，人们可以研究它。

是的，假设他们首先知道模型是如何构建的，正如你所说。好吧，是的。所以GPT-4，也许不是。但现在我们有其他东西可以尝试。

下一个故事是，Meta发布了一个可以识别图像中物品的AI模型。所以这是计算机视觉而不是自然语言处理。这个模型是分割任何模型，分割基本上是在图像中找到任何给定物体的边界，并且

这在某种程度上类似于GPT-3，人们称之为基础模型，它们只是这些在大量数据上进行训练的大型模型。它是在大量数据上进行训练的，我不知道，10亿张图像，诸如此类，并且非常通用和健壮。所以它现在可以分割。过去你拥有带有地面真实分割的训练数据集，它主要可以分割一组类型的物品。在这里，它可以分割数据。

任何东西，你只需要点击图像中的一个像素，它就可以给你物体的边界，它看起来非常通用和健壮。

是的，就系统如何定义物体而言，这很有趣。因为当你是一个人的时候，他们在论文中展示了几张图像，并说这是一堆刀、一个切菜板、一堆杯子和一些水果。很明显，它分割了，例如，这里半个橙子。它就像，好吧，这是一个东西。

但在橙子里面，当然，你就像，你有这些单独的，我不知道你叫它们什么，比如橙子片，如果你愿意的话。所以，为什么橙子是物体而不是橙子片？这模糊了界限，你知道，至少混淆了我们对分割的含义。我认为从长远来看，这同样是一个问题，即AI是否最终以与我们相同的抽象级别来解释世界，对吧？

对吧？当你解析一个场景，你说，这里有多少物体？哦，这里有20个物体。好吧，也许一个对世界有更细致视角的AI模型可能会看到比这多得多的物体。而且，最终不是要在这里变得太迷幻，而是像，

为什么每个细胞不是它自己的一种分段的东西？玩弄这些想法并看看这些模型最终会落在哪里，什么是有用的，什么是有助于更多洞察力的，也许我们在哪些方面限制了它们，从而限制了我们能学到什么，这很有趣。

是的，这与你如何使用它有关。你可以点击一个项目，但你也可以只写一个文本提示，在其中输入“猫”，它就会分割，在猫周围画出边界。这样一来，就有一个有趣的联系，我们确实有这个语言的抽象层，即什么是物体。杯子是一个物体。或者它可以是杯子的把手。或者它可以是刀柄。

所以在某种程度上，它涉及到标记和所有这些关于语言和什么是物体的哲学问题。是的，就像什么是东西？是的，是的。这是一个有趣的问题，但我认为我们不会深入探讨，因为那是另一回事。我相信我们可以在本集再用几分钟的时间解决它。是的，我的意思是，这真的很容易，但是我们会继续关注AI方面的内容。

接下来，我们发布了另一个语言模型，Meet IGEL，一个指令微调的德语LLM家族。这是一个来自德国团队的小型发布，他们采用了一个现有的模型Big Science Bloom，然后对其进行了训练，

使其在德语指令微调方面更好。顺便说一下，指令微调是指采用一个只是训练预测文本延续概率的基础语言模型，并使其更好地

遵循指令，做你想做的事，这两者并不完全相同。在ChatGPT之前，GPT-3就是他们添加的改进之一。所以这是一个实验，因为它很小。它还处于早期阶段，但有趣的是，现在不同国家的人们开始研究它。

是的，我想这里的一个大问题是，是否有足够的德语数据来做到这一点？对于任何拥有自己语言并希望以该语言提供这些服务的国家来说，另一个有趣的问题是。AI的民主化部分就是这个问题，比如，互联网上是否有足够的语言，足够的文本可以训练一个模型来做这样的事情？

所以这是一个有趣的结果。我们还看到一个模型，我认为是上周，我认为它被称为Bloomberg GPT，它是基于BigScience的Bloom模型，这是一个国际合作项目，发布了这个开源大型语言模型。所以看到它再次被使用是很酷的。是的，完全正确。是的。

最后，我们有Meet AUDIT，一个基于潜在扩散模型的指令引导音频编辑模型。研究人员介绍了这个模型，它可以轻松编辑音频剪辑。你告诉它用文本做某事，它可以做各种事情，比如添加声音、修复，也就是填充一些缺失的声音、超分辨率等等。

诸如此类的事情。这很酷，因为总的来说，音频更难。与图像相比，进展还远没有那么多。你可以用文本编辑图像已经有一段时间了，而且它已经相当先进了。你可以说，戴上太阳镜或换成金发，你现在就可以做到。在这里，

它的工作原理是只查看波形，也就是声音的这些视觉表示，然后改变波形的出现方式来编辑音频。所以是的，看到一些进展，使音频更容易用语言编辑，这令人兴奋。

你认为，在某种程度上专门从事视觉方面的工作，你会说是什么造成了差异？是什么让音频在以这种方式解决问题方面比视觉难得多？

是的，有几件事。其中之一就是密度，对吧？所以你看一张图片，有很多像素，也许像一百万像素什么的。但是你看音频，是多少，每秒24帧，你可以这么说，或者像比特率。

相当高。你取几秒钟的文本，其中包含大量编码的数据，它是一个时间性的东西。所以它不仅仅是一个快照，更像是一个视频。视频是那些我们还没有完全掌握的东西之一。

所以，是的，我认为是时间方面的问题。这也是数据方面的问题，因为没有那么多巨大的数据集可以使用。但我认为现在我们将开始在数据方面看到更多，并且看到更多这类进展。

有趣。好的。就像，因为我这个天真的人，就像，好吧，难道你不能，你知道的，是的。可视化音频形式，并且，你知道的，在一个轴上具有频率，在另一个轴上具有时间，或者其他什么。并且，呃，并将它作为一个图像问题来处理，基本上忽略时间维度，或者至少将其转换为另一个空间维度。但我猜想这是，呃，这可能太天真了。是的。

好吧，近年来，这已经成为一种更典型的方法。所以这就是它正在做的。它只是把它当作图像来处理。但是，你知道的，你得到……我想只是在这个图像域上工作更难，对吧？部分原因是数据问题，而且它并不完全是……

我不知道，语义的，对吧？是的，它不是人类可以理解的。是的，完全正确。所以它不是人类可以理解的，也许这就是它如此困难的部分原因。这些都是非常密集的图像，但无论如何，我想我们现在可以开始取得一些进展了。

实际上，我们还将在这里包含一个更有趣的故事。研究人员用AI填充了一个小型虚拟城镇，而且非常温馨。这是斯坦福大学的一篇新论文，名为“生成式代理：人类行为的交互式模拟”。是的，这很有趣。你有一个二维环境

它具有像素图形，几乎就像口袋妖怪。基本上，他们引入了一堆这些角色，它们是独立的ChatGPT。他们提示这些ChatGPT说，你是约翰，你在药店工作。

你有太阳等等。然后他们就让这些东西自由活动，让这些角色决定去哪里。它有点说，好吧，你在这个房间里。这个房间里还有另一个人。你做什么？他们，是的，它以这种方式模拟了一个小镇。

是的，他们似乎暗示它进展顺利，我觉得这很有趣。你知道，考虑到多主体交互的稳健性，人们经常说，当你有多个AI系统交互时，这是一个风险加剧的来源，对吧？因为一个代理可能会表现得很奇怪，然后这可能会像

将另一个代理从他们习惯处理的正常情况的分布中推出来，因此导致他们表现得更奇怪。然后就出现了这种奇怪的升级，一切都乱套了。但我有点想知道，对于像ChatGPT这样的系统，因为它是在如此大量的文本上进行训练的，并且对，呃，

世界以及广泛的一些人类价值观和类似的东西有如此强大的理解，是否也存在某种自我纠正的因素，如果有一个代理说，嘿，电线，另一个ChatGPT代理最终会达到这样的程度，他们就像，嘿，我是一个由OpenAI提供的有帮助的聊天机器人。我不能让你那样做，或者其他什么。无论如何，这让我不禁怀疑，由于这些系统的强大语言模型后端，这是否更稳健一些。是的。

是的，部分原因可能是你如何提示它们的问题。所以在这里你说了你药店店主的全部内容，你总是想改进你的商店等等。所以这是……

告诉它扮演这个非常具体的角色，而不是一个更通用的AI代理，它可能会以更奇怪的方式行事。所以是的，这是一个有趣的实验。你可能想查看链接，因为里面有所有这些非常有趣的图像。我完全愿意。我会玩这个游戏。我会四处走动，亲自与这些代理交谈。所以这很酷。

进入我们的政策和社会影响部分。首先，我们有机器学习专家呼吁轰炸数据中心以阻止AI的兴起。这篇文章讲述了Eliezer Yudkowsky在《时代》杂志上发表的一篇题为“暂停AI发展还不够，我们需要关闭所有AI”的文章。

这是对公开信的回应，许多人呼吁暂停大型AI实验，基本上至少六个月不要训练GPT-5。

这篇文章的论点是，这还不够。应该对大型训练运行进行无限期和全球范围内的暂停。这应该包括关闭所有大型GPU集群，关闭所有训练运行，限制计算能力，并在全球范围内执行此操作，如果另一个国家不遵守，

你可以轰炸他们的数据中心。这在网上引发了大量讨论，关于这是否走得太远。是的，我认为围绕暂停和这篇文章的整个讨论，如果没有什么其他的话，它确实向政策制定者展示了必须采取多严厉的措施

才能在解决许多AI安全人员认为这项技术正在走向的默认方向方面取得实际进展。例如，你可以不同意Yudkowsky的观点。所以，作为背景，他绝对是一个AI安全鹰派。我认为，就公开露面的AI风险悲观主义者而言，他无疑是最悲观的，他的观点是，超过一定的性能阈值，

AI本质上会变得危险，并开始做一些事情，比如寻求权力，最终不可避免地会消灭人类。公平地说，这是基于越来越多的实验和理论证据，这些证据表明事情确实就是这样发生的，但问题是你该如何处理它。

因此，为期六个月的暂停是由生命未来研究所提出的，该研究所由著名的物理学家马克斯·泰格马克共同创立。它提出了你刚才所说的内容，比如，嘿，让我们不要训练任何比GPD-5更强大的模型，因为我们开始担心我们可能会达到这些系统的性能阈值。然后Yudkowsky来了，说，是的，实际上，你认为六个月后会发生什么？

我们控制AI系统的能力，比如AI对齐研究，根本没有跟上能力的进步。六个月不足以产生有意义的改变。我认为这些事情真正做到了，无论你对具体的提议有什么看法，它们实际上已经开始了一场对话，并将此事提请政策制定者注意。我们现在看到美国共和党人和民主党人之间都出现了两党合作的努力，试图思考我们应该对此做些什么？

我认为这是有建设性的，即使你不相信追求权力的AI，即使你认为那里的研究存在缺陷，或者其他什么，仅仅是这些能力的恶意使用。你想想它们可能是什么，比如大规模的网络攻击，AI增强的网络攻击。我们已经看到生物武器设计成为这些东西可以直接开箱即用的事情，等等。我们正在展望一个情报……

广泛分布的世界，其水平非常高。你可以用这种资源做什么，这实际上取决于你作为最终用户。有很多最终用户想要恶意地使用这些东西。所以风险非常高。我们实际上需要采取的政策措施来处理这个问题将是非常严峻的事情，比如远远超出奥弗顿窗口。如果我们要就这些事情进行严肃的对话，成熟的对话，那么奥弗顿窗口就必须扩大。

绝对的，是的。正如你所说，Yudkowsky是AI领域一位知名人士。他可以说是促成这场对话的主要人物之一，甚至可能在20年前，15年前。现在有很多人非常认真地对待这种X风险，灭绝风险。

在某种程度上。这进一步促进了这场对话。许多人一直在谈论这可能类似于核裁军，世界在很大程度上设法试图减缓核武器的研制和制造。这就是提出的类似的事情。

许多人确实批评了直接说应该轰炸数据中心的这一想法。但是是的，我认为除此之外，这正在增加对话，而且是……

只是一个非常粗略的草图，但我绝对可以看到更多的人认真研究这种核裁军模式，至少说，在世界各国军队和政府之间，

应该就哪些是明确的红线达成一些协议，甚至不是危险的眼睛，只是将AI用于虚假信息或普遍地与敌人作对。我认为这是一种真正的可能性。

是的，绝对的。我认为这是一件这样的事情，再次，改变奥弗顿窗口的价值可能在这里最大。我认为值得一提的是，在推特上对此有一些争议，一些AI研究人员，事实上，甚至是AI安全研究人员，他们担心

这有点像是在他们的背上安了一个靶子，有效地通过将“核武器”和“AI研究”这两个词放在同一个句子中，你是在暗示人们应该考虑攻击这些濒危的AI研究人员本身。

我认为，不幸的是，如果我们要认真对待这个问题，如果我们真的要从表面上看这项技术，我认为没有人建议我们似乎没有走上一条实现的道路，比如，

在非常短的时间内获得非常强大的系统，甚至是类似人类的系统。如果这是真的，那么这些系统可能会被滥用，并且据我们所知，它们似乎具有硬编码的、危险的特性。所以如果你要那样看待它们，如果它们确实代表了那种程度的风险，那么就像，好吧，就像，

我们可能应该把武力作为执行这些协议的选项摆在桌面上。不是说我们应该去攻击AI研究人员，那太疯狂了，而是我们应该考虑，“好吧，协议是什么样的，实际上需要什么来执行这些协议？”我们不应该自欺欺人地认为，执行一项禁止训练某些类型模型的国际协议

是的，执行这个词包含了武力。就像我们执行其他国际法一样，我们必须考虑实际上这意味着什么？这很复杂，很棘手，我们必须确保公开的对话是成熟和明智的，并且认识到没有人建议在这里攻击AI研究人员，但硬币有两面，我想，这是一个棘手的问题。是的。

是的，如果我对这篇文章有什么批评的话，我会说，读完之后，它相当……我不一定喜欢它的写作方式。它确实非常关注这种可能的灾难，以及这真的很危险和可怕。但是当它谈到关闭所有东西的解决方案时，只有几段。而且

它没有被非常仔细地构建。它没有被非常仔细或巧妙地表达。我认为可以加入更多细致入微的内容，比如，这就像核裁军。这是在提出国际协议，对吧？有一些明确的红线，不要轰炸OpenAI，对吧？所以我的确认为

促进讨论是好的。我认为你可以对这篇具体的评论文章提出一些批评。这是一篇非常典型的Yudkowsky风格的文章，非常关注问题，而解决方案很少，这反映了他对形势严峻的看法。但即便如此，我认为，是的，如果你要发表这样的文章，就像你说的那样，你只需要更多地关注解决方案，并更详细地勾勒出这些解决方案。

再次回到AI安全问题，关于这些强大的模型，有很多话要说。所以下一篇文章是《科学美国人》上的“AI越来越强大，但研究人员能否使其遵循原则？”它基本上是对AI风险及其相关争论的概述。

是的，他们重点介绍了DeepMind研究人员的一篇具体论文，该论文讨论了这些可怕的场景并讨论了……

你知道的，我们可能需要为之做哪些准备。所以我们确实看到了关于AI安全的讨论大幅增加，希望相关的研究也会变得更加普遍。我认为，如果你有兴趣了解更多关于这个主题的信息，这将是一个很好的起点。

是的，这是一个很好的历史概述。它确实做了一些我在最近关于AI和AGI的新闻媒体中经常看到的事情，那就是试图采用一种听起来负责任的语气。

一种我们都被编程成认为是理性人应该有的那种怀疑的语气。你知道，理性的人会说，哦，疯狂的事情不会发生。没关系。但当然，就像那些理性的人在谈论COVID时也这么说，哦，它不会发生。别担心。AI非常像那些可能走向另一个方向的事情之一。它以这样一句话开头。他们首先谈论阿兰·图灵和他对AGI的愿景。然后他们写道，

但是能够独立完成许多不同任务的真正智能机器尚未发明。我想这是完全错误的。就像，这很明显，我们确实拥有这些能够独立完成这些任务的系统。问题是，你在这里指的是什么任务阈值？但我认为这反映了一种希望听起来冷静和理性的愿望，而这种愿望实际上最终会让你做出一些陈述，

低估了技术的现状，并且没有让人们为它可能走向何方做好准备。所以这有点像，我认为对于报道这些事情的记者来说，这是一个风险。你不想听起来很疯狂。

但现实是，这些系统可以做一些20分钟前会被认为是疯狂的事情。作为一名记者，你如何应对这种情况？我认为这真的很困难。你必须对这项技术的实际技术挑战和局限性以及可以做什么有非常细致的了解，这样你才能避免被绊倒并做出像这样的陈述，我认为这些陈述会误导人们认为

就像我们还没有达到那个地步，而事实上我们似乎已经达到了。是的，这很棘手。而且这是一种双刃剑，例如，我们去年看到一位谷歌的研究人员说，你知道，这个系统是有感知能力的。

谈论Lambda，它类似于ChatGPT。你可以，我认为这在很多方面都是错误的。所以你可以这么说，你知道的，你可以这么说，如果你没有带着太多的理解来看待这个问题，你可能看不到局限性和限制以及这些系统仍然存在的约束，不一定永远如此，但很容易可能真的感到压力很大，

并且真的认为当前的AI，甚至是近期的AI非常可怕，比你真正了解我们拥有什么和我们可能没有的东西更可怕。但我也要补充一点，

我认为在AI开发人员和研究人员中，越来越认真地对待AI安全问题，越来越认真地对待我们拥有极其强大的系统，并且这些系统将很快变得更加强大的这一想法。人们确实越来越这样认为。我会说，在过去的几年里，我肯定在这方面有了更大的转变。

斯坦福大学研究人员最近进行的一项调查，我认为显示大约三分之一的研究人员确实认为可能会出现真正灾难性的后果。所以是的，这是一个关于这种思维方式的很好的历史教训，以及对不同组织目前正在做的事情的一些讨论。是的，我认为对我来说，最大的收获是……

他们对谁相信什么进行了概述。显然，正如你所预期的那样，世界上所有顶级实验室都在不同程度上非常关注AI事故和其他事情造成的灾难性风险。当你关注安全人员时，那些最关注这个问题的人，

他们往往更相信这是一件真实的事情。当然，这里也存在选择效应，对吧？因为显然，如果你对AI风险感到害怕，你就会去安全团队工作，或者你更有可能这样做。但尽管如此，考虑到所有这些，很难走开并说，

好吧，发生这种情况的可能性不到10%，因为这么多认真的人似乎都非常认真地对待它。回想一下我们一直在研究的政策问题，Eliezer Yudkowsky在《时代》杂志上的文章，如果你认为枪是上膛的，有10%的可能性枪膛里有一颗子弹，你正对着你的头玩俄罗斯轮盘赌，

有些人会说，采取一些相当重要的政策措施来应对这种程度的风险是合理的。所以看到这两件事前后相继出现，这很有趣。正如你所说，这是一个很好的概述，可以让你了解最新的想法。

接下来是闪电轮，与我们刚才讨论的内容非常相关。第一个故事是“暂停AI发展只会让中国受益”，前谷歌CEO埃里克·施密特警告说。这来自《商业内幕》。是的，正如它所说的那样，埃里克·施密特不同意公开信，他说一些……

需要采取措施，但这并不是正确的措施。相反，应该采取某种适当的保障措施来减轻可能产生负面影响的事情。

是的，我发现这真的很有趣，因为我们现在已经看到了对那封公开信的各种观点。有人说，是的，很好，让我们去做吧。像Yudkowsky这样的人说，嘿，这还不够疯狂，我们必须走得更远。然后是那些出于各种不同原因不同意它的人。我认为，这是一个不同意它的非常有趣的原因。这是我个人认为最令人信服的原因，但每个人都会有自己的原因。是的，就像他指出的那样，看，

我认为，这是埃里克·施密特本人的一句话，“我认为情况可能比人们所说的更糟。”他指出，这些大型模型具有我们不理解的涌现行为，大致暗示了我们一直在讨论的那种风险。但随后他又指出，“看，如果我们在这里按下暂停键，那么整个中国的AI生态系统都在那里，而且他们的安全意识平均而言要低得多。”对齐并不是

西方在中国所做的事情。如果最终是中国实验室取得突破，而不是我们，那么这会让我们面临更大的风险，更不用说拥有一个实力接近的竞争对手或对手在我们之前开发这些技术所带来的国家安全问题了。所以，是的，你如何调和为期六个月的暂停与中国大概不会加入的想法？

这使得它成为一个非常难以回答的地缘政治竞争问题。

埃里克·施密特提出的一个关键问题是他对政府的回应持怀疑态度，因为他认为政府会以笨拙的方式做出回应。我不认为这是一个最糟糕的假设。但他确实在某个时候指出，政府可能不得不介入。他非常清楚地暗示说，嘿，行业，把你们的事情做好。希望政府不必介入。

是的，我们将拭目以待。正如我们所讨论的那样，《欧盟人工智能法案》即将出台，也许这会有所帮助。对。下一个故事，有人要求一个自主AI摧毁人类。这就是发生的事情。再次，与整个安全主题相关。在YouTube上，有人发布了这个故事。

Chaos GPT实际上使用了我们刚刚讨论过的Auto GPT，基本上要求Auto GPT以连续模式运行，并找到一种摧毁人类并尽其所能的方法。幸运的是，它没有摧毁人类，但它确实展示了某种粗糙性

它表明，你可以想象将它导向一个方向，在那里它获得一些目标并做一些事情，比如谷歌破坏性武器。从这个意义上说，它实际上所做的事情有点愚蠢，但它确实表明，我们应该担心的事情之一不是

决定做坏事或意外地做坏事。是人们可能将AI用于坏事。你知道这对我来说真正做了什么吗？对我来说，最大的收获是，

我认为我们不能指望人类不会说，“嘿，字面意思上告诉AI做坏事。”你给他们一个强大的工具，然后你说，“嘿，这个东西可能会做坏事。”人类会尽可能用力地按下坏事按钮，或者至少有些人类会这样做。

所以无论如何，这很有用。坦率地说，我认为这反映了OpenAI战略部分的智慧，因为你知道，这不是GPT-5，也不是GPT-6。它不是一个像实际上可以，你知道的，

摧毁世界，但我们正在了解人们试图做的事情是什么？然后这些系统会如何回应？从安全角度来看，这是一个有价值的信息。就像，好吧，我们不能指望人们会讲道理。即使他们认为这只是为了好玩，他们也不会给出他们所能想到的最危险的指令。无论如何，对我来说，这就是要点。就像，哇，人真是一种生物。

是的，我认为这也证明了，我认为这是使用基于 GPT 3.5 的模型。所以这是一个很好的例子，OpenAI 可以对 API 设置一些限制。如果你想在谷歌上搜索如何用 GPT 制造武器，也许不要允许这样做。是的。

是的。这就像，嘿，你知道吗，谢天谢地，这个系统的功能并没有那么疯狂。就像也许，你知道，你超过了一定的能力水平，在某个时刻你只是有点，有点把所有的希望都寄托在系统无法做到你要求它做的事情的想法上。所以，是的，这些护栏变得非常非常重要。

是的，没错。就像你可以很容易地预见到一些事情，比如说更谦虚地说黑掉这家银行，把所有的钱都给我，这是可以想象的。所以我们确实需要考虑如何防止这种情况。最后我们有一个故事，加拿大对 OpenAI 展开调查，这里没有什么好说的。隐私专员办公室表示，已经有人投诉

声称获取、使用和传播个人信息，类似于意大利发生的事情。现在他们正在调查此事。

是的，除了这篇特别的说明之外，这篇文章的内容真的很短。我认为值得注意的是，加拿大现在正处于一个阶段，我将说“我们”，因为我在这里，“我们”正在努力弄清楚如何处理人工智能。有一项重要的法案叫做 C-27 法案。作为其中的一部分，有《人工智能和数据法案》。

法案，这非常有趣。这是第一部实际上提出对最终造成损害的人工智能模型的鲁莽部署处以刑事处罚（例如监禁）的立法。根据你在安全方面的立场，你可能会认为这很好，因为罚款并不能真正阻止一家价值数十亿美元的公司。

也许你需要像监禁这样的措施。无论如何，加拿大似乎正在朝着这个方向采取一些更大胆的行动。我真的很想知道接下来我们会想出什么，以及这些法律是否真的会通过。是的。另一个例子，比如欧洲，比如说一些国家正在努力赶上美国。

最后一部分，艺术和有趣的东西，从文章《早期文本转视频人工智能的美丽、滑稽的超现实主义》开始。所以我想在一两集之前，我们谈到了 Runway，他们如何引入一个模型来根据文本生成视频。

现在有一个新的系统叫做 Model Scope，可以主动使用。这篇文章有一些推文展示了你可以做什么。是的，它说早期的结果非常奇怪，而且非常值得做成表情包。这是真的。这很酷。它

让你想起了早期文本转图像人工智能与 VQGAN 的日子。我记得去年我们有，是什么，MiniDolly 还是什么，对吧？是的，Dolly Mini，是的。Dolly Mini 生成了这些非常值得做成表情包的傻乎乎的东西，在 Twitter 上流行了一段时间。所以这非常像那样。看到这些 GIF 非常有趣，并且确实让你想起了仅仅一年前，

这就是你在社交媒体上看到的图像。是的，它确实有那种感觉。就像我们以前经历过这样的事情一样，是的，就在一年前它才开始，至少对于文本转图像来说，它开始广泛使用。我们已经看到更先进的，显然是文本转视频的东西

以更受控制的方式从前沿实验室出现，但这更像是扩散阶段。所以看到这种事情发生以及应用会是什么样子，真的很有趣。就像我，我很好奇这对新闻有什么影响。你知道，我发现自己当有重要的新闻文章或发展时，如果我现在看到一个视频，我会想，哦，好吧。是的。你知道，这是真实的。但如果我看到一张照片，是的，我大脑的 20% 会想，

就像，这是真的吗？你知道，那种，对不起，怀疑的程度。所以我很想知道在我对视频产生同样的想法之前需要多长时间，以及这对我们的媒体环境意味着什么。

是的，不，我们讨论了教皇穿着酷炫夹克的图片，以及每个人都很容易被愚弄。所以现在这是真的。但是对于视频来说，它还处于早期阶段。是的，我认为你应该看看。这篇文章有一些非常有趣的例子，比如速度与激情与……

恐龙，这很有趣。是的，看到它试图生成范·迪塞尔和所有这些不同的角色很有趣。所以是的，它肯定还处于这个值得做成表情包的阶段。

来自 IEEE Spectrum 的下一篇文章。再一次，我们感受到了在迪士尼探索相关的机器人技术。所以这是一些新的研究，一些来自迪士尼的新的工程，想象工程，展示了这个非常可爱的机器人。

整个想法是，在让类人机器人方面做了很多工作。所以这就像一个孩子大小的类人机器人，头部很大。整个想法是，你知道，你可以进行研究，试图让机器人用两条腿走路而不摔倒，但这项研究强调了允许它摔倒并让它发展，让它……

让它恢复活力，这使得它非常有魅力，以及他们如何真正研究如何利用运动来唤起人类情感并传达角色，而不仅仅是四处移动机器人。

是的，它确实突出了其中一件事。人们在强化学习从人类反馈（RLHF）的背景下谈论这一点，就像，你知道，你正在使用你的 AI，然后你正在根据人类反馈、点赞和点踩来微调它。他们在这里做的事情类似，他们正在优化人类身心反应，看到它并说，哦，真可爱。真可爱。是的。

当你优化人类验证时，这可能与优化获得真实输出或有帮助的输出非常不同。

最终，这些情绪可以相当直接地被操纵。这几乎就像……的自动化版本，对吧？就像，那些表演了几百年的演员一直在寻找方法来发展和培养这些怪癖，并展示这种可爱、情感、情感上的可连接性。而我们看到了。是的。就像当你把它当作一个冷冰冰的 AI 问题时，它是什么样子？显然，它看起来像今天的迪士尼。是的。

是的，是的。再说一次，我们将提供指向这篇文章和一些视频的链接。顺便说一句，你真的必须看看这个机器人，它穿着旱冰鞋。所以它做了所有这些试图保持平衡的动作。你可以想象自己穿着旱冰鞋并保持平衡和摔倒。

我们经常在机器人身上看到这一点，我们很容易对机器人产生情感联系。人们给他们的 Roomba 机器人取名字等等，对吧？所以是的，随着我们拥有更多这种娱乐机器人和情感唤起机器人，这是一个有趣的特性。拥有可爱的机器人和娱乐机器人来让我们振奋起来可能是一件有趣的事情。

希望不会操纵我们，但是是的，正如你所想象的那样，这来自迪士尼，这真的很有趣。

接下来，我们有人不断指责同人小说作者使用 AI 来创作他们的作品，没有人知道为什么。有一个网站叫做 Archive of Our Own，人们在那里发布同人小说。最近发生了一件奇怪的事情，有人发了垃圾评论，认为

这项作品是由 Holo AI 基于算法生成的。目前还不清楚这是否是某种促销或垃圾邮件，但它给网站上的用户带来了很多挫败感，这个网站更像是一个小型社区。所以是的，我认为这确实指出了人类将越来越多地被指责或指控使用 AI，而他们可能并没有这样做。

是的，没错。另一方面，我们看到人们对作弊感到恐慌。现在我们看到人们对作弊指控感到恐慌。

这有点像，我的意思是，这在某些方面可能是最可怕的事情，因为你怎么才能明确地为此承担责任呢？在某种程度上，这似乎源于这样一个事实，即，你知道，在过去，如果你要剽窃某些东西，至少你可以查找它，然后说，嘿，看，你确实从这个来源复制了这段文字。

而在这里，这样做并不那么明显。据推测，系统生成的文本记录可能保留在 OpenAI 或 AI21 Labs 或 Cohere 等公司的服务器上。但是你如何实际证明你没有使用这种数据或这种文本，我不知道你该怎么做。我的意思是，人们将很难明确地证明他们实际上创作了某样东西。

绝对的。是的。我记得去年或几个月前还有一个例子，有人因为……

据称使用 AI 生成图像而被艺术子版块封禁，这是不允许的，他们画了那张图像。没有使用 AI。但这就是他们被指控的。是的，这将变得越来越普遍，你是自己创作这幅艺术品还是不是？如果……

我们可以找到一个解决方案。你刚刚让我想到，你知道，如果 OpenAI 提供一项服务，你可以查询并询问，你知道，这是不是 ChatGPT 生成的 AI，这将大有帮助。是的，我想人们也可以使用其他服务。这是一件事。但是，你知道，比如使用 OpenAI 的东西，让 AI21 Labs 改写它等等。但是是的，在某些时候，

这种可验证性似乎将成为这些公司提供的非常有价值的产品。是的。最后一个故事来自 aperture.org，一个摄影网站，它谈论的是 AI 将如何改变摄影。这是一篇非常酷的文章。它重点介绍了几位艺术家，三位艺术家，他们如何利用 midjourney 和这些文本转图像技术

工具来创作艺术。其中一位是劳里·西蒙斯，她在 COVID 期间对 AI 艺术产生了兴趣，并玩弄了达利，现在拥有一个在线的 AI 生成艺术作品集，这与她的风格相符，处理这些 AI 图像，有点像家庭环境中的玩偶。

还有一位摄影师查理·恩格曼，他创作的艺术作品更具超现实主义色彩，人类与椅子等事物融合在一起。所以是的，看到这些多位艺术家并让他们谈论他们的意图以及他们在探索什么以及他们如何使用 AI 来探索它，这很有趣。

是的，这很酷。就像 AI 艺术也在做的一件事是……分离

生成特定图像的技术能力与构思图像本身所涉及的想象力和创造力。显然，就像通常情况下会有互动一样，对吧？就像你开始画东西时，你会对你想在其中画什么其他东西等等产生想法，但这创造了这两者之间更清晰的界限。因此这意味着，你知道，当有人称自己为 AI 艺术家时，首先，我认为这完全是一件合法的事情，可以称自己为 AI 艺术家。

但其次，这与成为一名真正的艺术家是不同的技能，不是吗？你不知道如何画画布或技术性地使用这些东西。你的技术技能和熟练程度是提示工程。

嗯，或者，你知道，也许，也许也越来越多的为 AI 设计初始草图来完成诸如此类的事情。但这确实创造了一个……更容易进入的领域，如果你有非常丰富的想象力，但你没有必要具备将你脑海中的想法转化到纸上的技术才能，这开始弥合了这一差距。我可以想象，你知道，对于这些先锋派、具有高度创造力的人来说，会有更多空间，否则他们可能无法参与整个艺术游戏。

是的，这就是为什么我个人不相信 AI 艺术会让艺术家失业，或者这意味着随机艺术，因为归根结底，是的，你可以很容易地生成一个看起来很酷的图像，对吧？但最终艺术家是……

为了创作艺术而存在，他们创作了一系列作品，他们有自己的风格，他们有自己探索的想法和概念。AI 只是一个工具。你可以很容易地与众不同，拥有独特的视野，拥有独特的讯息。

在某种程度上，因为文本转图像模型非常通用，这只是让人们能够做非常不同的事情，对吧？也许一个问题是现在很容易有人复制你，但这已经是一种情况了。人们欣赏原创性和独特性。所以看到一些已经探索过这一点的人的例子，这很酷。

就这样，我们结束了另一集《上周人工智能》。再次，你可以访问 lastweekin.ai 获取所有这些文章的链接以及我们的文本通讯。

正如我在开头所说，如果您可以在 Apple Podcast 上给我们评论或在 lastweekin.ai 上评论，我们将不胜感激。但无论如何，如果您只是收听，我们将不胜感激，我们下周再见。