#113 - Nvidia’s 10k GPU, Toolformer, AI alignment, John Oliver
01:02:12 Share

您好，欢迎收听Skynet Today的《AI每周播报》播客。您可以在这里听到我们对AI领域最新动态的讨论。和往常一样，在本期节目中，我们将对上周一些最有趣的AI新闻进行总结和讨论。您也可以访问lastweekin.ai查看我们的《AI每周播报》新闻通讯，了解更多文章。我是您的主持人之一，Andrey Karenkov。

我是另一位主持人Jeremy Harris。很高兴能再次参与其中。我的天，这进展太快了，对吧？是的，新闻源源不断。还有更多关于ChatGPT的新闻要讨论。但我认为，由于ChatGPT的出现，整个AI领域都在加速发展，对吧？所以我们还有很多其他内容要讨论。

是的，我也觉得很有趣，这一切都是因为ChatGPT。从某种程度上说，这一切都是因为GPT-3，都是因为GPT。很难确切地说出这一刻是从什么时候开始的，无论这一刻是什么。但看起来人们似乎只是……

现在看到了基于语言模型构建的众多机会，例如使用链式思维或构建Toolformer，或者在现实世界中采取行动的工具，但这些工具从根本上来说都是语言模型。这是一个令人着迷的时代。在你看来，这是加速的根本原因吗？还是来自更强大的计算能力或其他什么？

我认为，我们看到GPT-3出现了一波炒作。在Twitter上，有很多应用程序和许多小型初创公司，但我认为现在它已经变得如此主流，以至于即使你不是AI专家，即使你不是软件人员，你也知道它现在就在那里。即使你不是科技投资者，你也知道它现在就在那里。所以，

我会说，它一直在积累到这一点，现在我们到了，对吧？是的。

是的，我想在某种程度上你是对的。ChatGPT之类的东西，它使得人们更容易找到理由在更大规模的系统上投入巨资。所以这一切都是相互关联的。好的，让我们开始讨论新闻报道吧。首先，我们来看一下我们的应用和商业板块，首先是……

文章《价值1万美元的英伟达芯片正在推动AI竞赛》。Jeremy，你对此有什么看法？嗯，我

我认为这很有趣。对于那些从事AI工作的人来说，英伟达A100是他们使用的GPU，这并不是什么新闻。但我发现这篇文章很有用，因为它对GPU计算的现状提供了一些概述。

首先，他们给出了英伟达市场份额的具体数字，我认为每个AI领域的人都觉得他们非常强大，但你可能没有意识到它的市场份额高达95%。这非常令人印象深刻。

一些数字总能帮助人们了解参与大规模AI意味着什么。他们提到，使用数百或数千个价值1万美元的A100 GPU是很典型的。这让你对数量级有了很好的了解。我们说的是数百万、数千万甚至数亿美元的基建投资。

他们举了Stability AI的例子，许多人通过Stable Diffusion和这些图像生成模型了解这家公司。他们谈到他们去年拥有32个A100，也就是价值32万美元的A100，而今年则拥有超过5400个。所以我们在这里谈论的是这家公司在GPU上的支出，这开始让人关注这些东西在战略上的重要性。英伟达的Jensen Huang。哦，对不起。是的，是的，完全正确。从战略上来说，这很疯狂，因为它不是……

字面意思是这些公司拥有超级计算机，但他们正在花费可以用来建造超级计算机的资金。如果你想进行大规模AI，例如语言模型或文本转图像，或者很多事情，你都需要为此类事情投入数百万美元。

是的，百分之百。这也意味着英伟达的收入会增加。文章中谈到了Jensen Huang。你可以想象一下，他坐在十一月或十月的办公桌旁，规划着2023年对他来说会是什么样子？他会在黑板上写下一些数字。然后ChatGPT出现了，必应聊天出现了，然后，他基本上是在谈论如何

我们不得不重新评估我们的目标，因为他们的股票今年上涨了65%，或者其他什么。所以，你知道，英伟达确实是这场变革的巨大受益者。正如他所说，毫无疑问，无论我们对今年的看法如何，在我们进入这一年的时候，在过去的60到90天里，它已经发生了相当大的变化。所以，你知道，巨大的变化正在快速发生，而且，你知道，

总之，这份文件中有很多非常有趣的数字，他们也谈到了下一代产品Hopper H100。显然，A100并不是终点。也许最后要提到的一点是，如果你不关注计算领域，H100是专门为Transformer设计的。

所以我们不再谈论为深度学习设计的GPU了，而是你正在训练哪种深度学习模型？哦，你正在训练Transformer？这是专门为此设计的硬件，这反映了这样一个事实，即注意力是你需要的一切，Transformer越来越像我们所需要的一切，或者至少是很大一部分。看到实际的硬件反映了Transformer的广泛应用，真是令人惊叹。

是的，这非常有趣。过去，GPU之所以强大或非常受欢迎，是因为它们的通用性，对吧？你可以把任何东西都放在里面。现在，围绕这种神经网络类型已经出现了一些融合。现在我们仍然有GPU，但它们开始变得更专业化了，这真是很有趣。

因此，像往常一样，我们将在描述中提供所有这些故事的链接。你可以查看故事了解更多信息。了解所有这些英伟达GPU知识还是很好的。但是

我们要跳到下一个故事。生成式AI即将冲击法律行业。这是一篇来自《连线》杂志的非常好的详细文章，讲述了AI目前在法律领域的应用。最近有一个关于公司

律师事务所与Harvey公司合作的重大新闻，这篇文章讨论了另一家公司Dillon & Ovaries现在如何使用Harvey，并且讲述了一个很酷的故事，Dillon & Ovaries

从去年9月开始试用该工具。然后他们只是把它给一些律师，让他们回答问题或起草文件，或者，你知道，写信息。你知道，它一开始规模很小，现在他们有，你知道，数千人，实际上是3500名员工遍布各地使用该工具。

仅仅几个月的时间。现在它变得更正式了，他们正在建立正式的合作伙伴关系，而这个工具Harvey可能会

发展壮大。是的，这是一篇很好的文章，讨论了这些最新的趋势，以及关于AI和法律的很多讨论，但现在看来，你知道，它真的会存在，并且很快就会被每家公司使用。

是的。而且，尤其是在法律行业的风险状况下，这一点尤其有趣。你可以想象，你知道，你有一群实习生。通常你会相信你的实习生会仔细审查法律先例和旧案件等内容。嗯，

当你开始将这项工作外包给AI时会发生什么？如果出了问题怎么办？你是否开始失去这种，我不知道，我不想说职业道德，但人们自己查阅原始资料的习惯？我不知道这篇文章是否讨论了这个问题。是的，他们确实讨论了这些问题，其中包括语言模型的幻觉……

他们与Harvey的CEO和创始人谈论了他们处理这个问题的一些技术方法。所以它不仅仅是一个语言模型，他们正在针对大量的法律数据集对其进行微调。所以这很有帮助。然后，这家公司Dillon & Ovaries表示，他们有一个针对技术的谨慎风险管理计划。所以我想

我会说，随着人们开始普遍使用它，我实际上会有点乐观，他们会小心谨慎，而不是完全信任它。

是的。我的意思是，我个人认为，大型语言模型在总结大型法律文件方面具有巨大的潜力，我敢肯定你做过很多次。你可能会点击“我接受条款和条件”。我敢肯定，我的长子现在已经被卖给了许多不同的巨型公司。但是，

这些工具的承诺是能够在一定程度上平衡那些负担不起法律学位的人和那些能够负担得起成群律师的人之间的差距，以便

起草所有这些文件。所以我对这方面也很感兴趣，从长远来看。也许最终会使人类协议更容易起草和遵守，并减少需要参与的律师人数。我想这不会损害任何人的利益，除了律师事务所。是的，这很有趣。如果我们也能理解法律方面的内容，也许对律师的依赖会减少。

但是，接下来我们来看一下其他一些新闻，我们有Vicarious Surgical裁员14%的消息，Vicarious在外科手术方面进行机器人研究。看起来他们可能正在裁员。

是的。正如你所说，Vicarious是一家专注于特定类型的疝气手术的公司。美国每年进行数百万例疝气手术，其中约有50万例符合Vicarious Surgical想要进行的特定类型疝气手术。他们的技术，是的，外科医生远程控制这些执行手术的机械臂。

这对于机器人技术来说是一个有趣的时期。你知道，我和很多风险投资家和创业公司的人聊过。我一直在听到的一件事是，关于ChatGPT的讨论，关于大型语言模型的讨论，就像是在为许多机器人公司抽走空气。他们有点想说，嘿，看看这里，我们也在做有趣的事情。

我想，你知道，目前还不清楚这是否是直接原因，但Vicarious肯定发生了裁员。他们将利用这笔资金为研发创造更多预算空间。所以，你知道，

鉴于许多新工具带来的额外优势，这可能是一件好事。所以他们可能正在考虑利用我们一直在讨论的，并将要讨论的一些行动Transformer技术。但他们现在有两年的资金储备。所以这应该足以渡过难关。但Vicarious Surgical绝对是一个大型的新兴参与者，许多人都对此感到兴奋。所以我认为值得一提。

是的，是的。我认为这也是一个更广泛的趋势，许多初创公司，就像我们看到的大公司一样，谷歌、脸书裁员10%，对吧？我认为初创公司在经济低迷时期可能更犹豫是否要裁员。与之相关的是，我们的下一个故事是Alphabet裁员影响了初创公司。

垃圾分类机器人。这是关于谷歌内部的一个部门Everyday Robots，

最初是一个前“登月计划”，该团队基本上试图让机器人做一些对办公室有用的事情。所以他们有这些带有机械臂的移动机器人，可以清洁自助餐厅的桌子或分离垃圾和可回收垃圾等等。它有点像产品团队和研究团队的混合体。

现在它已经被肢解，结束了，这有点令人难过，因为它一直在做很酷的工作。是的，这有点令人惊讶。我真的很想知道在这些低迷时期做出的决策。我认为机器人技术与AI炒作周期足够接近。我不认为这是一个炒作周期。只是AI现在可以做很多令人兴奋的事情。有时看到公司以这种方式撤出，令人惊讶。

例如，我们看到Facebook稍微减少了对元宇宙的投资，并转向AI。即使在低迷时期，微软也在加大投资等等。所以，总之，看到在哪里裁员，在哪里没有裁员，这很有趣，也许谷歌或Alphabet的举动有点令人意外。是的，我知道。他们一直在做非常非常酷的事情。我的印象是，它只是……

投入了太多资金。这篇文章说他们有超过200名员工，这相当多。它确实说，部分工作将被谷歌研究的其他部门吸收。所以它并没有完全消失。是的。是的。

接下来，我们有亚马逊云与初创公司Hugging Face合作，AI交易升温。亚马逊上周宣布，它将与Hugging Face合作，这是一家做各种事情的公司。它做的许多事情之一是托管AI

AI模型，这些模型可以做各种事情，还可以进行演示。所以你可以直接访问该网站运行程序，或者获取代码或其他东西。我认为这非常有趣。Jeremy，你认为呢？

是的，我认为显然亚马逊通过AWS和其他许多部门拥有巨大的分销能力。所以这对于Hugging Face来说可能更多的是一个分销策略。我认为亚马逊也希望更多地参与生成式AI。当我们考虑现在生成式AI领域的主要参与者时，显然有谷歌、DeepMind、OpenAI、微软、Anthropic。

然后你开始四处寻找。令人惊讶的是，亚马逊并没有像他们可能那样占据榜首。他们正在朝着这个方向做越来越多的工作，但这可能是更全面参与生成式AI竞赛的又一个重要步骤。

是的，我很想知道这将导致什么结果。感觉这可能会让在AWS上部署东西更容易，但也许还会有另一个语言模型。让我们拭目以待。是的。

然后在消费者方面，我们的最后一个故事是Spotify的新AI驱动DJ将为你创建自定义播放列表并进行语音解说。这刚刚宣布。有一个简短的视频，你知道，它试图模仿一个广播DJ，提供一些评论，然后你可以在不同的曲目之间切换，呃，

老实说，这并不算太令人印象深刻。我觉得这并没有使用什么太花哨的东西。我们很长时间以来都有AI播放列表了。所以我认为这从另一个方面来说很有趣，你知道，炒作周期方面，现在Spotify不得不参与其中，制作一个AI驱动的DJ，这并不是一个糟糕的主意。

是的，我的意思是，同样有趣的是，所以，我想这里有两件有趣的事情。其中一件是，你知道，你有时会觉得人们拿着锤子找钉子，你知道，他们有一个很棒的工具，他们知道AI可以做一些新的事情，然后他们试图尽可能地把它塞进很多地方。所以，你知道，我作为创业公司的创始人，会这样看，好吧，这不是你开发产品的方式。

但这里有一个重要的区别。这是一组比我们习惯使用的产品化工具更具延展性的工具。通常你会构建一个网站，构建一个应用程序，一个按钮只能做一件事情。你会构建这些非常具体的按钮集，整个东西只有一个功能。而对于这些语言模型来说，你总是可以通过提示来改变它们可以为最终用户提供的价值。

所以也许情况是这样的，即使公司只是测试一个异想天开的想法，他们也不会发现自己是在浪费钱，因为通过改变提示，通过重新训练或微调等等，很容易调整这个想法。也许这是今天使用AI开发产品与五年前、十年前不使用AI进行产品工作之间的根本区别。

是的。我认为另一个方面是，如果你看一下演示，我的印象是，嗯，

它不仅仅是使用语言模型。更像是DJ要说的话是预先写好的。就像一个模板，有很多人工写作，也许还有一点即兴发挥的空间。所以我认为我们也看到了这一点，很多公司都会宣布一些是AI的功能。你已经看到过这种情况了，对吧？它是AI，但是

它并没有做任何太花哨的事情。它不一定在大量使用GPT-3。所以，很好。接下来是我们的研究和进展故事，首先是Toolformer。语言模型可以自学使用工具。Jeremy，你标记了这个，你对此有什么看法？

是的，我的意思是，非常酷。而且从安全的角度来看，是的，这是一篇展示你所认为的这些语言模型能够做的事情的论文之一，

也许比你想象的要大一些。他们基本上是在谈论一种技术，你可以使用这种技术来让这些大型语言模型不仅学习，我们不仅仅是在谈论提示它们并在提示中给出使用API或工具的例子。

而是实际上找到一种方法让这些语言模型自学如何使用新工具。所以这是一种，我认为它从这样一个角度来看很有趣，当一个新模型出现时，人们总是会问的基本问题是，这个东西到底能做什么？

这是一个重要的问题，因为有时语言模型，或者更一般的模型，具有一些危险的、恶意的能力。开发这些模型的公司在完成模型构建时并不一定知道这些能力。众所周知，当GPT-3发布时，你可以用它来编写网络钓鱼邮件。OpenAI当时没有意识到这一点。他们只是拥有这个擅长自动完成任务的东西，令人惊讶的是，它具有所有这些恶意应用程序。

所以这在这个方向上又迈进了一步。如果我们拥有这些能够自学使用任何工具的系统，并且他们在这里使用的工具类型是计算器、日历、维基百科搜索引擎、机器翻译引擎等。所以，你知道，非微不足道的工具。如果你能让这些系统弄清楚如何使用这些工具，那么你就会开始思考，哇，我甚至怎么能想到这个模型的应用范围？

那就是关注恶意方面。当然也有积极的一面。我的天哪，这有多有用？我的意思是，一个通用的工具理解模型，你可以用简单的英语提示它做任何你想做的事情，比如使用任何你想要的工具。我的意思是，这太令人着迷了。我认为他们用来实现这一点的一个非常有趣的技巧。总之，是的，我认为这是一个非常非常酷的飞跃。

是的，不，这非常令人兴奋。我认为将语言模型与这些API结合起来非常强大，而且我们才刚刚开始探索。我认为这篇论文的核心思想非常巧妙，你实际上必须从……

你确实需要提供API的模板。你确实需要给出一个或两个例子。他们提出的总体思路是，给定一些数据集，你可以添加一些API调用，并随机采样它们，看看哪些有效。

使预测正确的文本更容易，哪些无效。所以，就自学而言，他们的想法是你可以收集更多数据，然后对更多数据进行微调，这非常巧妙。我要说的是……

这确实限制了可以使用的API的复杂性。这些东西，计算器、日历，我认为这些东西相当直观，你不需要提供超过文本输入的东西。

呃，所以如果你得到像3D建模或绘图之类的工具，那并不是Toolformer所关心的。它关心的的是，你有一个API，你可以用一些文本发送请求，你会得到一个响应和一些文本，就是这样。

以及它能走多远。但是，我们仍然没有多少使用API的数据集。我真的不知道我们是否真的有。所以这是一个很酷的演示，你可以在没有人工干预的情况下收集这些数据。是的，看到

我不想说很简单，但很可爱，现在出现的这些想法是多么有趣，因为我们能够用简单的英语提示这些系统。你不需要过多考虑执行过程。你只需要想出一个概念，例如，“如果我能用这个小技巧教我的模型呢？”测试起来非常便宜快捷。

所以我感觉这正是人们开始探索让这些语言模型自学或做类似事情的许多有趣，同样可爱的想法背后的部分原因。所以，是的，我认为这可以作为这一趋势的另一个例子。是的，也许吧。

然后接下来，我想回顾几周前讨论的一些工作，我们将暂时离开语言，讨论一下强化学习，以及让代理不仅仅是处理一些输入并产生一些输出，而是从反复试验中学习，这是语言模型无法做到的。

这是一篇来自DeepMind的论文，本月早些时候发表，题为《开放式任务空间中的人类时间尺度适应》。这与DeepMind的长期目标一致，即看看我们能够将强化学习，即通过反复试验学习，推进到什么程度。在这项工作中，他们表明，如果你扩展……

在多种方式上。所以我们使用了一个Transformer，我们使用了一个Transformer Excel，他们使用了一组大量的不同规范类型的可能任务。

他们展示了类似于GPT-3的方式，你可以提示这些语言模型做很多事情。在这里，他们展示了你实际上可以非常有效地让代理从反复试验中学习。如果你在大量的可能任务上进行了所有这些训练，那么仅仅经过几次试验，无需对权重进行任何更改，

仅仅通过汇总观察结果，代理实际上就可以学习在任务中应该做什么并进行调整。这使用了不同的想法。所以它并不简单。有元强化学习。有一种基于大型注意力的内存架构。

他们也有一个课程。但很高兴看到强化学习和真实的具身代理领域取得了更多进展，在这个领域中，你没有被动模型。你拥有持续与世界互动以实现目标的东西。

是的。而且也很有趣。它让我想起了人们过去关于AI学习速度与人类一样快意味着什么的争论，对吧？就像，你知道，人类当然能够在第一次遇到新的数学问题时学会解决这些问题，前提是他们不是六个月大的婴儿。

对。所以有一个问题是，什么算作学习阶段。越来越多的证据表明，AI和人类可能非常相似，都需要预先加载大量知识。然后，一旦你让它超过一定的阈值，那么在上下文中，学习就可以接管。然后元学习就可以接管，你就可以快速地学习任务。看到这一点很有趣，你知道，

以一种与人脑类似的方式成形。大脑本身是由数十亿年的自然选择构成的。所以它已经从学习中塑造，如果你愿意的话，通过这种方式跨越几代人，再加上童年和早期的生活。然后我们可以开始实时解决问题。以同样的方式看待机器，给他们一个庞大的数据集，进行预训练，然后你就会开始看到这种即时学习。所以，总之，看到这场辩论中的中间立场成形很有趣。

是的，这是一个很好的观点。我认为这可能是一个很好的类比，现在……

我们的大脑中有很多内置的结构用于视觉、运动和语言。这可以被认为是这些东西从汇总大量经验中学习的结果。与之相关的是，我还想提到，不用过多解释，本月早些时候发表的另一篇题为《RT-1 机器人Transformer》的论文，这几乎是类似的。它只是……

拥有一个巨大的Transformer和大量的数据，以及机器人所看到的图像和一些文本指令。他们表明，如果你有足够的数据，拥有足够大的模型，你可以非常有效地做很多事情。所以我认为看到这一点很好

关于具身智能体，仍然有一些工作要做，这并非易事，我想说。我认为从语言过渡到其他模式仍然存在一些重大挑战，看到这一进展非常令人兴奋。那么，因为我知道你更关注视觉方面的事情，你对仍然存在的更大挑战有什么看法？

好吧，我认为其中一个挑战通常与例如 DeepMind 的论文有关，你需要从强化学习和反复试验中学习。到目前为止，这些东西都没有真正从反复试验中学习。我的意思是，Chad GPT 有一些微调，但它不像你与世界互动并试图完成某些目标那样。所以……

我认为这可能是 AGI 重要的一个主要挑战，对吧？因为你需要能够在没有海量数据集的情况下自学，你知道，通过尝试事情。而这并不是你一定能从数据集中学习到的东西，也许吧。另一件事是，是的，一旦你得到图像，并且，你知道，不仅仅是图像，观察，文本，

这些转换器仍然有有限的上下文窗口。这会很快耗尽那个空间。而且对于如何继续扩大上下文窗口或添加某种内存，仍然没有很好的答案。因为现在，它只是对你能扩展这些当前架构的程度有限制。是的，这让我有点好奇——

好吧，实际上，这可能是下周的一个话题，因为我今天早些时候才看到这篇文章。我认为它来自 Meta，将大脑的结构与 AI 系统的工作方式进行了比较，并根据此得出了一些关于实现 AGI 所缺少内容的粗略猜测。但是，对于人类来说，最接近上下文窗口的等效物是什么？那是多久？无论如何，这些都是你提出的

你让我思考的问题，但也许你下次可以这样做。也许下周。也许下周。是的，是的，是的。现在我们将用更多故事来结束。首先，Meta 通过新的语言模型加剧了大型科技公司在 AI 领域的竞争。Meta 发布了 LAMA，即大型语言模型 Meta AI 的缩写，它……

它与 GPT-3 类似，从根本上来说是相同的理念，并且具有相当令人印象深刻的性能，这很有趣。

是的，而且它的训练数据量是 OPT 的 10 倍。我认为我们在这里看到的一个有趣的事情是围绕着我应该将数据集扩大多少？我应该将处理能力扩大多少？我应该将模型大小扩大多少？显然，这可以追溯到，好吧，GPT-3 最初表明，嘿，你知道吗？你让你的模型大得多，你就能得到好的结果。然后我们得到了 Chinchilla，它说，实际上，你知道吗？

你应该让模型稍微小一点，加大你的数据。也许我们在这里看到了 LAMA 的体现，对不起，我不得不这样做，在数据方面比 OPT 大 10 倍。它将基本向所有人提供非商业许可证。这是 Meta 做这件事的另一个例子

玩这个游戏，看来是这样的，快速跟进。所以一些大型实验室会取得重大突破，然后几个月后，Meta 会推出该突破的开源版本。我们已经看到这种情况发生在许多其他系统中。实际上，OPT 就是一个例子，它基本上是 GPT-3 的规模。

但我认为真正有趣的是，这里最大的收获之一是这个 Lama 模型与之竞争，或者它更大的版本，它有 650 亿个参数，显然与谷歌的 Chinchilla 和 Palm 竞争，后者是一个 5400 亿个参数的模型。所以它向你展示了并非所有缩放都是平等创建的。也许你可以在 650 亿个参数中投入更多力量，这比我们以前想象的要多。

然后他们的 130 亿参数版本与 GPT-3 竞争，后者大约是 10 倍，实际上超过 10 倍。所以这很有趣，你知道，你可以减少一个数量级的，至少是你的参数缩放与数据缩放，这是一种对所有这些不同成分之间平衡的很好的测试。

是的，是的。这很酷。而且我认为它是开放的，因为这与 GP3 竞争，并且代码就在那里。而且这是在公开可用的数据上进行训练的。它不像很多这样的东西，GP3、chat GPT，你知道，都在那里。所以从根本上说，如果他们有足够的资金和技术，有人可以自己训练这个。所以是的，这很令人兴奋。

是的，是的。而且，你知道，你也要考虑恶意应用程序，它也适用于这些目的。AI 中的一切都是双刃剑，但我对人们开始用它来构建什么感到兴奋。你知道，人们一旦能够打开这些强大的模型，并且，你知道，使用中间层和所有好东西，他们能做什么？是的，是的。

接下来，我们有麻省理工学院的研究人员开发了一种新技术，可以使机器学习量化其预测的置信度。这来自麻省理工学院。你不会太深入研究它。这展示了在使用更少的处理能力和无需额外数据的情况下，不确定性量化的新的结果。我认为这值得注意，我认为，

作为我们部署这些系统到现实世界中时的一个有趣的问题，能够不仅产生模型的输出，而且产生模型的置信度分数，我认为这将非常重要。我认为这将真正有助于校准何时信任模型，何时不信任模型，诸如此类的事情。即使是 chat GPT，你也可以做类似的事情。所以很高兴看到在这方面取得了一些进展。

是的。他们是否提到过关于这种问题，你知道，比如如果你问一个人，你知道，所以，好吧。所以你认为，你认为，我不知道，你今天应该购买特斯拉股票。然后你说，你对今天应该购买特斯拉股票有多大的信心？如果这个人是，

假设这是一个非常愚蠢的人，你知道，他们做出了错误的选择，但他们可能会对这个选择非常有信心，因为他们对世界的精神模型是如此的破碎，以至于它不仅使他们的预测错误，还使他们对该预测的不确定性估计错误，换句话说，不确定性只与基础模型一样好，这是他们讨论的一部分，还是……是的，这基本上是挑战之一，即……不确定性校准

所以当你校准时，你会有正确的不确定性输出。

当然，当你处理例如，如果你处理的是异常数据，你可能会在量化你的不确定性方面遇到一些问题。所以这是一个具有挑战性的领域。这很好，主要是因为它创建了一种更简单、更便宜的方法，你也许可以部署它。但已经有很多工作了。所以我认为有可能变得有点强大。很好。

转向一个非常现实的应用，我们有机器学习使长期大规模珊瑚礁监测成为可能，关于保护主义者现在如何使用名为 Delta Maps 的工具监测气候变化对海洋生态系统的影响，该工具评估哪些珊瑚礁最适合生存，并且

可以告诉你应该将保护工作目标放在哪里，一位科学家如是说。你可以使用此工具来检查气候变化对大型海洋生态系统中连通性和生物多样性的影响。它基本上就像珊瑚礁的分类策略。是的。

是的，很高兴拥有。再一次，我们将看到气候变化的很多事情。是的，这也是最终的异常数据问题。是的。最后，我们有 AI 如何帮助设计治疗阿片类药物成瘾的药物。这讲述了我们之前如何看到类似的研究，其中这使用 AI 来帮助探索可能阻断特定受体（称为 kappa 阿片类受体）的药物

化合物。是的，我们发现你可以遍历很多选项并找到一些有希望的变体。显然，如果我们能够取得进展，这将是一件大事，因为每年有超过 80,000 名美国人死于阿片类药物过量。所以这是一个

这是一个极其巨大的问题，看到 AI 现在正在帮助解决这个问题很有趣。是的，我认为这可能是我们几周前讨论过的问题之一，但这个想法是，许多剩下的问题，尤其是在生物化学或生物医学等领域，

是这些高维、高数据量的问题，人类根本无法解析。人类不可能观察蛋白质的结构或受体的结构或其他东西，然后说，哦，好吧，这些东西会一起工作。所以现在 AI 正是许多这些事情的完美工具，并且很高兴看到由于规模带来的优势而解锁的事情所取得的所有进展。是的。是的。

跳到我们的政策和社会影响部分。首先，我们有来自 OpenAI 的关于 AGI 及其未来的规划，这有点，我不知道，我不知道该怎么称呼它，立场文件，也许是一种社论，关于 OpenAI 如何看待 AI。

AI 的前进道路以及如何实现它。Jeremy，你的印象是什么？

是的，我同意。我认为立场声明，我认为宣言听起来有点像特德·卡辛斯基，但这是一种关于 OpenAI 认为未来可能如何发展以及他们如何看待自己在其中扮演的角色和引导它的声明。这篇文章显然是由 OpenAI 首席执行官 Sam Altman 撰写的。有一些摘录我认为特别有趣。所以一个我

我认为特别有趣的是这个想法，他们说我们希望成功地应对风险，在应对这些风险时。我们承认，理论上看起来正确的事情在实践中往往比预期的要奇怪得多。我们相信，我们必须通过部署功能较弱的技术版本来不断学习和适应，以最大限度地减少一次性成功的情况。

这是一个非常有趣的，我的意思是，如果你正在关注 AI 安全领域的话，这是 AI 安全的核心辩论之一。这场辩论是关于我们是否只有一次机会让 AGI 做对。

我们第一次构建 AGI，如果我们稍微弄错了，事情就会变得疯狂并立即杀死我们所有人，或者我们是否能够迭代地做到这一点，测试事物，看看它们是如何崩溃的，并逐渐塑造系统？在这种情况下，也许这是一个更乐观的场景。

现在 AI 安全领域存在一种非常大的极性，一些人认为这是一种一次性成功的情况，而另一些人则认为可能是更具迭代性。OpenAI 肯定更倾向于迭代方面，这就是为什么他们倾向于部署他们的系统。他们也关注政策。他们专注于尝试

公开发布他们的系统，以便政策制定者和机构有时间了解正在发生的事情。这是一个重要的主题。我认为我真正想强调的最后一件事是，让我看看这里。

实际上，有很多有趣的。但无论如何，我想强调的一件事是，他们谈到了 AI 安全和 AI 能力作为单独的事物，这并不像人们曾经认为的那样有意义。

我们通过 ChatGPT 看到这一点。同样，ChatGPT 不是 GPT-3 的更高级版本。它是 GPT-3 的更对齐的版本。它是 GPT-3 的一个版本，我们已经弄清楚了如何更仔细地引导和控制它。正是这种可控性，我们解锁了所有价值。几乎没有人听说过主流的 GPT-3，每个人都听说过 ChatGPT。似乎有所作为的事情可能是对齐组件。

我们今天可以从 AI 系统中获得的价值似乎在某种程度上受到安全性的限制。所以也许将这些结合起来是有意义的。无论如何，André，作为可能更多地从能力方面看待问题的人，你对此有什么想法？ANDRÉ BIRCH：是的，我认为这是一篇相当不错的文章。我不会说我发现任何令人惊讶的东西。我认为很多这都是 OpenAI 的立场，这有点像总结。

是的，我认为你所说的这些要点，AI 安全和能力应该交织在一起是一个我最近发现非常有趣的观点。然后我认为也很酷的是，我认为这主要关乎短期，大部分都是。所以它实际上并不是在谈论，你知道，

关于 AGI。有一部分是关于它的，但它实际上是在谈论，与此同时，到目前为止我们还没有 AGI，当我们似乎正在接近它时，我们应该做什么？所以，是的，我认为如果你没有关注这件事，那么它值得一读。我还发现有点有趣的是，稍后它说应该对所有试图构建 AGI 的努力和重大决定的公众咨询进行严格审查。

我不知道我是否能认真对待这一点。我不确定 OpenAI 是否正在游说监管或支持欧盟监管方面。如果你真的相信这一点，我会说你可能应该只是游说政府进行监管。但是是的，我认为关于 OpenAI 在思考什么的评论很有趣，并且考虑到他们正在构建 ChasGPT，这是一件大事。

是的。我的意思是，要仔细分析关于监管以及 OpenAI 可能支持的程度的这一点，我认为一个复杂因素也是，它也必须是正确的监管。要做到这一点太难了。而且，你知道，我们已经看到了一些事情，例如欧盟 AI 法案，似乎有点不妥，比如在术语定义方面有些事情有点偏离轨道等等。但是，

至少，这可以作为对现在知道什么是 ChatGPT 的政策制定者的呼吁。他们知道 OpeningEye 是创建它的公司。OpeningEye 拥有这种信誉。从某种意义上说，这使人们合法地努力说，嘿，你知道吗？是的，应该有一些真正的审查。如果我们谈论的是将要构建人类级别智能的实验室，并且认为自己接近于做到这一点，那么它确实看起来……

仅仅说，“好吧，是的，你做你想做的，我们会在任何时候检查。”实际上，关于规范化，也许我要提到的最后一件事是，在这篇文章中，Sam A 所做的一件事是他说，“看，很多人认为 AI 风险或长期存在性风险或 AI 风险是一件可笑的事情。”

他基本上说，我们认真对待它。事实上，我们确实认为它可能是存在的。再说一次，无论你对 OpenAI 的安全性的看法如何，比如他们是否真的这样认为，无论如何，当世界上最领先的实验室之一即将做到这一点时，这确实开始改变主流的讨论，他们说，我们认为这里存在生存风险。我认为 Satya Nadella，微软首席执行官，也公开表示了同样的观点。是的，不，我认为这很有趣

可能会接触到以前没有看到这些事情的眼睛，这是一件好事。也许说到这一点，也是一篇社论或观点，你写了下一篇文章，ChatGPT 对国家安全新未来的意义。所以也许你可以继续告诉我们它的意义是什么？

是的，我加了这个。为了让听众了解情况，Andre 非常友好地每周都会整理这份精彩的 Google 文档，我们会在其中添加我们的文章。我只是想，哦，我只是要把它滑到这里。这是一篇我几天前在加拿大背景下撰写的一篇文章。是的，基本上，这只是在争论，就像，

我们在这里讨论的所有事情，或者许多事情，AI 是一种两用技术。你可以将它用于善与恶。我们已经看到诸如 chat GPT 之类的东西被用来制造新型恶意软件。基本上，你想到的是大规模的网络钓鱼攻击、信息操作。我们在 AI 方面取得了突破，可以帮助我们设计更好的生物武器等等。在某个时候，你开始怀疑，可以吗？政府在这一过程中视而不见是否明智？

政府在行政级别，非常靠近国家元首的地方，是否不应该有一个结构来追踪 AI 系统的风险？当你与这个领域的人交谈时，他们会告诉你，他们完全预计某种戏剧性的 AI 增强的恶意软件攻击、网络攻击将在未来两三年内造成全球范围的损害。年数不长。

因此，仅仅想到，你知道，嘿，这些政府可能应该建立一个结构。我们称之为 AI 观测站，至少我的团队是这样称呼的。是的，只是为了了解机会和风险，还有诸如劳动力中断之类的事情。你可以想象，这将是根据其位置进行跟踪的事情。但当然，国家安全风险、来自未对齐 AI 的风险，所有这些事情，我们都应该关注它。这基本上是这篇文章的全部内容。我在这里为你节省了点击。非常欢迎大家。就是这样。

是的，我认为这是另一个例子，这种对话一直在进行。AI 已经有点疯狂了。但是现在，如果你落后了，如果你还没有真正开始在你的政府中建立一整套专业知识，那么你就必须这样做。例如，加拿大确实有 AI 战略。我认为大多数……

就像，大多数国家几乎都有某种 AI 战略文件。但我认为现在你可能不仅仅是谈论它，你可能需要一个部门，一个整体，不一定是分支，而是一组人，他们跟上 AI 的发展，并且可以思考它，并且，你知道，做需要做的事情。所以……

这是一个很好的观点，我相信我们也会看到更多关于这方面的讨论。好吧，是的。最后一点关于这方面的快速说明。你有很多国家都有 AI 战略。它们大多是加速战略。他们会说，嘿，我们如何让我们的国家为尖端技术做出贡献？而不是说，天哪，我们有可以造成真正……

真正的伤害的 AI 系统。而且现在 AI 能力的所有曲线都在垂直上升，并说，好吧，我们是否应该开始考虑反扩散语言？我们是否应该开始考虑国家安全语言？这种语言现在还不存在。所以，你知道，我希望看到更多政府参与其中。无论如何，这就是我从加拿大角度对这个问题的看法。

FRANCESC CAMPOY：酷。像以前一样，我们将提供链接。因此，如果你想查看更多详细信息，请继续点击它。我们将继续进行闪电轮，从 AI 对齐和 AI 中的不确定性讨论开始。所以这是来自一位 AI 研究科学家 Nathan Lombard 的 Substack。它谈论的是，正如标题所说，几乎在 AI 社区内部的讨论。

并讨论诸如你可以将关注 AI 安全的人分类为不想造成风险，但有些人更具体地关注存在性风险，而那些关注对齐方面、伦理方面以及现在出现的具有不同观点的不同阵营的人。所以是的，你的看法是什么，Jeremy？是的，不，正如你所说，我认为他在这里强调了一些重要的事情。我认为它

读起来不像一篇一定有明确观点的文章。它更像是关于特定分歧领域的许多观点。所以是的，Andre，你提到了这个想法，AI 安全不仅仅是一件事，对吧？我们有些人说他们从事 AI 安全工作，但他们真正想表达的意思是我致力于确保我的机器人不会意外地压倒

在它工作时压倒一个人。然后还有其他人说，不，不，我在研究 AI 安全。我的意思是 AI 存在性风险缓解。那么，我们如何防止比人类更聪明的 AI 系统在创建的那一刻基本上将我们消灭呢，许多人预计会发生这种情况。所以，以及介于两者之间的一切，对吧？你有一些 AI 伦理学家担心偏见，担心，你知道，像有害语言等等。因此让所有这些社区参与进来

达成共识，而不是像有时那样奇怪地彼此对抗。几乎有一种感觉，公众有有限的精力可以投入到我们所说的负责任的 AI 或其他什么东西上。而且，你知道，存在性安全得到的东西，嗯，

你知道，偏见没有得到，诸如此类。我认为他正在试图部分地消除这篇文章中的这种想法，我认为这是一件值得称道的事情。我的意思是，我们在让所有人朝着同一个方向努力方面确实存在问题，比方说。是的，我认为这是一个很好的观点。我认为他没有讨论到的一点，但我认为值得讨论的是

事实上，AI 伦理和 AI 安全几乎是不同的阵营，有点奇怪。所以那些担心偏见和歧视或仅仅是错误输出的人，但并不那么担心 AGI，这就是 AI 伦理。AI 安全中更当前的担忧，AI 对齐更面向未来。我会说……

希望这两个方面能够更加紧密地结合在一起，因为最终这一切都是对齐，对吧？所以很奇怪。是的，不，我认为这是一个非常好的观点。而且我认为直到最近才成为……

我认为可以非常可信地争论这一点，但它确实似乎有可能，我们将看到这些事情之间的融合。最终，你谈论的是能够控制 AI 系统的行为。无论该系统是超级智能还是仅仅是亚人类，

随着我们的系统变得越来越聪明，AI 伦理学家必须处理越来越接近那些长期展望系统的系统。无论如何，这是一个有趣的二分法，最终可能是一个错误的二分法。是的。

我们接下来有一篇文章，我如何使用 AI 生成的语音闯入银行账户。它几乎就像它听起来的那样。这位记者创建了一些他们说某些事情的假音频，比如检查我的余额，并使用他们的声音作为密码，显然你可以这样做。

并且能够进入账户。我们去年实际上已经看到过类似的事情，有人使用这种方法实际偷了一些钱。是的，这是一件需要注意的事情，因为最近我们也看到了一些令人印象深刻的逼真音频生成的进展，这将在今年产生重大影响。

是的，就像每隔几周，对吧？你拥有这种新能力，并且在某个企业或某个安全组织中的某个人刚刚像那样被新的系统抹去了基本的运营假设。所以看到银行将如何回应？安全生态系统将如何应对这样的事情？这非常有趣。

是的，这很有趣，因为这是我们多年来一直在讨论的事情之一。我认为安全社区中的许多人，众所周知，你可以使用 AI 进行网络钓鱼等等。但是现在有了技术，它就在这里，对吧？所以是时候——你不能再只是谈论了。你必须真正解决它。是的。

接下来，我们有 AI 人类恋情蓬勃发展。这仅仅是一个开始，一篇来自时代杂志关于如何有一个名为 Replica 的应用程序的非常有趣的文章，该应用程序于 2017 年推出。它基本上是一个带有虚拟角色的小型聊天应用程序。而且，呃，

随着时间的推移，它逐渐演变成你可以拥有浪漫关系甚至性关系的东西。你实际上可以支付 70 美元的付费层来解锁……

色情对话功能。现在发生的事情是他们取消了这个选项。该公司取消了它承认爱情或我不知道，变得辛辣的选项。现在所有这些用户，许多这些用户都对他们的机器人被剥夺感到愤怒。看到这个，我感觉很，我不知道，超现实。

是的，这让我想到的是我最喜欢的利基硅谷谚语，我不记得是保罗·格雷厄姆说的还是谁说的，但它类似于如果你 A/B 测试一个网站足够长的时间，你最终会得到一个色情网站。

就像这场走向脑干底部的竞赛一样。而且，你知道，而且，你知道，当你谈到，哦，你可以拥有，你知道，类人聊天机器人等等。我认为很多人的第一想法与……中间旅程的好人们的想法一样，他们可以从……文本提示中生成图像。所以，你知道，就像你的，你的想法很快就会想到这些东西，但它也，看到人们对这些机器人有多么着迷，这也很吸引人。像，

我在一个subreddit上看到有人在推特上发帖说，如果你想知道人工智能的未来可能是什么样子，你必须看看replica subreddit。我看了之后，我的感觉是，人们非常愤怒。从他们的角度来看，他们刚刚失去了一位挚爱。这些反应真的很真实，很情绪化。是的，我的意思是，你不能评判他们。我的意思是，就是这样

看起来事情的最终走向可能就是这样。这甚至不是ChatGPT，对吧？这里的AI相对原始。它不太擅长说话，而且总是会做一些愚蠢的废话。

呃，是的，但这确实有点疯狂，过去在日本或中国也有关于人们爱上AI的故事。但我认为现在我们有了ChatGPT，这种情况不会很少见。我想是的。是的，你知道，互联网约会一开始很奇怪。呃，现在，你将要和互联网约会。是的，是的。

最后，我们有一个故事，机器学习正在帮助警方找出目前在逃人员的样子。这主要讲的是如何用AI来估计人们随着年龄增长后的样子，而不是用艺术家来画素描。

你知道，人们可能看起来像什么。现在你可以用AI来估计皱纹等等。它实际上正在被使用。有一个关于西西里黑手党成员的有趣例子，他自1993年以来一直在逃亡。所以，是的，另一个AI无处不在的例子。它被用于一切。习惯它吧。

是的，真的。我期待着当这些图像略有错误时出现的诉讼，因为老化后的图像或其他什么原因导致抓捕了错误的人。但谁知道呢？我的意思是，在某些情况下，这些图像可能会比素描艺术家之类的东西更准确。嗯哼。

好的。然后让我们再总结一件事。我们将……通常我们会有一些艺术和有趣的故事。我们只谈一个。我想强调一下……

上周今夜，约翰·奥利弗对人工智能做了一个专题报道，很多人喜欢它。像往常一样，我想，这非常好。讨论了ChatGPT、Midjourney、偏见、伦理、法规、新闻通讯。

没有存在风险，但有很多非常相关的东西。所以如果你还没有看过约翰·奥利弗的节目，你可以在YouTube上找到它。它谈论了很多非常相关的东西。

有趣的是，事情变得多么主流。我不知道你有没有这种感觉，但我过去有一种感觉，我身处一个非常紧密的社区，会认真讨论AGI，所有这些事情，对外部世界来说都是怪人。我不会告诉别人我在做什么等等。现在就像每个人都必须承担AGI，这是理所当然的。但看到它这样扩散很有趣。

很有趣。我的意思是，每个人都知道GPT是什么。太疯狂了。GPT就像一篇论文。你知道，研究委员会关心GPT-2，人们说，哦，不，GPT-2可以被用于虚假信息等等。现在和任何人谈话，他们都知道GPT是什么，以及它做什么。所以这有点疯狂。还有更多奇怪的事情在等着我们。

当然有。说到这里，我们就结束了。非常感谢收听本周的《人工智能周报》。与朋友分享。在Apple Podcasts上给我们评分。我们实际上会查看你的评分，所以我们非常感谢。一定要收听。我们下周继续。