#115 - GPT4, Bard, AGI, Alpaca, Anthropic, Midjourney V5
01:42:11 Share

您好，欢迎收听Skynet Today的《上周AI播客》，在这里您可以听到我们聊聊AI领域正在发生的事情。像往常一样，在本期节目中，我们将对上周最有趣的AI新闻进行总结和讨论。您也可以访问lastweekin.ai查看我们的《上周AI简报》，了解我们可能在本期节目中没有涵盖的文章。

我是你们的其中一位主持人，Andrey Korenkov。我目前正在斯坦福大学攻读博士学位，我的研究方向是机器学习和机器人技术的交叉领域。是的，我是另一位主持人，Jeremy Harrison。实际上，Andrey有一个非常好的主意，就是说，嘿，也许我们应该，你知道，稍微介绍一下自己，因为我们实际上从来没有做过，或者至少我没有。我知道Andrey你已经有一段时间没有这么做了。所以是的，我想提醒一下，我……

我现在做了一些关于AI安全方面的工作。我在一家名为Gladstone的公司工作，这家公司是我共同创立的。基本上，我们与美国政府、国家安全部门、军队和国际政府合作，从事AI安全和AI安全政策方面的工作。而且我们也与一些领先的实验室、DeepMind、OpenAI、Anthropic等的研究人员进行合作。有点像兔子洞，但大致就是这样，这就是我，我的身份，以及我在这里做什么。

是的，我们在AI方面拥有不同的背景。所以对于讨论来说，这相当不错，我想。而且看起来，至少根据我们上一期节目来看，我们有很多新的听众，我想，这都是因为ChatGPT。所以，欢迎新听众。是的。

是的，我希望不是。我希望人们来这里是为了听关于AI的。所以，欢迎新听众。我们希望你们能继续收听。如果您愿意，我们将不胜感激您的任何反馈。我们会查看我们的Apple播客页面，看看人们在说什么。所以，请随时告诉我们您认为可以改进的地方。

但闲聊就到这里了。让我们开始深入探讨新闻报道，从我们的应用和商业板块开始，第一个故事，令人惊讶的是，是GPT-4。所以OpenAI宣布，我认为，在……

也许甚至发布了GPT-4，它是GPT 3.5的后续版本，我认为自一开始以来，它就是ChatGPT的基础。

它在很大程度上是相同类型的，对吧？主要区别在于，与之前的GPT迭代不同，现在模型的输入可以同时包含图像和文本，而输出仍然是文本。因此，您现在可以向GPT提出关于图像的问题，而不仅仅是像我们在ChatGPT中看到的那样提示它。

我发布了一篇相当大的论文，这篇论文仅仅表明GPT-4比GPT-3更好，以及很多其他内容。是的，不出所料，这引发了很多讨论，这里有很多方面需要讨论。

那么，Jeremy，你在这方面发现了什么有趣的东西呢？是的，你知道的，没什么特别的。只是另一个，你知道的，在GPT标签上递增一个整数。是的，不，我的意思是，你看，我认为这是，这里有很多东西可以讨论。首先，完全同意，你知道的，显而易见的区别是，文本和图像现在都是这个东西的输入。目前，或者至少主要讨论的变体，只输出文本。

但有趣的是，首先，我们对GPT-4的信息知之甚少。我们谈论GPT-3是这个分水岭时刻，突然之间我们意识到，哦，我的上帝，规模化有效。你可以简单地扩展这些系统，并获得更智能的……

我们必须谈谈GPT-3的核心内容，因为OpenAI当时谈到了它。他们告诉我们他们是如何做到这一点的。他们告诉我们数据、训练，所有这些好东西。他们唯一没有发布的是实际的模型本身。好吧，现在，与OpenAI逐渐向后移动发布内容给世界的趋势一致，他们现在没有透露任何信息，不仅关于模型本身，还关于训练数据或训练策略。所以我们都在猜测。他们一直非常公开的原因是，嘿，这个领域竞争非常激烈。我们不急于把所有事情都告诉大家。可以理解。

但这个模型的许多性能特征确实具有突破性，而且令人惊讶。所以你看ChatGPT 3.5，它的LSAT分数在最低的10%分位数。所以真的是个很差的LSAT学生。

而GPT4则达到了90%分位数。这东西可以通过LSAT考试。它也可以很好地通过SAT考试，基本上在所有方面都达到了80%分位数，这样的数字是突然出现的。这是我们看到的AI规模化的那种共同主题的另一个很好的例子，在构建新系统之前，你无法预测它的能力。

你可能知道它会更强大。这就是规模化定律告诉我们的。它们告诉我们，如果我以这些特定的方式使我的系统更大，它在数学上就会以这种方式更强大。但是这种数学如何导致实际能力，这仍然是一个完全的谜。

所以我们只是获得了这些新的能力。嘿，猜猜看？以前SAT考试是一个未解之谜。现在它们基本上似乎已经解决了。能力的惊人涌现是这个领域中的另一个特征，我们必须习惯它。就像我们不知道拐角处有什么一样。

是的，我认为有很多东西需要讨论，正如你所说。Twitter上有很多关于这篇论文脚注的讨论，由于竞争优势，我们将不会透露任何细节，这与GPT-3不同，GPT-3的论文已经发表了几年前了。

回到2020年，我们实际上有很多关于内部细节的信息。甚至对于GPT 3.5和CHAD-GPT的人类反馈强化学习，我们也有更多的了解。在这里，他们除了性能之外，什么也没有透露，这……

我能看到一些人争论说这未必是一件坏事，因为从X风险的角度来看，也许让更少的人能够构建这些令人难以置信的模型更好。但另一方面，你知道，这可能是相当安全的。这仍然是规模化的方法，他们使用的是相同的模型，只是使用了更多……

而且我们实际上至少在论文中的标准幂律图，图一中看到了这一点。它显示了在计算方面，仅仅在下一个词预测上的性能。我们确实看到他们使用了大约，我认为是100倍以上的计算，或者甚至比这更大。

你得到了许多下游任务的性能提升。所以是的，这可能是更多数据和更多训练以及模型大小的混合。我们真的不知道。但我们知道是这样的。

而且这不是等式吗，对吧？就像在过去的几年里，它似乎只是一种数据、模型大小和计算的混合，它只会赋予你能力。而且没有人，你知道，我们知道这种情况会持续发生，但对不起，打断一下。但我确实认为你提出了一个非常重要的观点，关于X风险，即对这个领域的生存风险角度。

因为这有点像，也许这是一个值得我们讨论的话题，仅仅是因为我们可以为那些可能没有关注AI生态系统这个维度的人们提供一些启示。但确实存在一种两极分化，一些人认为，看，我们不希望所有AI能力都集中在少数人手中。我们不希望OpenAI、微软或谷歌成为唯一能够部署这些模型的公司。而另一些人则说，好吧，你看，我们的研究表明，你知道，

强大的AI本质上是危险的。我们什么时候会越过这个门槛？我们怎么知道我们已经越过了这个门槛？这也是整个故事的另一个子部分。GPT-4论文中有一节，他们实际上谈到了进行了一次独立审计，他们邀请了来自这个小组的人，即对齐研究小组。

它由Paul Cristiano领导，他曾经领导OpenAI的AI安全、AI对齐工作。他后来离开了，现在他们又把他请回来进行这次审计，以测试GPT-4寻求权力的能力。

当你想到这一点时，它听起来可能像是科幻小说。但这在现实中是司空见惯的，不仅在AI安全领域，而且在AI能力方面也越来越如此。当你拥有能够提前计划的系统时，你必须开始担心，它们是否会意识到，嘿，如果我被关闭，或者我没有访问某些资源，我就无法实现我的既定目标？无论你在这场辩论中站在哪一边，看到这一点都非常酷，至少他们邀请外部审计，并可能为未来设定先例，这似乎不是一件坏事。

是的，我同意。而且在学术方面还有其他有趣的细节。即使我们不知道训练它的秘诀，也有一些有趣的结论。我认为，对我来说，其中一件事情是，例如，如果你看一下那个规模化定律，当我们说规模化定律时，我们只是意味着能够预测性能，当你扩大模型的大小或所需的训练量时。

我们开始在这个曲线上趋于平缓。它是指数的，反指数的，它正在变得有点平坦。是的，我不确定我们是否可以再大一千倍的计算，对吧？这已经花费了数千万美元来训练，并且据我所知，需要几个月的时间……

所以是的，我认为GPT-4，就像我们之前在ChasGPT中看到的一样，令人难以置信。它可以做很多疯狂的事情。它可以比以前做得更好。它现在可以进行视觉处理。我认为另一个有趣的结论是，通常当人们做过这些图像加文本模型时——我们已经有一些了——

其中一个问题是，实际上拥有这两种模式会导致你变得更糟。如果你只做文本与文本加图像，这里有一个权衡。但在GPT-4的结果中，他们确实展示了仅文本和图像加文本的性能。对于大多数这些任务来说，实际上并没有太大的性能下降。

我认为对我来说，这相当有趣，他们只是设法保持了大致相同。

我认为我完全同意。这很有趣。我没有听到很多人像你一样强调这一点。我认为这是完全有道理的。我记得以前，我认为第一个出现这种问题的例子是DeepMind发布Gato的时候。这是他们的AI模型，它可以执行450项任务，至少有一半的任务做得和人类一样好，诸如此类。

人们指出，实际上该模型表现出当时被称为负迁移的现象。换句话说，如果专门训练它执行少量任务，它会做得很好，但随后它无法将这些知识完全应用到其他任务中。当你训练它也执行其他任务时，它并没有从这些集中的知识中获益。相反，它在所有方面都变得更糟。

所以你有点这种想法，即系统并没有像它应该的那样稳健地进行泛化。许多人都在关注这一点，并说，是的，就是这样。这是通往AGI道路上的一个绝对障碍。我们似乎遇到了这个问题，规模化会因为这个迁移问题而失败。

问题。它看起来像是这个论点加入了其他论点的长长名单，这些论点正在进入“哦，别担心，AGI不会很快到来”论点的墓地，而实际上看起来我们再次看到，不，规模化也解决了这个问题。关于它能走多远，这是一个有趣的问题。你指出了规模化曲线的平缓。

我非常好奇地想看看算法改进能做什么来保持这条曲线的延续？处理能力会便宜到什么程度？硬件改进呢？我认为可以公平地说，这些都是目前整个AI社区正在关注的开放性问题，因为它越来越像我们已经破解了智能的密码。是的，完全正确。我认为至少在某种程度上，我们稍后会在研究部分讨论这一点，

我们绝对应该开始讨论，这是否达到了类似AGI的东西，诸如此类的事情。我认为我们AI领域中的一些人有点愤世嫉俗，也许仍然试图说这没什么大不了的。但是……

这是一件非常重要的事情。在结束这个讨论之前，需要注意的两件事。许多人指出，在对GPT进行各种SAT、AP考试甚至学术基准测试时，其中一个问题是污染，实际上模型在这个训练数据集中碰巧拥有……

也许是基准测试或实验的确切问题。因为如果你正在尝试可重复性，问题和数据就在那里。他们确实有一些额外的结果表明，至少在其中一些任务上，一些性能可以归因于拥有这些额外的数据。尽管从他们能够展示的内容来看，这实际上还不错。

是的，这触及了人们每次跨越新的门槛时都喜欢问的另一个基本问题的核心。就像，这台机器理解吗？这个词被经常使用，但它只是在记忆东西吗？然后它只是巧妙地、巧妙地反刍，但基本上只是反刍它已经看到的东西？而且……

我不知道，关于这最终是否大致是人脑所做的所有事情的有趣问题。但这当然，你知道，你提出的关于这些SAT分数是否真正反映了GPT-4开箱即用的真正能力的问题？或者，你知道，它是否偷看了答案？这也是这场整个辩论的核心。是的。我认为最终我们仍然在评估方面面临很多挑战，对吧？因为……

这些基准测试并没有真正捕捉到整体情况，一旦你真正使用它，它可以做一百万件事。

而你现在正在尝试SAT，但最终Visa并没有真正捕捉到。这就像对GPT-4有多强大或令人印象深刻的一种间接描述。我认为这仍然是，是的，我们还需要考虑的另一个问题。好吧，

好吧，而且，我会把这作为我对G的最后的想法，我觉得我们可以做一个关于GPT-4的整期节目，我确定。也许我们应该。也许我们应该。或者也许它会做这个节目。但是是的，我的意思是，我认为这突出的一点是，当人们查看GPT-4及其功能时……

在Twitter上流传相当多的一个图是这个图，它显示了GPT-3.5，也就是GPT-4的前身，GPT-3.5在许多不同任务上的能力。它显示了它在某些方面表现良好，而在其他方面表现不佳。

然后它叠加了GPT-4的能力，并显示突然之间你从基本上，你知道，在一个任务上得0%或10%的分数，一直到那个任务上得70%甚至90%。这对许多这些任务来说都是如此。

所以你有点这种想法，即一群能力同时出现，以及社区对如何处理这种情况的困惑。我们是否应该查看这一点并说，例如，“哦，好吧，看，它仍然无法完成这个非常具体的任务，而这个具体的任务是人类可以做得非常好的任务，因此，GPT-4远未达到人类的能力。”

我们是否会接受这个论点，或者我们是否会说，好吧，你知道，这是一种根本不同类型的智能。它在某些方面比人类做得更好，在其他方面做得更差。因此，我们需要改变我们思考人类大脑作为基准的方式，即使它们是糟糕的基准，而且非常模糊，甚至可能不适合作为比较点。所以问题如此深刻，我认为它们反映了……

这些新能力的开发速度之快，我们还没有时间在这里仔细思考，从哲学、数学、统计的角度思考我们在这里构建的是什么以及如何衡量其能力。是的。思考的东西太多了，而且事情发展得非常快。所以这是一个挑战。最后一件关于我的事情是，除了……

各种东西的性能之外，论文中另一个很酷的事情还在于对齐的角度，即GPT-4看起来有多大程度地按照我们的意愿去做，而不是做一些意想不到的坏事。仅仅是规模化似乎实际上……

使它在做我们真正想要的事情方面变得更好。另一件有趣的事情是，一旦你根据人类反馈对其进行微调，所以你更进一步地对其进行对齐，

性能不会下降。实际上，平均而言，它仍然同样强大，但现在它不太可能做坏事。所以我认为这是从结果中需要注意的另一件令人鼓舞的事情，我会说。是的。实际上，这里有一个小漏洞，那就是他们谈到了这个模型的校准程度。当他们谈论它的校准程度时，一些技术语言，基本上所有这些都意味着，如果模型说X为真，其确定性为70%，那么它对预测的正确率应该为70%。换句话说，模型如何才能很好地确定其自身的内部确定性水平？他们查看了原始模型GPT-4，基本上是在你训练AI在一个庞大的数据上进行文本自动完成之后得到的系统。

然后他们将这个原始模型与根据一些人类反馈进行微调的版本进行了比较，以使其更具对话性。

他们发现，有趣的是，虽然微调后的版本更像人类，但实际上在校准方面更差。它基本上更容易过度自信或缺乏自信，这是一种，我不知道，从对齐的角度来看非常有趣的事情，它向你展示了，你知道，一方面，你想让它更具对话性。这是我们想要的部分价值。

但事实证明，通过这样做，你实际上正在使模型在理解其自身的置信度方面变得更糟。因此，我们几乎面临着这种矛盾。你想要什么？你想要一个引人入胜且健谈的模型吗？你想要一个，让我们说，真实且自我纠正的模型吗？这两件事，目前还不清楚它们是否必然是对立的，但它们在这个特定环境中确实有所不同。

是的，而且还有，再次，一些有趣的问题和研究需要在那里进行。在某种意义上，你会期望它校准得不太好，因为你正在采用概率预测的目标，基本上是训练的目标，而现在你正在修改它，说，我会减少这些东西，即使在数据集中它们更频繁。

所以从这个意义上说，你会期望概率发生变化。问题是，这实际上是否会影响性能？在某些情况下会，在某些情况下不会。所以是的，即使OpenAI没有发布模型的细节，好消息是他们确实发布了一篇包含大量结果和细节的论文，比GPT-3的论文短得多，但仍然相当多……

所以是的，令人兴奋的时刻。哇，我希望GPT-5不会在一个月内发布。好吧，有传闻，是吗？我不知道你是否在Twitter上看到了这个，但摩根大通做了一点分析，他们说他们认为GPT-5的训练正在进行中。所以加油吧。我想这只是时间问题。但同样，它……

我们将非常有兴趣看看我们是否可以进一步推动这一点，考虑到仅仅从物理学的角度来看的计算机限制。关于这一点，就像最后一件事情一样，我一直这么说，有这么多该死的东西。但最后一点是，是否存在……

某种不可约的语音复杂性，导致这种限制，这种平缓？就像，我们是否达到了这样一个点，偶尔，像我这样的白痴播客主持人会说一些完全不可预测的随机字母和数字字符串。嗯，

或者偶尔，我会说一些毫无意义的奇怪话。在这一点上，或者我不知道，我的意思是，我在这里有点假设，但这当然是一些人们谈论过的事情，即文本的不可约熵的概念。我可能是，我可能搞错了这是否适用于这里。我不确定我是否需要更详细地查看具体的规模化曲线，但这可能是其中的一部分。是的，我的意思是，我认为绝对正确的是……

在某些时候，你无法获得完美的性能。你不能成为一个知道未来会发生什么的预言家。对我来说，这是我们将稍后讨论的一个有趣点，就我个人而言，确实有理由担心。但与此同时，许多人似乎认为我们将获得一个像神一样的AI，它非常聪明，并且能够做到远远超出我们……

任何人类的能力。而且我认为……

我们将获得一些非常聪明的东西，但我的确认为可能存在物理定律来限制任何生物的智力水平。这只是我的一个个人理论。不，不。我认为这是绝对正确的。人们实际上已经深入研究了这个问题。人们已经分析了在一个特定体积的物理空间中可以容纳的最大计算量是多少？

不幸的是，好吧，我想说不幸的是，因为我显然是AI风险恐慌者。但不幸的是，我想说的是，这个数量比人脑中发生的数量要大得多。因此，在计算映射到性能的程度上，在规模化定律成立的程度上，

我确实期望它们随着我们转向多模态而变得更加稳健。我们也开始获得AI，它们会以我们今天将更多讨论的方式自学。我个人预计这种趋势会持续下去，这就是我非常担心的原因，因为物理极限似乎离人脑还差得很远。但谁知道呢？我们将拭目以待。

希望如此。好吧，让我们暂时离开GPT-4。我们很快就会回到它这里。但除了GPT之外，还发生了一些其他事情，谷歌已经开放了其ChatGPT竞争对手BARD的访问权限。它仍然是基于等待名单的，但人们已经开始尝试使用它。Twitter上有很多帖子，上面是人们的第一印象。

从我所看到的来看，我没有尝试过太多。它有点令人失望，它似乎不像ChatGPT那样聪明，而且它不像Bing那样具有包含指向它引用的内容的链接的能力。它速度更快，这很好。ChatGPT不是最快的，但是……

第一印象似乎是这类似于ChatGPT，未必更好，也许更差，但可能，你知道，相差不大是我的印象。

是的，我认为一个引人入胜的问题将是，为什么是这样？BARD没有被扩展那么多吗？数据质量的原因吗？或者原因是，在这里我又戴上了我的担忧帽子，但原因是谷歌是否投入了更多的时间和精力到RLHF，基本上是对齐和确保其行为安全可靠，

因此，他们像我们在微软的Bing聊天发布后不久开始威胁用户时看到的那样，对系统进行了切除手术。因为，你知道，如果我们开始看到这种情况，那么它就会，你知道，你开始将其视为一场向下的竞赛，嘿，你知道吗，你在安全方面投资了10倍于其他人的资金。好吧，你会输的。对。

我非常希望情况并非如此。这就是为什么我非常希望OpenAI能够发布更多关于GPT-4对齐部分的具体信息的原因。因为我们必须让这些领先的实验室向世界表明他们正在投资这些东西，即使只是为了树立榜样，即使只是为了鼓励其他人不要跳过安全部分。但是是的，这很有趣。它似乎确实表现不佳。我同意。它还没有达到那个水平。

是的，我看到一些评论，一些人推测，也许部分原因是它更安全，它的输出往往更平淡无奇，缺乏创造力。所以这似乎是一个合理的猜测。值得指出的是，据我所知，

关于Bard还没有论文发表。谷歌从技术角度来看并没有发布太多内容。他们过去发表过一些关于类似系统的论文。去年，我们有Lambda，还有一篇完整的论文，但Bard却没有。所以我们批评OpenAI和微软，但话说回来，

这可能是现在才开始的趋势，即人们不在东方行业披露这些信息。

是的，是的。老实说，根据你在播客一开始提出的观点，你当时谈到的是，这是好事还是坏事？我认为这非常模棱两可。就像，这和有人拒绝泄露某些核武器控制技术的细节一样模棱两可，比如确保炸弹不会过早爆炸的技术。就像，是的，这对安全有利，但对能力也有利。很难知道，

我们是否希望在这里扩散，我认为我们不希望。但肯定有人认为公开出版禁令对这类事情不利。是的，这可能是

法规可能介入的地方，其中可能需要一定程度的透明度，例如，完成了多少对齐工作，或者只是对齐评估，这将非常有趣。所以我认为它可能会朝着这个方向发展。

但谁知道呢？正如我们一直说的，需要考虑的事情太多了。好吧，随着这些实验室和团队内部的情况变得越来越黑暗，安全生态系统中讨论得比较多的一件事是，

是否有办法设置一个触发器，例如，可以这样说，好的，正在构建的最新模型，比如在DeepMind或OpenAI，它刚刚超过了使其进入权力寻求领域、进入存在风险领域的能力阈值。因此，我们将提醒其他实验室的人员。我们将请其他人来补充我们对这件事的对齐工作等等。所有这些都像是主题的变体，但这似乎……

太疯狂了，我们竟然到了这个地步，我们正在进行这种对话，考虑到目前的情况，这听起来并不疯狂。确实不疯狂。是的，即使对我这样以前怀疑风险的人来说，我们也确实到了一个危险的点，我们已经看到很多滥用人工智能的案例了。

警方，我们多次讨论过面部识别技术。随着这些方法变得越来越强大，这意味着滥用它们的人可能会产生更大的影响。现在它们正在变得，如果它们变得无处不在，就像智能手机一样，很多事情都会出错。那是肯定的。

接下来是快速讨论几个故事的快速环节。这是一个非常简短的评论。已经证实Bing AI运行在OpenAI的GP4上。所以实际上，你可以说，它拥有我们刚才讨论的所有功能。

是的，所以要特别感谢一位非常非常非常小众的互联网用户，名叫Gwern，在Align上，不是Align for LessWrong，我认为。所以Gwern是，除非你认识他，否则你不会知道这个人是谁。但很久以前，他发帖到，对不起，发帖到LessWrong，我一直这样做，说正是这样，就像在他的评估中，这是在后台运行的GPT-4，并且

这引发了很多问题。首先，Bing Chat在OpenAI说“嘿，我们认为GPT-4现在可以安全发布了，因为我们已经完成了对齐工作。我们已经确保它不会像一个不受控制的疯子一样行事”之前几个月就在运行GPT-4了。Bing Chat在发布时没有所有这些额外的安全措施时做了什么？它表现得像个不受控制的疯子。

所以我们这里似乎的情况是，我们需要问，你知道，比如，微软的安全发布标准是什么？它们与OpenAI的标准是否确实存在重大差异并且更低？如果是这样，是什么导致了这些差异？监管机构现在需要在决定方面发挥多大作用，看，我们有明显不同的组织，其安全标准大相径庭。而且，你知道，当你

没有添加OpenAI所做的额外对齐层时出现的问题，就是我们在Bing Chat中看到的，威胁用户，向人们提供制造炸弹的建议等等。这是非常严重的事情。所以我认为，我们之前有一个较早的版本，一个未对齐的版本，让我们这么说，运行GPT-4的这一事后揭露，我认为应该比现在受到更多关注。

是的，我想补充一点，对我来说，有趣的是，发布像Bing这样的聊天机器人是一回事，会有一些不幸的讨论，但造成的损害是有限的。OpenAI有一个API，所以任何人都可以在GPT-4之上构建一些东西。

他们的审核政策对允许和不允许各种用途是什么？他们当然有行为准则和所有这些法律内容。所以他们可以对各种用户说，你可以或不可以将GPT-4用于此。但同样，随着它被应用于数百万种不同的用例，对我来说，这将是一个令人担忧的情况……

有很多方法可以将其用于不良目的，并且限制人们这样做可能会越来越难。是的，这是千真万确的。我的意思是，恶意使用角度非常有趣，不是吗？因为你面临这种情况，甚至不清楚。有时根本无法知道某人是否出于恶意目的提示系统。你可以想象通过说，嘿，给我制作一些执行此操作的恶意软件来提示它。

就像，好吧，这很明显。恶意软件这个词在那里，意图也很明确。但如果，你知道，你写，你知道，写一封电子邮件给某人，你知道，给拥有博士学位的安德烈等等，并向他推荐下载附件文件。就像，那是……

那可能是网络钓鱼邮件，也可能是完全良性的邮件。这完全取决于附件文件的内容。所以我认为，对于许多这些系统来说，这是一个不可能的挑战，有时你根本没有信息来判断。那么这些安全阈值究竟是为了什么？它们实际上提供了多少安全保障？这是一个有趣的开放性问题。

我想我们可以用GPT来告诉我们它是否被滥用了。接下来是下一个故事，再次基于我们正在讨论的所有内容，微软和谷歌为企业推出了AI工具。没有太多可评论的。标题就是它的内容。微软正在将其称为副驾驶的AI助手集成到各种系统中。

例如业务聊天、文档和各种内容。谷歌也将将其嵌入到Gmail和Google Docs中，以便它可以起草内容，为你编写各种文档。只是另一个展示事情发展速度的例子。现在，如果您是Excel或Word的用户，

你已经在那里集成了GPT。是的，我认为你是对的。我认为这还是朝着人工智能优先经济迈出的质的飞跃，确实如此，过去我们认为这些人工智能系统是工具。ChatGPT是工具。GPT-3是工具。

其他公司需要弄清楚如何集成它们以及如何围绕它们工作。但现在我们开始看到的是，实际上来自Excel、Microsoft Word、Google Docs等的拉动。这些工具将与我们一起存在。我们不必费力地使用AI工具。一切都会变成AI工具。

所以我认为这实际上是一个非常有趣的方面，并且由此类事情将产生许多新的挑战和机遇，其中最重要的是我认为是用户体验挑战。

你想想如何将AI集成到Google Docs、Excel中？看起来如何才能获得不会让你恼火的建议，因为它们不太频繁，但也不太罕见？围绕AI集成有很多未解决的用户体验问题，人们将很快弄清楚这些问题。看看新的规范是什么，用户界面中的新图标是什么等等，这将非常有趣。是的。

是的，完全正确。我认为将这称为与智能手机的引入一样重要的事情并不夸张，对吧？每个人都拥有一个。它彻底改变了我们生活的许多方面。甚至你可以争辩说，互联网的引入也是如此。所以，是的，这太疯狂了。是的。

同样，基于这个主题，因为这就是正在发生的事情，我们介绍了Anthropic的Claude。我认为我们在之前的研究部分讨论过Claude，但现在它实际上正在与Notion、Quora和DuckDuckGo等公司在封闭的alpha版中推出。所以基本上，Claude是……

类似于GPT-4。它是由另一家公司Anthropic构建的，这家公司实际上主要由OpenAI的人员创立。人们一直在说它可能更可靠，它不会……

像GPT那样做古怪的事情，这很酷。但到目前为止，你无法使用chat cloud，我想我们会看看这是否会发生。

是的，我认为，所以，你知道，向Anthropic的人们致敬。他们在这方面的一项政策是快速跟进。所以基本上，他们意识到我们在本集和其他集里讨论过的人工智能行业的竞争动态，他们决心尽可能少地促成这种竞争动态。所以他们在这里的策略是等待其他公司、其他实验室发布具有可比能力的模型，然后他们说，好吧，我们会推出我们的模型。

所以这里的Claude代表了业务发展的下一步，即使是在这种封闭的测试版中发布Claude，也代表着对该策略的承诺。我认为这是健康的。我的意思是，看到更多这样的情况会很棒，尤其是在能力似乎超过我们控制这些系统能力的背景下。但同样有趣的是，是的，创造力与

风险之间的权衡是什么？让我们说，你想要多安全？所以在这种情况下，我认为Anthropic给了人们一个可以调整的旋钮，可以调整创造力水平的刻度盘，就像，我试图记住，我认为是GBD4吗？

三？四？3.5？其中一个。有人最近发布了一件具有这种设置的东西。所以我认为我们看到越来越多的。哦，我认为是Bing Chat。是的。所以越来越能够根据你自己的喜好定制模型，也许让用户可以选择，使用这个系统的创意版本，但是……

后果自负。如果它开始威胁你，不要抱怨。从某种意义上说，这是你自己的选择。但无论如何，我认为这是一个有趣的方面，看到这个设置出现在另一个模型发布中。是的。关于竞争动态，我认为另一件值得注意的有趣的事情是，如果我没记错的话，谷歌向Anthropic投资了3.5亿美元，

这些模型确实需要数亿美元和大量的计算能力。FTX或FTX的创始人向Anthropic投资了5亿美元，我不确定现在情况如何。所以这是另一个需要考虑的因素，即Anthropic可能受到谷歌的压力，大概是要加快速度。

是的，希望这笔投资不是用FTX稳定币进行的，但我猜怎么了？但是是的，不，这是一个，资金方面，对吧？这太有趣了。好吧，也许这会让我们顺利地进入下一个故事。看起来我们有一个关于Adept的融资故事。

是的。说到数亿美元，这家名为Adept的公司筹集了3.5亿美元来构建能够学习如何为你使用软件的AI。它之前已经筹集了6500万美元。它已经展示了一点如何基本上要求

语言模型，不仅仅是回复你，而是做一些事情，比如去hotels.com上搜索并在佛罗里达州或迈阿密为你预订一个经济实惠的地方。它可以与内部网和工具交互来做到这一点。而且似乎人们对他们能够做到这一点非常乐观。

是的，我认为这是另一个有趣的商业战略问题。就像我们看到模型越来越大规模一样，似乎有机地出现的一件事就是使用工具的能力。所以就我个人而言，我的意思是，我有点担心Adept团队。我知道他们确实有一些安全重点，所以我对他们有点偏爱，但我个人担心他们，因为，你知道，

他们有可能被通用性吞噬，被能够将Adept所做的事情作为其更通用能力的子集来解决的更通用系统吞噬。例如，OpenAI刚刚发布了Chat GPT插件，我认为就在今天或昨天。

而且，你知道，这基本上就是它是一个可以为你使用工具的AI。而工具前者是，你知道，无论如何，允许你做到这一点的框架。而这是。

我认为对于Adept来说，这是一个非常重要和基本的业务问题，即我们是否达到了升空速度，考虑到他们真正庞大的系统已经开始蚕食曾经只是Adept AI的特殊小领域的能力空间，我们是否能够带来足够的资金与大公司竞争？我们将拭目以待，也许我会被证明是错的。我以前也犯过错，但这确实是一个有趣的业务风险维度。

是的，完全正确。而这个拥有API的整个维度

访问外部世界是另一回事。但让我们继续研究和发展部分，已经花了，我不知道，40分钟只讨论了一部分。我们将回到GPT-4。也许我们不会讨论太多。但几天前，我认为微软发布了另一篇题为《人工智能的火花》的论文。

对GPT-4的早期实验。这是对我们在GPT-4论文中看到的额外实验的补充，这些实验确实试图进行压力测试，提出更具挑战性的东西，而不仅仅是基准。它们证明它可以在许多领域做很多令人印象深刻的事情

在许多领域。他们认为，至少在某种意义上，我们应该开始将其视为人工通用智能，这至少在人工智能领域是众所周知的。

AGI，这曾经是梦想。就我个人而言，我认为这是一个合理的立场。即使我知道GPT-3等等，我也发现自己印象深刻。有很多你可以做的很酷的例子，其中一些让我非常惊讶。是的，我完全同意。以及与图像的混合，我的意思是，一些

我只是想作为一个简短的旁白，这种更多的X悖论的概念不断出现。所以基本上，对人类来说非常容易的任务通常对人工智能系统来说非常困难，反之亦然。所以我们经常看到人工智能搞砸了一些对我们来说显而易见的事情。我们有点想，哦，可爱的小傻瓜AI，没什么好担心的。所以就像我将要关注的例子一样，我认为这是一个很好的

很好的例子。人们展示了如何向GPD-4提供包含幽默内容的图像，它可以解释图像背后的幽默。这对于人类来说是相当自然的事情，但是

对于人工智能来说，这是一个大问题，它阻止了其他较小的系统实际工作或会破坏它们。所以，在大量、一系列不同的新能力中，这篇论文正确地指出了这一点，我完全同意。许多这些东西都是质的新能力，它们似乎表明了常识能力的结合

我不想说自我意识，这太有负担了，但肯定是对世界的意识。我认为在此之上还有一个强大的世界模型。没错。这通常是一个讨论。有人争论说，你知道，无论你是否需要具身学习，

在这里，仍然没有真实世界的代理。它仍然只是被馈送大量数据。但是当你查看其中一些实验时，你会感到非常惊讶。你可以告诉它绘制各种东西。它可以在不访问任何图像输出的情况下进行绘制。它只是生成JavaScript代码或LaTeX代码。

即使这样，它也能以某种方式绘制LaTeX中的独角兽，这是一件不容易的事情。它可以编写JavaScript代码来制作康定斯基风格的图像，这是一种非常抽象和非常几何的绘画。

风格。同样，仅仅通过生成代码，图像看起来相当合理，并且比ChasGPT好得多，正如你从GPT-4同时拥有图像和文本中所期望的那样。所以这是另一个有趣的事情，它似乎具有这种跨模态转移，其中文本部分可以理解关于图像的指令，并且

即使你只提供文本并说，用JavaScript绘制这个，它也可以输出它，并且可能能够更好地做到这一点，因为它是在图像输入上进行训练的。所以非常有趣。我认为这也与我们在之前的剧集中讨论过的一个深刻问题有关，其中OpenEye的对齐主管Jan Leica在推特上发帖说，嘿，我们有这个谜团，我们可以获取一个模型，我们用英语文本对其进行训练，并且

它学习了关于世界各种它可以表达的东西。然后我们用另一种语言进行少量训练，它基本上能够用这种新语言做所有这些事情。所以他指出，这实际上很难仅仅通过旧的论点来解释，哦，这只是重复、重复它在文本中观察到的统计模式，因为它在新语言中没有足够的统计模式可以观察。

好吧，如果你认为视觉内容本质上是语言，文本是另一种语言，那么我们看到的本质上是这种翻译现象的一个变体，它适用于视觉。所以不知何故，在这个模型的某个地方，潜在地，可能存在一个可以转化或翻译成许多不同形式（包括视觉形式）的现实世界表示。所以我认为这是一个非常有趣的现象。

是的。为了涵盖我发现有趣的另一个例子，作为一个做过很多机器人技术的人，在论文的图5.8中，他们展示了如何让GP4以交互方式导航地图。所以你只需要，呃，你知道，告诉，呃，

模型，给定场景的布局，并让它输出你想要去的特定方向。它可以绘制环境地图。所以它具有跟踪空间维度、想象

这个具身问题，空间的布局是什么。但这仍然是涌现能力的另一个例子，它只是在单词预测或图像理解上进行训练，但它能够以某种方式执行持续探索给定空间并记住其外观和连接方式的交互式任务。

所以，是的，这篇论文中有很多非常有趣的例子，比最初的GPT-3论文多得多。它确实提出了一个略微哲学性的论点，即这可能已经是通用智能了。就社会影响而言，这意味着什么？

我们如何改变我们的思维方式，因为我们可能正在走向通用人工智能？很久以前就来了。需要改变的事情数量惊人，但是

我认为关于AGI的定义也存在一个问题，我个人觉得有点令人厌烦。人们争论说，哦，那不是真正的AGI，因为或者那不是什么的。这通常发生在存在风险安全方面。

而且，你知道，我认为这只是我想强调的是，重要的是要记住，有时重要的是你如何称呼某件事，而只是这件事能够做什么，它能够完成的具体行为或它可能产生的具体意图。所以这些具体的事情有时可以成为很好的指导性标志，当你想要回避关于某件事在技术上是否为AGI的令人厌烦的哲学辩论时，即使我认为这场辩论仍然很有趣。是的。

是的，我认为不必太担心术语。我认为我们都能看到它可以做很多惊人的事情。而且我喜欢这篇论文的另一个地方是，它确实讨论了一些仍然存在的局限性，即它的弱点是什么，是什么样的基本

仅仅使用这些自回归文本模型不可能实现的基本事物。我认为，在我们都被这些惊人的事情震惊的同时，保持对现实的把握很重要，即使在规模上，也有一些基本限制不太可能在不调整方法的情况下解决。

由于各种原因，这些原因可能比你想要深入了解的更技术性。

是的，这是真的。我会说这也是我们以前听过的曲调，从某种意义上说，如果你回到GPT-3时代的文献，当时我们被告知什么将是可能的，什么将被证明是我们做事情能力的绝对限制，我们之前讨论过负迁移的概念，哦，那将是阻止我们的东西，这是一个根本性问题。结果证明，嘿，扩展解决了这个问题。

我不知道，我可能大错特错，但看着这篇论文中的一些论点，我有点想，是的，我看到了这种阴影。感觉就像，你知道，不是说扩展是你需要的一切，但它可能是你需要的很大一部分。无论如何，看到来回的论点很有趣。我认为在这样的论文中包含这些内容是一件非常健康的事情，因为我们需要讨论理论上我们与完全的、你知道的、人类水平的智能或超越人类水平的智能之间有什么。当然。

然后跳到下一篇文章，不是GPT-4，而是另一个这样的模型。这是ALPACA，一个强大的指令遵循模型。我认为这在人工智能领域，尤其是在学术界引起了相当大的兴奋，这里的主要故事是斯坦福大学的研究人员采用了

Meta的一个现有模型，然后他们对其进行了微调以遵循指令，使其性能类似于GPT-3或GPT-3的更高级版本之一，并且它只花费了600美元。从使学术界或其他团体更容易使用的角度来看，

即使是接近OpenAI的这些巨型模型，这也是一个令人兴奋的结果。

是的，我认为确实如此。从商业角度来看，它也非常有趣。这些人基本上所做的是，就像你说的那样，他们从这个名为Lama的真正庞大的开源Meta AI模型开始。然后他们转向GPT 3.5，他们向它提供了一堆提示并获得了一些输出。他们基本上使用了OpenAI系统的输出

来微调他们拥有的开源模型。正如你所说，这个过程非常便宜，但它产生了一个可以复制原始更昂贵OpenAI模型的性能、能力的模型。你可能会问，这会把事情带到哪里？从本质上讲，我们现在生活在一个世界里，OpenAI可以花费2亿美元，构建下一个大型闪亮系统，

然后斯坦福大学的一群傻瓜，对不起，安德烈，斯坦福大学的一群傻瓜可以进来，他们可以说，嘿，我们的预算为600美元，这个像开源一样，可以免费访问的语言模型就在附近。我们将两者结合起来，我们将得到一个系统，该系统

在许多任务上基本上达到了与那个价值2亿美元的模型接近的水平。所以你可以想象这现在对那些在最前沿构建这些模型的人的激励措施有什么影响。突然之间，如果你的东西可以在几周内被复制然后开源，那么花费这么多钱来保持对其他人的微弱优势可能没有意义。

所以有很多关于此的开放性问题，但底线是，仅仅通过访问此模型的输入输出，仅仅能够看到进入OpenAI模型的内容以及随后输出的内容，提示以及输出，你就可以训练你的模型来模仿其行为。

而且你可以以非常便宜的价格做到这一点。对于扩散来说，我认为这是一个真正意义上的游戏规则改变者，人们还没有完全吸收这一点。著名的AI风险怀疑论者Eliezer Yudkowsky喜欢写关于安全的不必要冗长的帖子，这些帖子可能只有10%的长度，但这是一个天才的头脑。他在推特上标记了这一点，强调了这一点，并对其进行了很好的分析。我强烈建议你看看。

是的。值得注意的是，据我了解，这确实做了微调部分，来自人类反馈的强化学习或只是从人类反馈中学习。它确实从Meta的训练模型LAMA开始，我们可能之前讨论过。所以对我来说，结论很有趣，如果你有一个大型模型已经对齐了

如果你有一个类似的模型没有对齐，你可以复制对齐，甚至包括口音到权重或训练数据。这很深奥。我认为从对齐的角度来看，安全角度来看是很酷的。

是的，希望是好消息。你是对的。我认为它的另一个维度是，在某种程度上，这向我们表明，嘿，你知道，他们开始使用的元AI模型，在它首次发布时，没有人会把它与chat GPT放在同一个级别。好吧，事实证明，它实际上可以通过这种方式对其进行微调，从而完全模仿chat GPT的性能。

因此，这似乎也告诉我们一些关于我们模型的潜在能力的信息，即元模型实际上具有许多它没有展现出来的能力，因为它只是没有被正确地微调。所以我认为这里有很多东西需要仔细考虑，但我不得不说，为你们斯坦福的同事们鼓掌。

是的，我知道。这令人兴奋。与OpenAI和谷歌不同，他们确实承诺发布，我相信他们已经发布了数据和训练代码，如果Meta发生，他们有望发布一些自动等待。

有点像签字。所以从学术界的角度来看，我们已经触及了需要探索的许多问题。如果你有一个GPT-3级别的系统，学术界现在可以想象实际上研究这些东西。这很好。是的。

是的。接下来是闪电轮，首先是我们最新的谷歌健康AI研究更新。这也被一些人兴奋地接受了。谷歌有Palm，它基本上就像GPT。他们在这里报告MedPalm，这是针对医学数据的专用版本。

这是MedPalm 2的公告，它似乎做得非常好，至少在医学考试问题上是这样。

是的，另一个例子是，我要说的是一个古老的问题。这个问题已经有20分钟的历史了，但在AI世界里，这是很长时间了。这个古老的问题是什么赢了？是一个从各种数据中学习然后可以通过利用从各种数据中学到的知识来解决特定问题的通用系统？还是一个只在医学数据上训练过的专用系统？

这就是我们在这里看到的。我认为谷歌的许多努力仍然涉及这种微调，大量的微调，或者在某些情况下，纯粹是在一个特定的问题类别上进行训练。他们看到了结果。我的意思是，当然，这是MedPOM 2，所以至少据我了解，它在一般数据上也进行了相当多的预训练。这是一个平衡。

但肯定是在医学数据上进行了微调，是的，在美国医学执照风格的问题上获得了60%的及格分数，在医学考试问题上获得了专家医生级别的85%的分数。所以这些数字非常令人印象深刻，与我们在LSAT上看到的GPT-4的结果不相上下。所以很有趣的是看到现在许多人类测试开始被我们的AI系统征服。

希望这意味着癌症的治疗方法即将到来。安德烈，我不知道你怎么样，但我至少从医学的角度来看，我对我们在未来几周和几个月内取得重大进展持乐观态度。

希望如此，是的。我认为这肯定会有所帮助。不幸的是，对于这些物理科学来说，你确实需要用东西做实验，但这绝对令人兴奋。我们在AI医疗方面取得了很大进展，事实上，他们宣布与

像Jacaranda Health这样的组织建立了伙伴关系，这是一个专注于改善他人健康结果的非营利组织，在乳腺癌检测方面建立了伙伴关系，还有一些其他事情。所以我们正试图尽快部署它。

是的。就像在AI的乐观方面，对吧？就像你真正想看到的，医生很贵，在低收入地区、国家、社区的人们，你知道，更多地获得这种形式的自动化医疗，我认为这真的很令人兴奋，你知道，在某些非常重要的方面，它平衡了竞争环境。是的。是的。

说到更多科学话题，我们的下一个故事是机器学习在探索宇宙中扮演着主角。这是一篇关于詹姆斯·韦伯太空望远镜产生惊人数量数据的相当有趣的文章。它每天产生230千兆字节的科学数据。

其中一个挑战是尝试处理所有数据。如果你试图用模拟或模型来做这件事，那么仅仅进行数字运算就很昂贵。因此，这篇文章介绍了如何使用机器学习技术来

真正加快速度并减少计算资源来快速处理所有这些数据。很高兴听到。是的。

是的。看到AI为我们提供的宇宙视角也很有趣。几周前我们讨论过这个问题，这个想法在很大程度上是，当我们获得AI生成的图像或AI生成的任何星系的合成图像时，我们在某种程度上并没有看到

我们的大脑本来能够自己组合在一起的东西。所以就像，什么是，什么是像，这里不要说得太哲学化，但什么是那张图像的真实本质？我们是否应该认为它与任何其他东西一样合法，嗯，无论如何，AI肯定让我们能够从巨大的数据集中提取出我们眼睛和微小的大脑无法处理的东西。而且，呃，

很高兴看到。说到这一点，实际上，下一个故事是一种提高在线数据库速度的新方法。这篇文章讨论的是论文“学习模型能否取代哈希函数？”。如果你是一个程序员，你可能会知道哈希函数只是一种为任何给定数据获取代码的方式。

数据片段，可以让你快速地键入数据库并检索数据片段。你可以有更好或更坏的哈希函数，这其中有很多细节。这项研究表明，在某些情况下，根据你的数据分布，你可能会通过学习模型获得更好的哈希性能。

是的，看看他们报告的效率提升也很有趣。在许多情况下，他们发现这实际上比完美的哈希函数更有效率。在越来越多的领域，你会看到这样的情况，比如你可能想要运行一个模拟。

有一种古老的方法是用物理定律来做这件事，然后随着时间的推移进行传播。但是你也可以使用神经网络压缩所有这些，并模拟相同的事情，无论是哈希函数还是某种环境。是的，我的意思是，AI会做到这一点。这是越来越多的AI可以帮助我们解决的问题清单中的另一个。

是的，我认为过去我们讨论过，现在似乎GPT中的一切都是如此，但在许多领域，以许多不同的方式，我们都在看到AI的到来，并且一直在看到。是的。现在，关于最后一个快速故事，我们有……

标题为“用平方损失、归一化、低秩、神经崩溃和泛化界训练的深度分类器中的动力学”。标题很长。简而言之，他们能够进行更多理论分析，并基本上理解我们在训练分类器时为什么会出现某些情况。我认为这说明了过去十年深度学习中的一个常见问题

想法是，我们不知道为什么这些神经网络会做它们正在做的事情。我认为这是正确的，但值得注意的是，在更理论化的方面已经进行了大量的研究，像这样的论文给了我们一些非常有趣的新观察结果。

是的，绝对的。对。而且，我很久以前和多伦多大学的一位研究人员进行过一次谈话，我们当时讨论了解释的定义。

这种用数学方法看待“好吧，这是关于分类器正在做什么的一种数学方法”的方式。这是一个解释层面。然后还有其他的，比如“你能用简单的英语向一个五岁的孩子或从事AI政策的人解释吗？”看到我们开始在所有这些不同的方向上取得一些进展，这真的很有趣。

我认为数学方法很重要，因为它位于许多其他更实际的解释的上游，而这些解释最终会被使用。所以很高兴看到在这个领域做了更多的基础工作。可能对能力也很有用，对吧？因为当我们开始弄清楚，“哦，这就是这个东西实际上在做的事情”，我们可以找到更好的方法来帮助它在这个过程中前进。所以这是一个有趣的结果。

是的。回到语言模型和GPT，Anthropic一直在做一些非常酷的研究，以了解更基本的行为和训练动态。

在我们的下一节“政策和社会影响”中，第一个故事是关于Anthropic的。他们发表了一篇题为“关于AI安全的核心观点：何时、为何、什么和如何”的文章。是的，这是一个非常好的概述，具有非常具体的观点。杰里米，你从中学到了什么？是的。

我认为这实际上非常重要。这是Anthropic，我认为，可以说是最注重安全的AI组织之一，它正在大规模地推出大型语言模型。

他们在这里基本上是把不方便说的话说出来了。坦率地说，多年来，在AI安全界一直被认为理所当然的事情是，嘿，我们实际上很可能正在接近人类水平的AI。所有曲线似乎都在不断陡峭。他们谈到了他们对趋势的评估。我们看到最大模型的计算使用量每年都在增加十倍。

他们有一小段话，我认为这在解释规模化项目的成功是多么的无情方面非常出色。因此，他们写道，早在2019年，多模态、逻辑推理，顺便说一句，多模态是视频，一种你可以查看视频图像、音频、文本和所有这些东西的AI。

因此，多模态、逻辑推理、学习速度、跨任务的迁移学习和长期记忆似乎可能是会减缓或阻止AI进步的障碍。从那以后的几年里，其中一些障碍，如多模态和逻辑推理，已经消失了。他们有点

基本上指出，嘿，我们认为这种情况会持续下去。他们还指出了新出现的风险，如权力寻求和奖励黑客行为。因此，他们非常认真地对待AI带来的存在性灾难性风险。再次强调，这是来自谷歌支持的领先AI实验室。我认为这里的一个关键要点是他们的战略。他们提出了一种三层战略。第一，对齐是可能的

换句话说，来自安全的这种存在性风险的东西，结果证明这是一个自己解决的问题。它最终不会成为风险。这很好。在这种情况下，他们有点像，“呃，我们不会产生很大的影响”。

他们的第二层是中等水平的，就像，“哦，结果证明这很难做到”，在这种情况下，我们预计我们在技术安全方面的贡献最大。然后在悲观的场景中，我认为这非常有趣，他们说他们认为自己的角色是决定性地证明AI无法做到安全。如果是这样的话，基本上就是拉响警报，紧急地提醒社区和政策制定者等等。

我认为这实际上非常有意义。它被很好地阐述了，按可能性空间分层，反映了我所知道的至少Anthropic的创始人在我与他们交谈时的情况。这非常像他们喜欢采取的那种实用、经验的方法。我认为这是目前任何人都能想到的最好的策略。

绝对的，是的。我倾向于同意。我认为这是一篇非常好的文章。它非常详细，而且非常具体。

这可能是我对AI安全的一个问题。它只是更多地停留在讨论潜在问题和潜在结果和过程的方面，而没有在研究方面或具体的“我们现在将做什么”和“我们现在正在做什么”方面积极行动。

我认为这阐述了Anthropic已经一直在追求的一个非常全面的计划和方法。通过使其如此具体，我认为它将在我们如何安全地继续前进的讨论中发挥作用……

非常明确具体的观点，它肯定会影响其他试图进行类似计划的群体

绝对的。是的，正如你所说，我认为具体性非常重要。坦率地说，我认为在AI安全领域，特别是AI灾难性风险安全领域，长期以来存在一个文化问题。这是可以理解的，对吧？开始在这个领域工作的人

在2008年、2012年，是神经质的杞人忧天者，他们正在做一些事情，或者至少看起来他们很有可能正在做一些事情，至少，你知道，他们可能是错的，但很有可能。不幸的是，当你是一个对如此遥远、如此假设的事情如此担忧的人时，你

你会承受某种心理负担，对你的团队也是如此。那些人往往不会创办包含乐观员工的公司。乐观是你作为一家初创公司、一项倡议、一个非营利组织所需要的。如果你想让事情发生，你需要相信你实际上可以做些什么，即使这种信念是错误的。而且，而且，

归根结底，我认为这是长期以来推动AI安全的问题。许多假设性讨论是由那些出于非常可以理解的原因而感到某种程度上心理瘫痪的人进行的。我这样说是因为我基本上与他们分享所有担忧。

但是这种具体的阐述，就像，看，这是可能性。我们将对它们做些什么。我只是，我真的很喜欢它。我认为这对整个领域的心理、文化和技术来说都是一个巨大的转变。是的，我认为我们都是Anthropic的忠实粉丝。希望他们能够像现在这样继续他们的进程。

与这密切相关的是，我们在政策和社会影响方面的下一个故事是微软刚刚裁掉了其负责AI的团队之一。因此，它裁掉了其AI组织中的伦理和社会团队。这是几个致力于AI安全广泛问题的群体之一。

这篇文章中有一些非常详细的采访，确实指出这可能令人担忧，这个特定的小组的目的是展示如何具体地实施和遵守规则。微软负责任的AI办公室有一些原则

这个小组正在帮助人们遵守这些规则。现在这个小组不复存在了。这与我们去年看到的情况有点类似，谷歌确实有很多员工离开了其负责任的AI小组或AI伦理小组。

是的。一如既往，对此有很多不同的看法，各个方向都有。其中一种说法是，好吧，你知道，这表明你对更广泛的安全相关事项、伦理相关事项的承诺如何，这些事项不仅仅是扩大规模并看看会发生什么。

然后另一种说法是，你知道，好吧，这个团队具体在做什么？这些推论能走多远？我们真的能推断出幕后还有更深层次的东西吗？解雇这个小组的管理人员的真正动机是什么？我的意思是，它

很难，因为我们没有这种可见性。对于这样的事情，这很像对齐问题。你真的希望能够看到备忘录和电子邮件，就像，好吧。表面上看起来很糟糕，而且很有可能在幕后有一个更实际的解释，但是

老实说，我认为在这一点上，责任将或多或少地落在微软身上，至少要明确他们的理由是什么，以及为什么不需要将这种趋势线扩展到其他风险类别。

是的。所以我们不应该妄下结论。已经有很多裁员和重组了。再说一次，确实有先例。所以去年，我们讨论了很多关于谷歌如何解雇其伦理研究团队领导者的内容。

Timnit Gebru和Morgan Mitchell。这主要是因为他们真的推动了讨论这些大型语言模型的潜在问题，正如他们所说的随机配对系统。这里有一些讨论，关于如何从最高层施加了巨大的压力

来快速地获取这些来自OpenAI的模型并将其发布。我认为在某种程度上，与AI安全类似，AI伦理，这在某种程度上是一个非常不同的社区，这两个社区都非常关心可能放慢速度，可能花更多时间，并更谨慎地考虑仅仅将GPT-4推向世界可能产生的影响。

是的，这是一个非常好的观点，安全和伦理团队立场之间的这种两极分化，但也存在相似之处。还有一个问题，我在谷歌的背景下听到过这个说法，在某种程度上，当你拥有伦理团队或安全团队或其他团队时，它们会过度减缓模型的部署速度，

那么在技术方面，在能力团队上就会产生挫败感，他们只想看到这些东西出现在世界上。你冒着更大的风险，可能会出现一种规避行为，人们会说，你知道吗？是的，去你的。我们根本不会参与这个过程的任何部分。

所以这让你对正在这些组织内部发生的谈判有了一些了解，多方面的，有很多不同的利益，有很多不同的担忧和顾虑。我们是否发布？我们是否要经历这个过程，那个过程？同样，这种不透明性很难在这里评判微软或谷歌的行为，但这些问题肯定是多方面的，难以确定。是的。

是的，我认为可以肯定地说，微软内部的AI FX小组确实对如此快速地推出产品进行了反击，并且存在摩擦等等。我们对此并不太了解，但这只是需要注意的一点，作为正在发挥作用的动态之一。

接下来是我们的闪电轮，一些故事从对齐开始。我们现在将讨论一些关于DeepMind对齐团队战略的高级想法。因此，DeepMind的创立也伴随着相当多的担忧，或者至少是对人工智能的考虑。我认为其中的许多人都关心安全，并且

这是一种谈论DeepMind的高级视角及其计划的演示，我想。

是的，我认为这很有趣，因为它代表了在过去三到四周内，来自领先AI实验室的三个相当重要的公告中的第三个，我认为当时并没有完全被人们所重视，所有这些公告都以不同的方式使用不同的语言，都指出AI带来的灾难性风险、AI带来的存在性风险是他们实际上开始相当担心的问题。

这具体指的是DeepMind对齐团队。我认为强调这一点非常重要，因为DeepMind比其他任何前沿实验室更由不同的团队组成，人们会在团队之间流动。因此，对齐团队的想法不一定反映整个组织的想法。他们非常小心地强调这一点。

但是是的，他们谈到了他们的威胁模型。他们认为风险究竟是什么？当我们谈到AI带来的灾难性或存在性风险时，风险来自哪里？首先，他们以这样的观点开头：嘿，我们认为不需要更多根本性的创新就能达到人工智能。

我认为这本身就是一个非常大的声明。从本质上讲，深度学习加上来自人类反馈的强化学习，至少在公众眼中，我们首先在chat GPT中看到了这一点，可以让你走完大部分路程。

当他们谈到他们的主要威胁模式时，至少对他们来说，风险的主要来源是，正如他们所说，一个目标错误的后果主义者出现并寻求权力。现在，后果主义者，你不必担心这个词。在AI安全文献中，它有点技术性。但底线是，他们认为目标错误和权力寻求是这种目标错误的一个关键表现。

这种想法是，一个AI系统会意识到，嘿，无论它有什么目标，如果它被关闭，它实现这个目标的可能性永远不会更高。因此，它有动力阻止自己被关闭。同样，无论它的目标是什么，如果它的资源更少或更聪明，它实现目标的可能性永远不会更高。

因此，它有动力聚集资源并变得更聪明。因此，所有这些都隐含地使它与围绕它的、由人类控制的方案相冲突。这似乎是一个关键因素。关于这一点，我最后要提到的，因为我认为这非常重要，是他们确实指出了内部对齐作为这里风险的来源。因此，内部对齐实际上是一个相当新近发现的东西。我认为它作为一个概念大约有三年或四年的历史了。

这是对这种认识的认可，嘿，也许你训练你的AI系统去完成的目标，一旦它被构建出来，它实际上想要的东西并不一定是你训练它的目标。人们举的例子是人类的进化。进化从本质上将我们培养成生育机器。

所以，如果进化真的在我身上发挥了作用，我应该想排队去每一个可能的精子捐赠银行，尽可能多地生育后代。但我显然没有这样做。我在乎的事情与自然选择想要的东西完全不同。我在乎的是，你知道，快乐、健康、思考、有有趣的想法、有有趣的朋友等等。所以你最终得到一个代理人

它实际上并不反映你根据训练制度、训练方案所期望的偏好，而训练方案是进化。

所以这里的想法是，而且还有更复杂和有趣的数学基础论证表明，对于AI系统来说，情况确实如此或很可能如此。这里的想法是，你可能实际上认为你正在训练一个AI来进行下一个词的预测或其他什么，超过一定的性能阈值，它实际上会发展出不同的目标。而这些目标本身就可能无法预测。无论如何，这是一个有趣的技术性深入探讨，DeepMind是如何思考这个问题的，或者至少是他们的思路。

是的，我认为这很有趣。这是一个相当简短的演示，但我认为与Anthropic类似，它对我们正在采取的方法非常具体。它引用了DeepMind一直在发表的论文，有趣的是，它混合了OpenAI使用人类反馈所做的事情，以及Anthropic正在追求的这种机械互操作性。所以

在这方面，很高兴看到在不同的组织中，这些组织可以说是非常有能力的、规模化的或成熟的，人们正在做很多工作，并且正在思考很多问题。是的。

关于担忧的话题，我们有一个故事，Meta强大的AI语言模型泄露到网上。现在会发生什么？所以这是关于Meta发布了它的一个……

语言模型LAMA，这在某种程度上类似于GPT-3和Chad GPT等等。他们想把它发布给研究人员，但后来它以torrent的形式泄露了，现在任何人都可以使用它，这是一个大型的模型版本。而且

是的，我认为这引发了一些关于是否应该始终开放的争论，或者这实际上是否不好，因为现在我们将有很多由它驱动的垃圾邮件和网络钓鱼。是的，正如他们所说，该模型与Chinchilla竞争，Chinchilla是DeepMind当时具有突破性的系统，每个人都像，“哦，我的上帝，它太强大了。如果他们发布它会发生什么？”然后是Palm 540。

真正规模庞大、功能强大的模型。它只是漂浮在那里。你知道，这让我想到《南方公园》的那一集，一个孩子来到银行，他说，“这里有一百美元。你能投资它，照顾它吗？”那个人说，“是的，是的，我们只是把它放在货币市场共同基金里，它就没了”。

你知道，就像这里一样。你开始说，“嘿，我们将构建这个大型模型，我们只将其提供给经过请求的特定研究人员。我们将做得非常糟糕。它没了。”所以基本上，我们正处于这些模型的扩散成为事实的时代。而像，“哦，我只会与少数人分享它”这样的策略。我不知道这有多么站得住脚。组织将不得不相应地调整。

是的，我认为从这个角度来看，这很有趣，因为随着这种技术越来越集成到软件中，我们只是从对所有这些事情的工作方式有点非正式转向可能更结构化。这开始进入软件盗版的领域，对吧？我们已经有了torrent一段时间了，我们也有一些应对它的技术。

我们已经讨论了对模型的输出进行水印以进行检测的可能性。像往常一样，这将是骗子、黑客和试图打击这种行为并防止任何负面结果的人之间的一场竞赛。

接下来，在政策方面，我们有“AI生成的文本图像并非人类创作”，这是美国版权局的观点，标题基本概括了内容。其核心思想是：

文本转图像AI有点像委托艺术家的创作指令。所以它不是你自己的艺术作品。有一个单独的艺术家为你创作了它。只有当你做了相当多的工作来修改输出结果时，你才能拥有该作品的版权。

是的，我的意思是，看到法律拼命地试图赶上这一潮流，真是太有趣了。这个观点能维持多久也很有趣。我们会在什么时候开始说，好吧，也许不是针对今天的AI，但在某个时刻，我们会达到一个阈值……

AI显然具有能动性或其他什么东西，我们必须认为它是一个具有法律地位的东西。是的，我想我对仅仅说，哦，AI通常……

不能被视为这些目的的代理人这一想法有点好奇和怀疑，我认为最终我们将不得不更细致地考虑我们认为足够智能以用于X目的的东西。并不是说我对这个问题有什么解决办法，但我只是认为这是一个有趣的哲学挑战。是的，我倾向于同意，从哲学上和法律上来说，这仍然是一个相当开放的问题。

为了总结一下这些担忧，我们有一篇文章，“我是一名急诊医生：当我让ChatGPT诊断我的病人时，我发现了什么”。

这位作者指出，ChatGPT显然通过了美国医学执照考试，正如我们可能已经谈到的那样。这个人试图在现实世界的医疗环境中应用它，通过向它提供匿名版本的药物。

这位医生看到的真实病人，发现大约一半的病人，ChatGPT没有提供任何有效的诊断。大多数情况下，这并不令人担忧，但至少在一个案例中，它提供的答案如果被采纳，可能会造成严重的危害。

是的，这真的很有趣，因为它让我们回到了那个问题，当我们看到类似于自动驾驶汽车的东西时，就像，我们达到什么样的性能阈值才能说，好吧，这值得使用？当然，毫无疑问，最佳阈值不包括这种性质的零错误。

但是有多少呢？人类医生犯了多少错误？关于获得人类医生的问题呢？在开始考虑这些事情之前，获得人类医生的途径必须有多么稀缺？但这都与上一篇文章同出一辙。我们被要求在最后期限内进行哲学思考，在许多情况下，这关系到人们的生命。医学界正处于这类事情的最前沿。是的。是的。

然后是我们的最后一部分，艺术和有趣的东西。

首先，我们有Midjourney 5版现已推出。如果你不知道，Midjourney是一个非常流行的文本转图像模型。现在我们有了它的新版本，它实际上是一个相当大的升级。现在AI终于可以画出没有太多手指的手了，而且

它在生成逼真图像方面普遍比之前的Midjourney更好。所以看起来有很多东西都被调整了。事实上，你可能需要改变你的使用方法。你可能需要修改你输入的文本以获得最佳结果。

是的。看到像图像生成AI这样的进化是如此有趣，仅仅是因为它会犯的错误。谁知道，好吧，数手指会成为极其困难的事情之一呢？或者我看到很多的是牙齿。你见过一些牙齿的照片吗？

我认为这就像一群女人面前放着一碗沙拉。她们在微笑，但看起来很可怕，因为她们有两排牙齿。有些东西是属于恐怖谷的。看到这些系统难以处理的事情，而对人类来说却不是问题，真是太有趣了。是的，我认为这也回到了……

这是一家公司，这是一家正在筹集大量资金的营利性公司，我们实际上并不真正了解他们在内部做什么，以及为什么这与DALI不同，这有点令人沮丧。但我非常喜欢Midjourney。我非常喜欢它，我很期待尝试一下。

是的，是的。开源成功的非常有趣的案例，因为这已经成为他们……我本来想说他们的旅程，现在我需要另一个词，但是是的。

接下来，与之密切相关的是，我们的故事是“插画比赛与生成式AI的较量”。这是Axios报道的一个有趣的小细节，他们联系了九个主要的插画比赛，只有三个允许AI作品参赛。例如，ADC奖表示，这是……

有一个单独的学科，由专门的评审团负责AI作品。所以它有点像一个单独的类别。出版设计师协会实际上允许提交用AI创作的作品，但也表示他们反对艺术盗窃，并支持合法和道德地使用AI的艺术家。

然后另一个则没有关于AI作品提交的指导方针或禁令。这里有一段话，“一切都在飞速发展”，这是该比赛执行董事说的。

不过，你知道吗？我实际上喜欢只分两级的解决方案。这是一个有趣的测试，如果没有什么其他的话，那就是人类有多重视艺术的来源，它的来源，是谁创作的，它的意义，它背后的意图，以及人们有多想看一件漂亮闪亮的东西？我认为两者都有价值。能够将这些东西区分开来

假设他们能够确保人类真正负责绘制或绘画人类的眼泪。这将教会我们一些关于人们喜欢的东西。而且，你知道，这是一件非常主观的事情。我相信不同的人会落入不同的阵营，但我个人只是很好奇，人们会倾向于哪里？你知道，我们仍然相关地，你知道，你是否仍然想观看由超级能干的机器人进行的体育比赛？而且，我，

我不知道。我认为答案可能是否定的。我认为对于某些事情，你确实想看到人类去做，也许艺术将是其中之一。无论如何，它引发了一系列关于人类在哪里看到彼此的价值，彼此作品的价值等等的问题。是的，我完全同意。我认为为这些视觉艺术建立一个单独的类别很有意义。而且

这是一个有趣的问题，你知道，它如何影响艺术？同样，多年来，我们已经进行了相当多的讨论，你知道，当我们有了摄影技术时，写实绘画的价值下降了很多，超现实主义和印象派变得流行起来，你知道，嗯，

拍摄照片或制作电影变得越来越容易。所以关于技术与艺术交叉的这个问题，已经有相当长的历史了。现在这绝对是一个相当棘手的新案例。但我认为，是的，看看人们如何评价AI艺术和视觉艺术的发展将会很有趣。是的。

对于我们的最后一篇文章，直接触及到这个问题，故事是“荷兰博物馆的‘戴珍珠耳环的少女’展出AI作品引发网络风暴”。

所以，呃，海牙的博伊斯曼博物馆。我很高兴你不得不这么说。我尽力了，呃，已经，嗯，

借出了维米尔的著名画作《戴珍珠耳环的少女》。所以他们现在有一个展览，允许许多人提交他们自己对这幅名画的诠释。大约有3500份作品被提交。

其中几百幅被选中在这个画廊展出。其中一幅是用AI创作的。艺术家本人非常直接地说，这是用AI和Photoshop生成的。而且是的，

是的，人们并不高兴。有些人对他们选择了一件AI作品感到失望。它应该是人类创作的。是的，我认为我们已经谈到了艺术家们对AI艺术有很多抵制。这只是另一个例子。是的，我的意思是，我想知道你对此怎么看，但是……

仅仅是艺术的目的是什么？如果我把一些像素组合在一起，显示在你的屏幕上，它是AI生成的，它在你心中创造了一种你从未有过的感觉，你知道，伟大的情感或其他什么。这，这没有价值吗？不是没有价值，而是，这不算某种形式的艺术吗？就像，

我们如何将这些东西区分开来？事物对我们的影响与它的来源。在AI出现之前，这两者总是合二为一。你无法真正将它们分开。无论如何，深奥的哲学问题，现在才三月。是的，我的意思是，我认为这个问题多年来一直在讨论。关于谁是艺术家，我们多年来已经有了很多这样的争议，从GANs开始。

而许多艺术家和哲学家的一般主流观点是，AI是人类使用的工具，艺术家是人类。问题出现了，在什么情况下你不再拥有某个作品的创作权？如果你真的没有投入任何工作，没有创造力，没有你的任何一部分，没有自我表达，

你可以争辩说这不是艺术，你不是艺术家。在这里，我认为这是一个特殊的展览，人们提交他们自己对《戴珍珠耳环的少女》的诠释。

而且，你知道，使用什么工具生成AI作品真的重要吗？我们有3500份作品。这显然必须有一些有趣的东西，一些不同的东西，从概念上来说，对这幅画作的一种有趣的诠释。而且，而且，

是的，我的意思是，我认为你，我会争辩说这很容易被认为是一种艺术创作，对吧？因为背后有一些想法。这不仅仅是一些随机的，给我一个赛博朋克的，你知道，戴耳环的女孩。这是有人带着特定的目标有意识地创作的，而且你

是的，好吧。可能有一些反对的理由，但在这种情况下，我认为这可能是不公平的。是的，我想他们没有解释实际的提示是什么，是吗？我不这么认为，不。好吧，那我们就永远不会知道了。是的。无论如何，围绕这个问题的讨论还会持续一段时间。

好了，本期节目就到这里。比平时长一点，因为GPT-4。但本周就到这里。非常感谢收听本期节目。希望对于任何新的听众来说，这和上一期一样令人愉快。

我们会继续每周进行节目。有时我们旅行时会休息一下。所以是的，如果你喜欢它，请与你的朋友分享。请在Apple Podcasts上给我们评价。请尽你所能让我们获得更多收听量。除了使用我的OnlyFans链接，这……是的，也许不行……

什么也不做，但没有压力。我们真的非常喜欢有听众，并希望帮助人们跟上这个疯狂的AI时代。是的，感谢收听，并确保下周收听。