‘We Have to Get It Right’: Gary Marcus On Untamed AI
41:43 Share

嘿，大家好，我是丹尼尔。在我们开始之前，有两个公告。我们自己的特里斯坦·哈里斯将于10月3日星期四晚上在圣克拉拉的梅耶剧院与尤瓦尔·诺亚·哈拉里进行对话，讨论的话题包括尤瓦尔的新书《Nexus》。如果您有兴趣，请查看节目说明中的链接。作为对听众的特别礼物，您可以在结账时使用代码CHT享受15美元的折扣。

还要快速提醒一下，我们希望您能向我们发送您的问题。任何您想知道的事情，请用手机录制自己，并将语音备忘录发送到[email protected]。谢谢。人工智能的当下是一个令人困惑的时刻。一方面，感觉我们就像一辆失控的列车。公司正向这项技术投入数十亿美元，每隔几个月就承诺推出比以前更强大的新模型。

硅谷的一些专家预测，在短短几年内，我们将拥有通用人工智能，即比大多数人类更聪明、更有能力的人工智能。炒作非常巨大，承诺也极其诱人。另一方面，我们今天使用的人工智能往往充满了幻觉和其他意想不到的行为。而这些同一家AI公司最近几周的股价也暴跌。

您也会遇到同样博学的专家预测，我们将很快在AI模型能力方面遇到瓶颈，泡沫即将破裂，社会将留下半成品的技术和无数的空头支票。加里·马库斯就是其中之一。加里是一位认知心理学家和计算机科学家，他已成为公众人工智能辩论中的领先声音。他创建了自己的成功AI初创公司，并将其出售给了Uber。

最近，他在自己的substack和媒体上论证说，我们今天看到的人工智能竞赛到今年年底将大大减缓。他说，我们已经看到了大型语言模型能力指数增长的终结。

但在他的新书《驯服硅谷：如何确保人工智能为我们服务》中，加里认为，无论技术进步的速度有多快，我们的社会都严重缺乏应对现有AI带来的风险的准备。而在这里，CHT，我们完全同意。这就是为什么我很高兴今天邀请加里来节目中谈论人工智能这个令人头晕目眩的时刻。正如您将听到的那样，我们在细节上并不总是意见一致，尤其是在这项技术的发展方向问题上。

我们今天将探讨这些分歧。所以，加里，欢迎来到您的《全神贯注》。谢谢，这是一个非常好的介绍。所以我想很多听众都在努力同时记住两件事。我也为此而苦恼。一方面，硅谷的一些人非常担心人工智能发展的速度，认为它在短短几年内就会比大多数人类更聪明、更有能力。

然后我们有其他专家，包括您，谈论基本人工智能技术的局限性，预计我们将很快遇到瓶颈。帮我解决一下这个问题。我们如何调和这种矛盾？我的观点是，人工智能总有一天会比最聪明的人类还要聪明。我认为这是不可避免的。

但这并不意味着它将在未来两年或五年内发生。而且我认为它不会。我认为至少还需要十年时间，甚至可能更长。我从认知科学和思维方式的角度来看待这个问题。我审视了人类思维需要做的所有事情。例如，类比是一种，统计分析是另一种，但推理是另一种。这花了我们……

你知道，70年的AI研究才让我们达到能够真正做好某种统计推断之类的事情的地步。

但是，还有一些事情，我们在这方面几乎没有取得什么进展，例如从不完整的信息中进行推理。当前系统在某些方面真的很、很糟糕。其中之一就是坚持事实。你不可能比最聪明的人类更聪明，却在基本事实方面失败。我们仍然不理解抽象知识、推理以及诸如此类的事情。我们仍然不知道如何将这些融入到我们的AI系统中。我们将需要根本性的创新。有些人看着曲线，他们认为它会无限期地延续下去。有时

而那些经历过一段时间的人会意识到曲线并不总是那样走。摩尔定律持续了一段时间，但它不是宇宙定律。最终它也失效了。同样，在GPT和GPT-2之间、GPT-2和GPT-3之间、GPT-3和GPT-4之间，看起来确实存在指数级进步。您可以实际拟合一条曲线，并根据您的衡量标准说出指数是多少。

但这并没有持续下去。有些人只是希望它能持续下去。而另一些人则说，是的，但自GPT-4发布以来已经两年了。我们还没有真正看到符合这种情况的东西。因此，这看起来更像是一条渐近线，事情开始达到收益递减的点，而不是持续的指数增长。

第三点是，我认为高管们都想预测非常快速的进展。人工智能伦理领域的一些人也想预测它。但是，如果您从认知科学的角度来看，这种情况根本没有发生。让我们稍微谈谈您在这个人工智能辩论中的立场。我认为可以公平地说，您对大型人工智能公司及其模型提出的许多说法持怀疑态度。您有时被称为人工智能最响亮的批评者。

但在您的书中、您的背景中，以及当我们交谈时，我看到了更细致的画面。我的意思是，在您的书中，您说：“我每天都在研究人工智能，我与那些希望走冒险捷径的人争论，不是因为我想终结人工智能，而是因为我希望它能够发挥其潜力。”您对被称为人工智能批评者的反应是什么？您为什么认为自己会被贴上这个标签？

这是一个关于信息战的复杂问题。您刚才读到的那句话我也在推特上说过，但是当我把它发在推特上时，人们却忽略了它。所以，你知道，作为响亮批评者的名声主要来自推特或X。

我反复在那里说过，我实际上热爱人工智能。我有时会指出我认为真正伟大的AI部分。但我不喜欢生成式AI。我真的不喜欢生成式AI。在过去的五年里，这几乎是每个人都想谈论的全部内容。

在推特这样的地方很难提出细致的论点。我当然尝试过，并说过，我的目标是生成式AI，而不是所有AI。这其中一个让我几乎感到困惑的例子是，加速主义者都讨厌我。他们都讨厌我，他们不明白我实际上是在试图加速AI，但我只是有不同的观点。他们的观点是，加速AI的方法是对其不加监管，并尽可能快地扩展规模。

我的观点是，这对人工智能和社会来说将是一场灾难。因此，如果我们扩展我们现在拥有的东西，它只会使它作为错误信息、网络犯罪等的武器变得越来越危险。它并没有解决真实性问题。这是一场等待发生的灾难。如果我们没有监管，那么灾难真的会发生。然后公众将对人工智能产生巨大的反弹。所以如果你想……

人工智能取得成功，你必须意识到必须有一个监管环境。而且必须做得对。想象一下，如果我们在兴登堡号坠毁后坚持使用飞艇会发生什么，因为会有很多飞艇加速主义者大声斥责那些更像我一样的人说：“也许我们应该尝试不同的方法。也许我们应该有一些监管。也许我们不应该建造这么大的飞艇，除非我们知道如何扑灭大火。”他们会说：“你们这些混蛋，为什么阻碍我们？”

事实上，那永远不会奏效，对吧？最终公众会失去信心。事实上，他们在兴登堡号坠毁后确实失去了信心。因此，我认为最有可能的是，我们将面临类似的情况，这将导致人工智能暂停，因为公众真的厌倦了看到他们所看到的东西。而且因为行业本身并没有承担，我认为，适当的责任。我认为还有一种不同的情况，一种更乌托邦式的场景……

我们审视当前人工智能、生成式人工智能的道德和技术缺陷，并通过改进技术方面来构建更好的东西，我认为这需要一种与我们现在采取的方式不同的方法。并通过某种监管框架，看看飞机。商业航空公司之所以如此安全，是因为我们有多层监管。它经过深思熟虑等等。我们将需要为人工智能做类似的事情。如果我们做到了这一点，那么我认为我们有机会实现乌托邦，在那里人们

人工智能帮助科学、医学、农业以及我们长期以来一直在谈论的所有这些事情。但我们必须把它做好。顺便说一句，您可以将它与无人驾驶汽车进行类比。如果您明天只是说，嘿，特斯拉，把这些东西放到路上。让任何人使用它。让机器自己运行。将会发生大量的交通事故，将会进行国会调查，整个事情将会被关闭。

但生成式人工智能有点不同。它只是被扔给了全世界，它确实正在造成问题。确实存在越来越多的反弹。我们在无人驾驶汽车行业看到的耐心并没有存在。

谈论人工智能的难点在于，它是一个像体育运动一样的笼统术语，对吧？它对不同的人意味着很多不同的东西。有许多不同种类的人工智能，它们具有不同的优势和劣势。当然，现在受到所有关注的是像ChatGPT、Gemini和Claude这样的生成式人工智能。所以让我们从这里开始。在您看来，科技行业对生成式人工智能投入了过多的关注和精力。但您指出它具有所有这些独特的弱点。您能否谈谈这些弱点是什么以及它们是如何出现的？

是的，也许就像他们在商业中所说的那样，让我们明确一点。人工智能非常有用。所以，你知道，没有人得到生成式人工智能的新闻报道，但生成式人工智能只是人工智能的一小部分。例如，我们还有GPS系统，它可以帮助我们在不熟悉的城市中导航，效果非常好，而且我没有抱怨。你知道，

我认为特别是生成式人工智能存在相当大的缺陷。我会给你一些原因和说明。但它不知何故获得了所有资金和关注。我认为它获得了所有资金和关注，因为它以其他人工智能不具备的方式具有拟人化特征。所以人们并没有真正爱上他们的GPS导航系统。几年前有一段时间你可以使用语音，人们有点喜欢那样。但他们并没有真正爱上它。

与系统，许多人，并非所有人，都爱上了生成式人工智能。他们把它当作一个人来对待。从技术角度来看，它根本不可靠。所以，你知道，你可以比较一下。计算器在其范围内100%可靠。GPS系统真的就像，你知道，在其范围内98%可靠。生成式人工智能承诺回答关于世界的任何问题。

它几乎从不说“我不知道”或“不在我的范围内”。在少数情况下它会这样做。所以基本上，它承诺了月球，但它实际上无法实现。对于您可能提出的几乎任何问题，它可能是正确的，也可能编造一些东西。这很糟糕，因为您在不同的场合实际上会得到不同的答案，这取决于确切的措辞和确切的上下文。

因此，系统中没有内在的可靠性。它真的不太好。它不是我们对人工智能的梦想。我的意思是，你不会希望星际迷航的电脑是50-50的，或者打电话给你的经销商看看你会得到什么。这是一个老的阿里G笑话。好吧，我听到了。我的意思是，我真的听到了，对吧？但是

如果有一个与生成式人工智能的类比，那就是我们已经发展了机器直觉。就像我们的直觉一样，它是难以捉摸的。你无法观察它并理解它。它有时会给你非常错误的答案，也取决于你是否在该领域接受过正确的训练。有时是精彩的答案，对吧？我的意思是，这毫无疑问。但它是未经检查的。我唯一感到舒服的是当有人参与其中时。

因为必须有人在那里检查直觉。它永远不应该被单独信任，因为它无法进行健全性检查。好吧，我想就此进一步探讨，因为一些不同意您对遇到瓶颈的分析的专家会说，

增加此工具使用的工具数量，更好地提示LLM进行自我反思。所以当你说些什么时，它会查看自己的结果，并查看它得出的结论。不同的专家和专家混合体查看和改写彼此的作品。你根本不相信这也会带给我们更美好的未来，对吧？而我认为其他专家说这将使直觉得到控制。并非以其当前形式。

它不会以其当前形式工作。所以真正的问题在于翻译。所以你从大型语言模型中得到的是它给你一个输出句子，然后你想把它提供给你的工具。但是，如果输出句子不是正确的输出句子，你的工具就不会做正确的事情。所以如果你拿一个给孩子做的文字题，然后把它输入进去，

你可能会让它转换成正确的数学内容，但你可能不会。它可能完全想出错误的东西。因为它是一个黑盒，只是一个句子，你真的不知道那里有什么。我实际上喜欢在这里用一个比喻，这是一个老笑话。

一个人说，我有一个永动机。另一个人说，好吧，你知道吗，真的吗？他说，是的，我让整个东西都运转起来。真的吗？好吧，除了一个东西。是什么东西？是这个来回、来回、来回运动的部分。所以笑话的重点是，你可能认为自己非常接近，但如果你没有关键要素，你就什么也没有。我部分同意你所说的，但我还是想知道——

有两种偏见。我很难判断我认为我们有多么停滞不前。而且，你知道，根据你的说法，我们实际上相当停滞不前，直到我们想出一个新的架构。我另一部分的想法是，你开始在这些模型上添加更好的内存。你开始让其他模型检查彼此的工作。你开始使用工具说，哦，帮我把它写下来。这是真的吗？不是吗？然后突然之间它变得好多了，即使我们无法证明任何事情，就像我无法证明泰诺是如何起作用的，或者我无法证明我的出租车司机会把我送到目的地一样。

但它最终运作得足够好，让我可以真正依赖它。所以让我看看如何表达这一点。在某种程度上，我同意你刚才所说的，你也同意其中一部分。我们不会深入探讨所有层次的元协议。但我想说的是，要做所有这些事情，你说，好吧，例如，我将只添加一个外部内存。让我们关注这一点。事实证明，这些问题中的每一个实际上都是一个严重的研究问题，人们已经研究了几十年，但没有取得太大进展。

所以我认为这是可以做到的，但这样做并非易事。有，你知道，许多尸体，你知道，沿着这条路。你有很多这样的问题，人们会说，好吧，你只需要一个X，你只需要一个Y，你只需要一个Z。而我们这些在该领域工作了很长时间的人知道，这些X、Y和Z是A，非常困难，B，它们很难与巨大的、无法解释的黑盒集成。而且

所以有人会找到穿过这片森林的方法，但这不像我们，你知道，距离光明和水只有两分钟，就像，根本不像那样。

好的，也许只是为了让我们退一步，无论我们对如何到达那里可能有什么技术分歧，我可以和你谈论几个小时，但分歧可能并不重要，对吧？因为我认为我们同意现在这项技术确实存在这些真实且存在的危害。所以让我们把这一切都放慢速度。那么，您能否详细说明生成式人工智能目前对社会造成的具体危害？无论速度有多快，为什么我们现在应该担心我们现在拥有的人工智能？

所以我实际上在书中有一张图表，列出了十几个迫在眉睫的风险。还讨论了不太直接的风险，我们当然应该讨论它们。但直接的风险包括诸如出于政治目的的虚假信息。这显然已经是一个严重的问题。今年在美国大选中，在德国大选中也是如此。还有……

围绕股票市场等类似的问题。而且，你知道，在一年前半，当我向参议院发言时，我就警告过这一点。我想，嗯，我应该提一下这个吗？我认为它实际上还没有发生。一周后，我们在美国看到了这方面的第一个证据。现在我们在印度股市看到了一堆证据。你说的像是股市内的拉高出货虚假信息。第一个是五角大楼着火的照片，这导致市场下跌，而且

我不知道这是故意作为所有这一切的试点，但它可能是。当然，人们注意到了。然后，是的，印度发生了一些拉高出货的事情。关于我们在这里讨论的内容，快速说明一下。

匿名不良行为者一直在使用人工智能深度伪造来操纵股市，例如最近印度国家证券交易所首席执行官的音频深度伪造，告诉人们购买哪些股票，以及最近流传的一张五角大楼附近发生爆炸的假照片，这影响了美国股市。这种事情非常危险，不仅因为它会扰乱股市，还因为它会将资金输送给那些将这些工具用于个人利益的人。

没错。不难想象，事实上，人们会使用人工智能代理并试图入侵基础设施以造成损害，以赚钱。事实上，如果这种情况在未来五年内没有发生，我会感到惊讶。

还有一件事，这是一个有点离题的话题，但一件非常有趣的事情是，不良行为者通常不需要人工智能像优秀行为者那样有效。一个想要使用人工智能来解决医学问题的优秀行为者只会意识到它实际上还没有达到那个水平。他们还会看到准确性对他们来说是一个巨大的问题。

我的意思是，这并不意味着人们不应该尝试，但这是一个问题。而不良行为者通常不在乎。想想垃圾邮件。他们向一百万用户发送一些东西。它只说服了五个人，但这并不重要。如果他们让20万分之一的人给他们寄任何东西，1000美元，那么他们做得非常好。

所以不良行为者通常不在乎。再举一个例子。当前的人工智能在事实性方面非常糟糕。你提到了幻觉。你不想用它来写报纸，因为人们会开始抱怨。CNET尝试过，但失败了，并受到了反弹。但如果你是个坏人，你不在乎。你运营这些网站，你靠假新闻赚钱，或者歪曲公众对现实的看法，我认为最近我们在X上看到了很多这样的情况。

可能还有其他渠道，TikTok等等。因此，不良行为者并不关心他们发布的80%的内容是否被视为垃圾，人们会忽略它，只要20%的内容符合他们的目的即可。当然，因为你只需要说服一部分人口。你不需要治愈什么。你不需要找到新的解决方案。恐吓一群人或欺骗一群人要容易得多。你只需要找到一些傻瓜。是的。

是的，而且傻瓜的门槛更低。所以，好的，所以有虚假信息，有错误信息，有诽谤。你知道，我会把它留给读者在书中看到所有十二个，但重点是现在有很多风险。我只想再提一个，那就是深度伪造，既有其虚假信息的潜力，也有深度伪造的色情内容，青少年现在将其作为武器互相使用的方式真是令人悲痛。太可怕了。太可怕了。

说到你的书，我很高兴看到你一开始就谈到了与社交媒体的相似之处。事实上，我们开始关注它，因为我们看到了在社交媒体中发挥作用的相同激励机制也在人工智能中发挥作用。

你为什么以社交媒体开头？因为它是一个很好的例子，说明科技行业是如何搞砸的，以及有很多相似之处。所以我要说，我一生都是电子产品爱好者。我一直热爱科技。我认为社交媒体是我们真正搞砸的地方之一。

社交媒体是一个例子，说明我们拥有一项强大的技术。它是一种双用途技术，就像人工智能一样，就这个技术术语而言，它可以用于善，也可以用于恶。社交媒体可以用来组织人们对压迫性政权进行合理的抗议。这是它最早的用途之一，也是我认为

人们最初对它持积极态度的原因。但它也可以用来让人上瘾。对我来说，甚至在你的节目上解释它都很疯狂，因为我相信你的听众非常了解它。但为了让这一集稍微独立一点，这一集可能对青少年造成了巨大的伤害。它给社会带来了巨大的两极分化。我相信你们有很多集详细介绍了所有这些。

所以这是一个例子，说明一项双用途技术可能总体上弊大于利，而且肯定没有达到人们希望它达到的好处。好吧，从我们的角度来看，这并非技术的本身错误。我的意思是，这项技术，它超出了技术是一个可以以不同方式使用的平台的想法。这是因为……

真正的是，技术的形状是由这些激励机制、商业模式以及所有这些驱动的。所以与其说是技术本身的失败，不如说是我们围绕这项技术建立的社会制度和激励机制的失败。100%。所以，你知道，原则上，我们可以围绕它建立一组不同的激励机制，它可能会运作得更好。

但我们沉迷于匿名和新闻推送奖励等事情。我一直认为新闻推送是这段历史中最糟糕的时刻之一，当时新闻推送突然与第230条相结合，这是

一项基本上赋予这些公司免责权的法律，这是一个可怕的组合，因为这是这些公司突然开始真正塑造新闻而不为此负责的时刻。所以回到人工智能……

我看到很多相同的动态在起作用。所以我看到监管不足。我看到政府做得太少。我看到说客非常有效且资金充足。在那个层面上有很多相似之处。社交媒体存在一个监控方面，我们甚至可能以更深层次的方式看到它。我想花一点时间谈谈人工智能方面的这个问题。

我们看到规模可能造成巨大的危害。仅就监控而言，事实证明大型语言模型可以做一些疯狂的事情，例如在人们心中灌输错误的信念。因此，社交媒体公司塑造我们思想的力量可能比大型语言模型更大。可能甚至更大。我的意思是，

你跑得太快了，但这却是一个非常深刻的观点。我们能否就此放慢速度？大型语言模型可以灌输错误信念的想法。没错。一项新的研究刚刚证明了这一点。伊丽莎白·洛夫特斯，她做了关于错误信念的大部分最著名的工作，是一位作者，并且与一群人工智能研究人员合作。我忘了是谁了。它是在几周前刚刚发布的。他们表明大型语言模型的输出

可以让人相信某些事情发生了，而实际上并没有发生。我的意思是，就这么简单。结果很简单，但其含义却很深远。

我的意思是，首先，第一层是您拥有一个软件，它并非故意，而是由于其固有的特性而产生幻觉。所以大型语言模型会产生幻觉。没有人知道如何解决这个问题。所以第一层是您拥有一个可以产生幻觉的软件，然后它们可以让人相信某些事情发生了，而实际上并没有发生。对于软件来说，这是可怕的。

民主和社会结构，对吧？而这些事情正在大规模发生。下一层是对此没有任何法律规定。这是狂野的西部。因此，如果大型语言模型这样做，则不清楚它们是否承担任何责任。然后还有另一层更令人恐惧的事情，那就是大型语言模型公司可能会故意这样做。所以假设某人……

很有钱，我们不会透露任何姓名，想要构建他们自己的大型语言模型，并且他们有能力分发它，并且他们想要其中某种偏见。这种偏见可能会在人们心中植入错误的记忆。因此，经营这些公司的那些人

可以轻松地影响社会结构。哦，甚至不需要是一个想灌输政治信仰的留着小胡子的家伙。它可能是出于平庸的资本主义原因，对吧？可能是你被一家鞋公司付钱，你问LLM一些关于我如何找到工作的问题，它就开始说，好吧，首先，你必须为工作穿鞋。你必须穿上你想要从事的工作的鞋子。像这样的世界，像这样的说服力，我认为这是一个非常危险的世界。

在我去参议院之前，有人告诉我，我应该调整一下我扮演聪明人的次数。他们并没有用那些话告诉我。仍然是不错的建议。

当萨姆·阿尔特曼回避了他最害怕什么的问题时，我给了他一个非常难堪的时刻。所以布卢门撒尔参议员说，你最害怕的是工作吗？萨姆·阿尔特曼说，不，他不真的担心这个问题，因为总是有工作。我说，布卢门撒尔参议员，你可能希望让萨姆·阿尔特曼就他最担心的事情留下记录。就在那时，他承认这些系统可能会给人类带来巨大的伤害。

我不知道我是否被允许这样做，但我将指出，萨姆最害怕的事情，我认为，不是就业。他从未告诉我们他真正最害怕的是什么。我认为找出这一点很重要。谢谢。我要问阿尔特曼先生是否愿意回应。是的。看，我们一直试图非常清楚地说明这里的风险有多大。我最害怕的是，我们，这个领域，这项技术，这个行业，给世界造成重大伤害。♪

然后后来我放弃了我自作聪明的时刻，因为我已经用完了。但我想说的是，你可能知道扎克伯格被问到他的商业模式时说的那句名言，他说，参议员，我们卖广告。所以萨姆被问到，我们卖广告吗？他说，好吧，我们现在不卖。我不记得他的确切措辞了。但我想说的是，他是在说，参议员，我们现在还不卖广告。事实上，还有更……

更有害的，也许是这个词，更微妙的事情，不仅仅是卖广告，而是在你回答查询时改变天平，这正是你正在谈论的，对吧？这并不一定是因为你为俄罗斯政府工作。它可能就像你刚才谈到的那样，在大型语言模型中进行产品植入的诱惑是巨大的。我认为人们已经在尝试这样做了。我不知道这是否发生在商业领域，但我认为已经进行了实验。

所以这里的诱惑将是巨大的。然后你注意到所有这些东西现在基本上都是开源的，这意味着任何人都可以开店来做他们自己的版本民意调查或我们需要一个新词来形容它，比如推动提示。这不是一个合适的词，但它是在改变天平。我们将看到很多这样的情况，它可能非常有效，但却在暗中进行，所以人们不知道它正在发生在他们身上。

是的，我的意思是，我对缺乏透明度的未来非常害怕，对吧？如果你缺乏透明度，即使是在正在发生的事情上，在提示的方式上，在你从查询和响应到某种关系的转变方式上，然后你开始这种关系发生变化。

出于你无法分辨的原因而被操纵。而且任何层面都没有透明度。首先，关于系统训练的内容没有透明度。而且对于例如强化人类反馈的东西也没有透明度，这也会改变天平。任何阶段都没有透明度。我想我对你提出的问题是，

你认为有多少伤害来自这种半损坏的、不可靠的LLM技术本身？有多少是来自不良激励？以及缺乏监管。我认为有三件事。有些来自技术局限性。有些来自不良激励，有些来自我们本可以希望得到并且仍然应该希望得到的政府监管的缺乏。所以

我将举出每个方面的例子。我不确定我能不能，这似乎是一个很难回答的问题。一个技术缺陷成为问题的很好的例子是虚假信息，因为系统根本无法处理真相。他们不知道什么是真的，所以他们根本无法过滤他们所说的话。这使得他们很容易被滥用。网络钓鱼攻击就是另一个这样的例子。制作它们来做非常欺骗性的事情非常容易。

这属于技术的本质。第三件事是，你知道，人们谈论过人工智能杀死我们所有人的风险，并且，你知道，如果机器与我们不一致，等等。他们当然与我们不一致。即使他们没有杀死我们所有人，他们至少……

很难向我们正在谈论的那种机器指定你实际上希望它们对齐的内容。他们不明白，不要对人类做坏事，不要对人类造成伤害等等。这是我们现在拥有的架构的本质，它们不能很好地对齐。这是一个非常严重、深刻的问题。

你可以想象一下，监管可能会激励人们将这三者结合起来，构建没有这些问题的架构。但是现在我们没有法规，我们没有激励措施。因此，人们构建的东西确实很难对齐。

好吧，在你的书中，你有一套关于如何减轻这些激励措施的精彩干预措施，我认为我们一致认为这些激励措施正在导致一系列风险。你能谈谈你认为最有效地减轻这些风险的干预措施吗？我的意思是，这就像索菲的选择，除了我有11个孩子，对吧？

有11个不同的建议。第一个建议是不指望只有一个建议。这有点令人沮丧。说，这是你应该做或不应该做的一件事，要容易得多。尤其是在我作为播客嘉宾的职位上。但现实情况是，我们现在正在摆弄一种通用人工智能。它在我谈到的所有方面都不太好用，但它可以用很多不同的方式来

它确实带来了许多不同的风险，指望一颗银弹是不现实的。最接近的是停止构建人工智能，但这永远不会发生。我不确定它是否应该发生，因为我认为确实存在积极用途。所以接下来要做的是把它放在实验室里，不要部署它。我可以理解这种说法。这也可能不会发生。

所以一旦你超越了这一点，你就会有其他的干预措施。可能，如果我必须优先考虑的话，第一位将是任何将在大型规模上使用的任何东西，事实上都应该进行部署前检查，如果它不符合部署前检查，则应采取某种实际措施。我们对药物也这样做，对吧？如果你不能证明它不会造成巨大的伤害并且会产生良好的结果，你就不能发布一种药物。

我们与FDA有一个完整的程序，你可以争论它是否完美、太慢等等。但我们有一个程序来防止人们受到制造药物的随机江湖骗子的伤害。我认为，如果你真的看看哪些东西可能被过滤掉而没有被过滤掉等等，它运作得相当好。我不是说它完美无缺，但它运作得相当好。我们需要类似的东西。

对于人工智能，特别是如果有人要为1亿客户部署某些东西的话。现在，为了论证的目的，我假设GPT-4对社会来说是一个小的净正值，让我们假设一下。这并不重要，因为我想说明的是，下一个系统呢？无论何时出现，与GPT-4显著不同的下一个系统将带来一组新的危害，

可能更严重的危害，谁来做出这个决定？这个决定是如何做出的？我认为可以合理地说，应该有一些公司外部的知识，一些独立的监督应该在那里，并且应该有一个流程。对于药物来说，这是一个流程。所以这不像FDA说走开，永远不要回来。更像是当你解决这个问题时再回来。

也许要解决这个问题，你只需要贴一个警告标签。不要空腹服用，因为它会腐蚀你的胃。就像……

现在我们可以开始了。有时情况可能会更糟。所以我们确实需要在大型语言模型上贴上警告标签。相当多的人不明白它们是谎言。底部的细则是不够的。但对于下一代人来说，我们可能需要更多的东西。所以如果我只有一件事，只有一件事，那就是部署前测试。但老实说，我们也需要审计工具

我们需要透明度。我们需要透明度的一件事是进入系统的数据，原因是我们之前讨论过的所有原因。我们还需要了解进行了哪些内部测试。我们不想重复福特皮特诺发生的事情，那些家伙知道油箱会爆炸，但他们做出了一个财务决定。

没有什么能阻止OpenAI或任何这些公司做出财务决定，即使他们知道下一代模型会带来某些危害，也会照样发布它们。到目前为止，没有任何东西强迫他们披露他们在内部做了什么。是的。在你的书中，你谈了很多关于你认为需要一个新的权力中心，一个新的机构来处理这些责任。你是以FDA为模型的吗？是的。

所以机构应该做的事情的一部分是，让我倒退一句话，机构的目的是比国会更灵活。国会显然一点也不灵活，所以这并不是一个很高的门槛。但机构的意义在于，你拥有具备专业知识和权力的人

快速行动，对吧？所以我们有一个负责健康、教育和福利的机构，负责国防等等。就像，你知道，你可以想象一个我们没有国防部，我们只是将责任分配到各处，而健康、教育和福利部门必须做国防部的工作的世界。这太荒谬了，对吧？你可以想象这样做，对吧？

或者你可以想象一下没有国防部，总统只是坐在椭圆形办公室里，对他的朋友们说，嘿，你知道吗，你觉得怎么样？如果我们今天入侵波兰会怎么样？你认为会怎样？这太荒谬了，对吧？你需要一个国防部。你应该有一个人工智能部门。人工智能部门应该做的事情之一是，本周发生了什么？你知道，有没有什么，因为事情发展得非常快，即使模型的绝对能力有所下降，人们也会找到新的应用。

关于做什么有很多争论。我们应该有人来负责。你如何处理这些各种风险？应该有一个机构来关注所有这些事情，让所有事情都在雷达上。美国应该有一位有工作人员的人来做这件事。好吧，我的意思是，我也想在这方面获得帮助，理解一些事情。我也想要一个机构来帮助整理新闻，帮助弄清楚哪些事情已经准备好了，哪些事情还没有准备。但实际上有很多声音说，你知道，

那会被捕获，它要么会被公开腐败，要么会像其他一些机构一样磨成尘土。你对那些人怎么说？我说那些人绝对有权有这种担忧。

事实上，每个机构都面临着监管被俘获的风险，这意味着我们试图监管的公司会控制这个过程。而且，我们试图监管的公司非常擅长这一点。他们在社交媒体上做了非凡的工作，控制了我们拥有的监管。正如我前面提到的，第230条已经是一场彻底的灾难。所以我100%认为我们需要

防止监管被俘获。我认为解决这个问题的方法之一是在其中加入独立的科学家。每次看到一个主要政府举行会议，其中有，你知道，三到二十名

大型公司的代表在房间里，而没有主要的科学家，我都感到不安。我一次又一次地看到过这种情况。我在美国见过。我在其他国家也见过。这种倾向于将公司领导者视为摇滚明星，并将科学家视为事后想法是一个巨大的错误。我认为这在视觉上也是一个错误，尽管人们并不太关心它。但这看起来就是不对。我认为……

如果只有大型公司的人坐在桌旁，我们就无法成功，因为他们会控制一切。他们长期以来一直这样做。所以我对此表示极大的同情，并且

我唯一真正好的答案是拥有独立的声音。我倾向于强调科学家，因为我是一个科学家，但独立的伦理学家和法律学者等等。我们必须让多个声音在桌旁发言，指出哪些方面可能会被控制或出错？所以值得把它做好。没错。

加里，这显然是一个非常深刻的话题，我们可以永远谈论下去。我们甚至还没有谈到国际竞争和其他一些事情。但我真的鼓励大家阅读你的书，你在书中详细阐述了这一切。说到这里，你在书的结尾呼吁采取行动。我真的很想给你一个机会，直接向这个播客的听众发出这个行动呼吁。对现在正在收听的每一个人，无论你是政策制定者、计算机科学家还是完全处于这个领域之外的人，你认为我们都需要做些什么才能让事情变得更好？

我们需要大声疾呼。我们不能只让公司自我监管，这是他们想要的。我们不能只依靠政府，尤其是在美国，在“公民联合”等等的情况下。如果没有人们大声疾呼来照顾我们，我们就不会让政府自己来照顾我们。

我们需要公民大声疾呼。这可以采取直接行动或间接行动的形式。我不确定每个人都会采取的一种直接行动，但我们应该考虑的是，实际上抵制某些产品，直到它们变得合乎道德，直到它们变得可靠等等。举个例子。有一些生成式人工智能程序可以制作图像。玩起来非常有趣。但它们正在使用艺术家的作品，却没有补偿艺术家。

这就像使用没有公平采购的咖啡一样。我们可以作为一个社会说，这些产品有如此多的负面外部性，如果你使用它们，你就是在帮助建立一种非常具有剥削性的新型资本主义。

所以，我们今天没有谈论太多环境成本，例如，但它们很大，而且越来越大，因为该行业关于如何解决其问题的唯一想法，而且每个人都知道幻觉等等这些问题，就是试图构建更大的模型，这将对环境造成更大的损害，占用更大的世界能源份额，可能会推高价格。我们可以作为一个社会说，够了。

我们不是说永远不要构建人工智能，但当你们没有答案来回答谁将支付成本时，我们为什么要使用你们的产品？你们没有答案说明如何使其可靠。如果我们通过坚持要求他们改进产品并在改进之前不发布产品来激励这些公司，我们实际上可以迫使他们处于人工智能会变得更好的位置。

我真诚地认为，我们正处于反乌托邦和乌托邦之间的刀锋边缘。乌托邦是我们可以制造真正有助于科学的人工智能，真正帮助许多人，而不仅仅是少数人，或者我们最终可能会得到一种人工智能，它基本上只是

知识产权属于少数几家公司，这些公司会造成所有这些危害，歧视、虚假信息等等。我们最终会走向哪条路取决于我们现在做什么？我们是否会采取抵制之类的行动？我们至少是否坚持要求人们在选举中告诉我们他们对这个问题的立场？我的意思是，让我感到震惊的是，

每天人们都在谈论移民和经济等等，没有人谈论人工智能。到目前为止，关于人工智能政策的讨论还没有。我希望到播出时这已经过时了，但我不知道它是否会过时。人们至少可以做的事情是打电话给他们的参议员、国会议员，说，你们对人工智能和所有这些风险做了什么？美国公众实际上担心人工智能，但他们对此还不够大声。

加里，感谢你阐述了所有这些。非常感谢你来到你的《全神贯注》节目。好吧，你得到了我的全部注意力。我认为你对CHT这个节目中的想法和我对人工智能的谈论之间存在着深刻的联系。你一直担心的所有事情都适用于人工智能，甚至可能更糟。所以我非常感谢有机会与你的听众交谈。

如果你喜欢这次谈话，并且想了解更多信息，你可以在任何销售书籍的地方找到加里的书《驯服硅谷》。你的《全神贯注》节目是由人文技术中心制作的，这是一个致力于催化人文未来的非营利组织。我们的高级制作人是茱莉亚·斯科特。乔什·拉什是我们的研究员和制作人。

我们的执行制作人是萨莎·菲金。杰夫·苏德金负责本集的混音。瑞安和海耶斯·霍利迪创作了原创音乐。特别感谢人文技术中心全体团队使这个播客成为可能。你可以在humanetech.com找到节目说明、文字记录和更多内容。如果你喜欢这个播客，我们将不胜感激，如果你能在苹果播客上对它进行评分，因为它可以帮助其他人找到这个节目。如果你一直坚持到这里，感谢你给予我们你的全部注意力。