We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode The Best Way to Achieve AGI Is to Invent It

The Best Way to Achieve AGI Is to Invent It

2024/11/4
logo of podcast AI + a16z

AI + a16z

AI Deep Dive AI Chapters Transcript
People
P
Pedro Domingos
长期机器学习研究者和华盛顿大学计算机科学教授Emeritus,专注于机器学习、人工智能和数据科学的研究和统一算法的探索。
Topics
Pedro Domingos认为,实现AGI的关键在于基础性的创新想法,而不是仅仅依赖于规模化。他指出,当前的AI研究过于同质化,缺乏多样性,容易陷入局部最优。过度关注Transformer模型等现有技术,虽然能带来一定的改进,但不足以实现人类水平的智能。他强调AI发展是一个长期的过程,需要更多样化的研究方向和方法。Martin Casado则主要扮演提问者的角色,引导Pedro Domingos阐述其观点,并就一些关键问题进行深入探讨。

Deep Dive

Chapters
Pedro Domingos discusses the misconception that AI progress is a sprint, emphasizing the need for fundamental new ideas and the diversity of research directions.
  • AI progress is more like a marathon than a sprint.
  • Current research is more focused but less diverse.
  • Even incremental improvements in AI can have significant impacts.

Shownotes Transcript

我花了九年时间才想出广义相对论,那只是一条方程式。所以你认为我们能在六个月内实现AGI吗?我确实认为我们需要一些根本性的新想法。

不幸的是,我看到的研究比以往任何时候都多,但多样性却比以往任何时候都少,这非常不幸。我们正在冲刺,但冲刺的目标是一个局部最优解。冲刺到局部最优并没有什么错。

所以有很多改进的空间,例如,让转换更快、更高效。所有这些都是最终目标。但这并不能让我们达到人类水平。

话虽如此,即使我们只改进变压器,这本身也会产生巨大的影响,因为AI的影响力是人们不熟悉的。所以即使只达到AGI的10%,也会对世界产生巨大的影响。

欢迎再次收听a16z AI播客,希望你们已经按下播放键,开始聆听另一场精彩的讨论。这次讨论的主角是a16z的合伙人,以及一位著名的机器学习研究员,也是多产的作者,Pedro Domingos教授,他是华盛顿大学的教授,并且自1990年以来一直参与机器学习领域。

他也是畅销书《大师算法》(2015年)的作者,最近出版了他的第一部小说《2040:硅谷讽刺剧》。我们这次的讨论将涉及这些书籍和其中的想法。重点在于我们当前的AI研究路径是否正确,能否让我们达到AGI(超级智能)或任何其他人认为的最终目标。

在其他话题中,Martin对持续点击的评估、缩放定律的有效性、构建大型AI数据集的智慧、以及变压器架构在追求“大师算法”中的作用进行了批判性评价。这是一次富有洞察力的对话,比我所能概括的要好得多。请注意,此处内容仅供参考,不应作为法律、商业、税务或投资建议,也不应用于评估任何投资或证券,并且不针对任何投资者或潜在投资者。是否属于任何a16z基金?有关更多详细信息,请参阅a16z的披露声明。

我从事机器学习研究已有30年,从我读研究生开始。所以,我算得上是AI的资深人士,华盛顿大学的教授。但我可能最出名的是那本畅销书《大师算法》,它普及了机器学习。最近,我出版了另一本关于AI的讽刺小说《2040》。我继续进行研究,并努力向公众普及这些知识。

您是华盛顿大学的教授。您能描述一下这在您日常工作中意味着什么吗?

就像,你知道,在世界冬天,你可以做任何你想做的事情。

而你不会做任何你不想要做的事情。

我经常开玩笑说,当我还是教授时,研究是我的业余爱好,现在我可以全职做这件事。所以,是的,当然会专注于解决问题。

我今天能谈谈这个话题吗?还是个秘密?

但让我告诉你,我已经解决了这个问题。我只是还没告诉你。

就是说,你不会告诉我。

我不能现在告诉你。我需要申请专利,然后证明它比现有方法更好。有很多细节需要考虑。

各位,你们都听到了,Pedro谈到了AGI,顺便说一句,你们指的是AGI。

不,我说的不仅仅是AGI,而是超级智能。我经常看到这种情况,我喜欢,因为人们不相信我,他们认为我会是最后一个人。我昨天才说过这件事。

我喜欢。好的,那么,我想讨论第一个话题。您多次说过AI是一场马拉松,而不是冲刺,而我们似乎正处于一种疯狂的冲刺阶段,创新不断涌现。您最初这么说,以及您如何看待当前的进展和速度,希望能听到您的想法。

当然。我确实坚信AI是一场马拉松,而不是冲刺。这就是我为什么这么做的原因。

我认为他是一个有洞察力的演讲者,对吧?我花了十年时间才想出广义相对论,那只是一条方程式。所以你认为我们能在六个月内实现Sophia吗?对此有几种不同的看法。

一种观点是,这仅仅是缩放的问题。如果只是缩放,那么我所做的一切都是浪费时间,对吧?但我确实认为我们需要一些根本性的新想法。不幸的是,我看到的研究比以往任何时候都多,但多样性却比以往任何时候都少,这非常不幸。

我们正在冲刺,但冲刺的目标是一个局部最优解。冲刺到局部最优并没有什么错。例如,改进变压器使其更快、更高效,有很多改进的空间。所有这些都是好的。但最终,这并不能让我们达到人类水平的智能。我不这么认为。话虽如此,即使我们只改进变压器,这本身也会产生巨大的影响,因为AI的影响力是人们不熟悉的。所以即使只达到AGI的10%,也会对世界产生巨大的影响。

我想谈谈这两件事。首先,您谈到了变压器,您谈到了当前的路径,也就是说,现在的情况似乎非常符合缩放定律。

如果您关注大型科技公司,您可能会预测,如果增加计算能力和数据,缩放定律将继续适用。但我一直听到有人说,在计算机科学中,没有什么能永远保持下去。如果您要预测缩放定律是否会继续适用,以及如果不适用,您认为是什么限制因素?

好的。我不知道缩放定律是否会继续适用,但实际上,缩放定律的有效性相当有限。已经有一些论文发表,指出缩放定律基本上是一种错觉,它们是衡量标准的产物。

它们……它们……让我告诉你们我的一次深刻的经历。我实际上在我的学术生涯的前几年(90年代和2000年代初)主要致力于研究机器学习算法的缩放。这是早期研究缩放的一种方式。

然后我们达到了一点,我们可以用数学方法预测算法在无限数据下的学习效果,但它仍然很愚蠢。然后就好像,好吧,这没问题。但不是的。

我正在寻找智能,这并不是。我开始走这条路,也就是说,现在我们似乎遇到了这种限制。人脑不是放大的人工智能。

所以,在任何时候,人们做他们正在做的事情都是可以的。因此,我缩放了你们必须限制的东西。我自己也做过。

这很好,但我们不应该认为缩放定律会带我们到达那里。顺便说一句,缩放定律看起来并没有那么好,就像你想象的那样。但每当有人告诉您这里存在指数增长时,您都需要问他们,指数增长到哪里?

所以,从您的观点来看,我们可能需要另一种架构。我认为人们正在思考这个问题。但是,假设给定架构,您认为数据或计算能力是否存在限制?您认为我们可以不断增加计算能力和数据,并获得一些收益吗?

或者您认为我们可能会获得一些收益,但这些收益会递减?架构、数据、算法,所有这些方面都存在重大问题。所以,某种程度上,我们当前的局部最优解是所有这些方面不同局部最优解的集合。

我想,十年后回过头来看,架构会不同,算法会不同,我们使用这些算法的方式也会不同。

您认为这些缩放定律是否只是未来AGI代码的一部分,或者它可能更复杂,或者还有其他方面?但最根本的问题是,您认为它与最终目标是否无关?

我认为,如果我们回顾语言模型,它们从20世纪50年代开始用于语音和机器翻译,并且在几十年里发挥了作用。例如,我将英语翻译成法语。语言模型的作用是修补翻译后的法语,使其看起来更好。

所以语言模型有作用,但它与现实世界没有联系。现在发生的事情是,由于我们有所有这些文本,我们正在将语言模型用作世界模型。我不认为这会持续下去。这只是语言模型作为一种接口的历史偶然性,在您使用实际知识和推理来回答问题之后,再生成文本。我认为它可能不会以这种方式持续下去。但是,如果有人在十年前告诉我们大型语言模型是AI的基础,我们可能会嘲笑他们,也许十年后我们还会再次嘲笑。

因此,作为人类,我们拥有高度发达的大脑。大脑体验世界。我们在世界中进行抽象,例如,我称呼你为Pedro,而你是一个人,是的,你住在一个房子里。

然后,我们在脑海中找出这些之间的联系。我们建立了关于如何思考你的模型。然后,让我们假设我们把所有这些都写下来。

所以,所有这些能量都投入到理解世界、建立联系以及将其记录下来的过程中。一种观点是,大型语言模型基本上只是利用我们所做的一切工作,并将其作为一种现金来使用。另一种观点是,它们实际上可以深入理解概念,例如珍珠和马丁。所以,您是说它更多的是对人类所做工作的现金回报吗?不。

不,实际上都不是。有一种观点认为,大型语言模型只是对数据的现金回报。这完全是错误的。机器学习的定义就是泛化。

如果我们只想记住数据,那么这样做将是巨大的浪费。同时,我不认为他们实际上正在深入研究。他们目前能够深入研究的问题是有限的。

他们正在从数据中泛化,由于数据量巨大,这使得它们看起来非常聪明。所以,某种程度上,它们看起来比实际更聪明。我们仍然需要弄清楚它们到底能做什么。

但很明显,您所说的我认为具有重要意义,那就是我们没有把我们所知道的一切都写下来。我们已经学习了多年,试图提取和记录这些知识。这些模型有时会犯错误,因为它们缺乏两岁儿童对世界运行方式的常识,而这仍然是缺失的部分。

我明白了。您认为在整个世界中,模型是否至少在概念上保持了这种平衡?

我同意您在很多方面,但在某些方面,我的看法不同。当然,人们喜欢像汉和费一样,认为这就像地狱一样。不,语言不会让我们到达那里。我实际上已经做过……

最准确地说,首先……

而人们将它放在那里,这很好。

您能看到受苦的人吗?我认为……普通大众听不懂这些。但差距非常大,因为人们来自不同的背景,而我们没有足够地讨论这个问题。如果您能做到这一点……

这将是历史性的。这种差距可以追溯到AI的早期,并且它与具身性有关。差距太大了。

AI是否应该具身化?或者不?事实上,在传统符号主义方面,双方都有非常强有力的论据。

我不想参与所有这些。约翰·麦卡锡,AI的创始人之一,曾说过,他将通过用一阶逻辑写下一些公式来解决AI问题。我认为这很荒谬。

但我实际上大部分时间都在研究网络挖掘模式,我认为这是取得进展的正确途径,因为我们犯了一个错误,也许有时人们会说,是的,有人犯了错误,那就是选择,但人类智能的运作方式与之不同。它有不同的资源,不同的限制。它就像,它拥有惊人的化石燃料,就像化石燃料一样,工业污染的一部分,但互联网是数据的一部分。

然而,这源于我们的经验,例如网络挖掘。我认为大型语言模型只是这种模式的延续。我们仍然会错过很多东西,因为我们写下的文本实际上是为其他人准备的说明和文本。所以,我假设他们知道很多我们甚至没有谈论的东西。

事实上,机器学习最美妙的事情之一就是,我知道如何骑自行车。我不知道如何解释如何骑自行车。我不知道如何编写一个程序来骑自行车,但是如果我让机器学习骑自行车,它可以学会骑自行车,而不是从关于如何骑自行车的文本中学习。所以,您大致站在具身化一方,还是站在文本框一方,或者完全不同?

不,很好。我认为存在一种分歧,一种高品质的分歧。这正是我现在正在研究的事情,我过去也研究过,我做过视觉工作,但我们被淹没了。我所做的是工作。所以,你知道,我知道,如果你愿意的话,因为我认为我们有所有这些数据,为什么不利用它来取得进展?但我认为,最终,我们需要机器人、视觉理解和互动,或者类似的东西,而不是模拟,才能真正获得人类水平的智能。

我的意思是,这可能是一个非循环的问题,但我认为,每当您使用摄像头并尝试重建世界时,您都会遇到一个非常长的异常值尾部,例如历史上的情况。每当我们走这条路,例如自动驾驶汽车,它都比我们想象的要贵得多,要花更长的时间,而且结果更糟。这不是这种情况。例如,每隔18个月,市场就会证明您认为会回到长期异常值尾部的想法是错误的。

这是一个复杂的地方吗?哦,很有趣。您应该这么说,因为首先,我同意您的观点,机器人比语言更难。

但是,但是,它们都有一个长尾。事实上,一位著名的NLP研究员曾经谈到过行走于平原。他说,当平原被平整后,这就是所有这些。

到底是什么?自NLP领域开始以来,这一直是困扰人们的问题。是的,外星人实际上并没有解决这个问题,这看起来像是他们会解决的问题,因为他们有太多可以利用的东西。

但你仍然会遇到问题。

我们一直在尝试解决幻觉、重复等问题,对吧?它们在视觉方面有价值,但它们可能隐藏着问题。

我的意思是,一部分争论是,如果我们没有足够的数据来解决这些情况,并且在某个时候我们拥有所有数据,那么我们永远不会拥有所有数据。空间非常大,您将永远能够找到一些东西。这令人惊讶,并且会持续下去。

我昨晚和马克·安德鲁斯谈过,他提到了我忘记的事情,那就是互联网早期,流量翻倍,每个人都只是重复说,这发生在90年代中期。所以每个人都认为,流量翻倍。

世界流量翻倍。然后大家开始建设光纤,说流量一直在翻倍。突然间,如果你的流量没有翻倍,你会说它翻倍了,因为那样你就不需要删除边缘。

但事实证明,流量并没有翻倍,实际上很快就达到了边际收益递减,对吧?然而,行业的其他部分继续进行所有这些建设,最终我们拥有了像光纤这样的东西,这几乎是一种集体错觉,每个人都认为这种规模化正在发生。什么时候会发生这种情况?你认为现在有没有这种情况,我不是说无法预测它,而是它实际上放缓了。但我们想承认它确实放缓了。

这是一个很好的类比,对吧?它经常出现,因为如果你知道历史的一部分,你就会喜欢它,就像整个EDA可视化一样,对吧?事实上,我甚至在推特上开玩笑过。

就像在80年代,我的超级计算机比你的大。然后在2000年代,我的光纤网络比你的大,我的编辑工具比你的大,对吧?因此,在某种程度上,我认为公司正在投入数十亿美元,他们正在创造一些我认为并不真实的东西。

但这其中有一个有趣的转折,那就是人工智能对计算有着无限的胃口。你永远无法满足它。所以我认为会发生的事情是,他们正在进行这种建设,基于更好的假设,但最终,我们实际上会利用所有这些,现在他们正在这些GPU中构建,从某种意义上说,这不会是最优的。这些GPU不会被使用。我保证你会用到的,兄弟。

我认为,在行业的历史中,我们从未保持过比四到五年更长的计算机人才供应。那大概是情况最糟糕的时候,也就是狗大会。

所以,从某种意义上说,我完全同意,我们会使用计算机,而且我们一直有历史记录,过去七年来,我感兴趣的是,是否存在一种集体错觉,我们不是预测未来不够,而是我们无法看到它何时没有发生。我的意思是,它变成了一个自我实现的预言,因为没有人能承认它不再翻倍了。你认为这种情况正在发生吗?是不是太早了,就像事情已经放缓了,但没有人承认吗?

或者,现在知道它是否放缓还为时过早?老实说,我认为存在一定程度的盲点,我没有,也许没有人有,但我们可以检查这种假设,对吧?这实际上有两部分。

首先,例如,我最近发现,马克·扎克伯格喜欢谈论这些事情,就像他正在投入数十亿美元一样。当然,其中一部分是为了其他原因,这些原因并没有被用于此,但这没关系。就像如果你相信规模定律成立,并且规模定律会将我们带到人类智能水平,那么这值得大量投资,对吧?这是其中一部分,但这可能是错误的。

然而,另一部分是,为了做到这一点,我们需要大量的计算能力。如果我必须预测会发生什么,那就是我们根本不需要数万亿美元就能实现通用人工智能。

所以,如果你需要数万亿美元才能实现通用人工智能,这将是一项非常糟糕的投资。

我,你知道,一百万,所以节省其他。你知道,一百九十。是的。

好的。所以人工智能竞赛已经持续了几十年。杰弗里·辛顿刚刚获得了诺贝尔奖。

所以,你能谈谈它的意义吗?它对计算机科学和物理学家意味着什么?所以我们现在是真正的科学家了。我们获得了诺贝尔奖,然后成为真正的科学家。

这项工作之所以获得诺贝尔奖,原因有很多。然后,鉴于此,你可以尝试理解诺贝尔委员会为什么授予他们该奖项。这里奇怪的是,诺贝尔物理学奖应该颁发给伟大的物理学,而神经网络和玻色子机既不是伟大的,也不是物理学。

物理学,对吧?我的意思是,是的,一些机器使用箱子和分布,但,就像我说的,谁在乎?这不会使它们成为物理学,对吧?没有人。

不。假装这是物理学,并希望它能与物理学结合起来,对吧?我认为有几个因素。

所以,这可能是因为他们有时不知道,因为这是一个不同的领域,对吧?我认为诺贝尔奖的颁发,就像他们感到沮丧,说,哦,你把奖项颁给了所有这些相关的东西,而这里有所有重要的事情正在发生。所以也许这就是发生的事情。

也许他们认为他们已经看到过类似的事情,例如,在委员会中,很多人可能会有错误的想法。也许他们认为,希望这些机器真的很重要,对吧?如果你看看世界,他们似乎并没有做出这样的决定。所以也许他们有点困惑。

另一种观点,我认为也可能是真实的,它们并非相互排斥,即这在某种程度上可能是一种非常政治化的举动,将一些人工智能炒作引导到物理学领域,因为这就像压制通用人工智能,说,你知道,这其中一部分来自物理学,每个人都在那里,我知道人们真的在这样做。就像,让我们让更多物理学家从事深度学习,并给我们更多研究经费。所以也许这就是原因。

关于辛顿经常谈论安全以及需要监管等等的理论,你认为这与决定有关吗?或者你认为这只是恐吓?

我认为这可能发挥了一部分作用。但我猜这并非主要原因,因为诺贝尔委员会是由一群真正的人组成的,他们确实有自己的政治倾向,例如,右翼和左翼经济学家。本能地,他们更同情左翼。

我认为他们可能比这更关心通用人工智能,这有助于他们喜欢辛顿。所以也许他们发挥了作用。我不认为这是恶意,我们不知道,对吧?我不认为我们会给这个人诺贝尔奖,因为当我们颁发诺贝尔奖时,它应该有更多的好处和目标。

也许只是坚持科学方面。这是一个观察结果。我在这方面有点外行,我没有深入的背景,但我认为目前人工智能和大型语言模型的主要用例实际上是创造力。

就像如果你真的想赚钱,就像人们从哪里赚钱一样,就像我会创造一张图片。我会做得比人类更好。我会创作一个故事,我会创作一段视频。在某种程度上,这确实有效。

但是,如果你实际上看看目前许多进步正在发生的地方,特别是使用合成数据,它就像科学,就像主动系统,就像数学,就像科学,就像代码,对吧?所以一种信念是,在主动系统中,你可以创建合成数据。因此,我们可以将数据推向更远离创造力和语言步骤的方向。

当我们这样做时,另一种观点是,我们越关注解决科学问题和数学问题,我们就会在各方面变得更好。你对此有什么看法?这实际上是目前市场上相当流行的观点。

我认为存在一个通用的基础,就像我写的那本书《大师算法》一样。我认为确实存在一个大师算法。我的研究目标就是找到它。

但是现在你必须意识到,这些东西实际上是相当不同的。创造性用途、数学、蛋白质折叠和基因组学。你这样做多少是通向通用人工智能的道路,这是一个有趣的问题。

我同意。目前最热门的应用是生成式应用。这些不是。

这非常讽刺,因为我过去常常试图向人们解释,你知道,更多的是X悖论。人工智能更容易做的是容易的事情,这与专家的观点相反。其中一条最难以让人接受的是创造力和可靠性。

我甚至在几年前,在ChatGPT出现之前,就说过创造力和可靠性。人们说,你在说什么?创造力是人类无法理解的东西。

所以,现在这实际上运作得很好,对吧?但这不会改变它对经济的影响,这将是变革性的。在数学方面,数学和数学的性质是它是一个独立于现实世界的虚拟宇宙,这使得人工智能更容易。

事实上,游戏、数学等等,如果你回到50年代和60年代,它们是尝试这些东西的自然模型生物,因为人们习惯于从那里开始。特别是,让机器相互对抗,以获得内容。这就是你如何获得AlphaGo的方式。

现在,数学存在一个问题,你可以生成定理,但什么构成了一个好的理论?我可以证明所有这些定理,只要我按下按钮,让我的机器这样做,对吧?所以这些是不同的。我通常对理论上存在或模拟会让我们达到通用人工智能的观点持极大的怀疑态度,因为我们有50年的经验表明,这行不通。

事实上,当你引入机器学习时,情况会变得更糟,因为机器学习系统倾向于关注你可以用来完成任务的东西,但与你的实际目标和对模拟器的理解完全脱节,这几乎是不可避免的。顺便说一句,深度思维,对吧?他们之所以这样做,我认为是因为他们不知道历史,对吧?他们认为这会对他们有帮助,但实际上他们并没有沿着这条道路取得成功。蛋白质折叠是不同的,因为同样的问题仍然存在。

当然,这是一个非常简单的世界。所以对我来说,从经济投资者的角度来看,这非常有趣。我很好奇,我们是否会看到一种分裂或分裂,一方面,经济现象在生成创造性内容方面非常出色。

我会说,这可能是目前人工智能最主要的用途。这实际上没有正确的概念。所以,听起来可能是一个好主意。然后,另一方面,这些系统非常适合高度自动化的任务,就像你说的,蛋白质折叠一样。我的意思是,我们最终可能会出现两种类型?

不,我不这么认为。我的意思是,我认为这些只是光谱上的点。我们大多数在现实世界中需要解决的问题都包含两者的结合。例如,如果你想生成一本书的封面,你只需要取悦作者或出版商,最终取悦读者。

让我用这种方式来解释,在奖励函数非常平坦的领域,生成式模型做得很好,对吧?但是,例如,我经常给公司提供的承诺之一是达到这一点。

我宁愿在内部使用它,而不是在外部使用它,因为那时奖励函数开始变得有点陡峭,对吧?你不想在加拿大,他们有由你的聊天机器人制定的退货政策,你必须执行它。所以,即使是像这样,人们已经争论了数十年。

几十年来一直在做的事情,比如我将安排你的旅行,管理你的等等,对吧?我们都希望如此。但问题是,奖励函数变得非常陡峭,因为如果你让我双重预订,我会非常生气,对吧?所以,对于很多。所以,我会说,目前最热门的领域是奖励函数非常平坦的领域,你可以生成很多东西,比如你说的,生成这些管理计划。是的,我的意思是,那里有很多可以说的东西,对吧?

所以,关于这个问题的一个非常具体的问题。假设这些大型模型公司在数学方面变得非常出色,你知道,解决了所有这些未解决的问题,并赢得了所有比赛。

这是否会对创造性用例产生有意义的贡献?或者它们是否只是设计空间中独立的研究途径?现在我们是否会真正开始看到分裂,因为目前一个模型可以同时用于这两件事。只是其中一个研究方向开始分离,仅仅是因为。

数据不同,好吧,与一个单一模型生成器相比。但是,一旦你开始阅读,他们几年前就启动了这个项目,因为他们意识到仅仅依靠镜头无法获得可靠性,而你需要推理。现在,所有这些事情中有点讽刺的是,符号主义者已经知道如何做这些事情。好吧,你不需要证明IOS等等。

这就像在60年代。是的,我的意思是,就像。

有著名的例子表明,符号主义公司被证明是错误的,因为如果你所做的只是操纵符号,那么所有这些东西都是巨大的整体。如果你想通过数学考试,你需要理解,正如所说,但,但,但对数学家来说,这并不是重点。

所以,我再次有直觉。我的直觉是,大型语言模型擅长数学,是因为它们可以阅读英语,然后对计算机来说,在数学上做一些非常简单的事情。这就像一种更有效的方式来思考吗?

这是一个有争议的问题,好的。有些人说是的,有些人说不是。我认为是这样。当然,阅读英语会有帮助。但是,大型语言模型在真正开始使用方法时,通常会变得非常糟糕,对吧?所以我们有这个机器,它充满了浮点计算,你要求它加两个数字,然后得到。

这里关于这种类型的错误,他们发现任何时候,例如,涉及0.911,它就会出错。事实证明,由于0.911,自己测试起来非常困难,就像我使用这些数字。例如,加法与。

所有其他好的例子,你知道,你要求它生成,运行数字。

42这个数字出现得相当好。所以,是的,所以我实际上使用它来编程,我实际上绘制了随机数,这是一个糟糕的数字。那么,这就是你所期望的。

现在,这里的问题是,很容易看到并嘲笑它。但我相信变化。不仅仅是相信这种新兴技术,比如变压器,原则上能够以组合方式做到这一点,就像在过去,数学定理,证明定理一样,你有一些原子,你将它们组合在一起以产生另一个步骤,你引入另一个动作,它们确实拥有这种能力,对吧?

是的,对吧?现在。在表示方面,是的。但在学习如何做到这一点方面,人们经常忘记这一点,对吧?他们混淆了表示某些东西的能力。

我们能够通过捷径学习它,但他们显然没有学习它。所以,显然,这里存在差距。我相信我们需要找到新的方法和新的工具来做到这一点。

我想转到个人和你的书。你知道戴夫·查尔默斯吗?他是一位教授,就像他说的那样,他很具争议性。但他通常是对的。

就像他说的那样,我可能不止一次遇到过。

就像我说的,但他对我的领域,即分布式系统和网络,有不同的看法。所以,这有点像人工智能版本,你经常有不同意见,但你通常是对的。所以,简单的问题是,你是故意这样做的,还是只是你天生的性格?

不,不,不。我不是。

在坚持不同意见上投入了多少精力?

我故意这样做,但我的目的是不是政治。我的目标是尽可能产生积极的影响。其中一部分是看到我认为与主流观点不同,但需要被看到的观点。所以我相信很多事情,我同意所有人的观点,但我的意思是,说这些事情有什么意义?这回报率很低,对吧?

当我看到人们对某事非常错误,他们说“我可能错了”,但我认为我可能在贡献一些东西,至少把这些东西摆出来,对吧?我的意思是,当然,某些人的个性更适合这样做,而另一些人则不行。很多人做不到这一点。

我从我认识他时就知道,他毫不介意冒犯权威。我只是说我认为会发生什么,我看到过这种情况发生在其他地方,人们开始欣赏有人可能错了,也可能对,但他们正在说出他们所看到的真相。我喜欢听各个领域的人。

我的意思是,我给你举个小例子。塞班·胡森在物理学上犯了错误,对吧?她是一个非常棒的反例,她反驳了所有其他物理学家所说的内容,因为她实际上说了很多真相。所以我认为你的创造力实际上会随着时间的推移而提高,因为未来会回答问题。我说这会是肯定的,然后几年后就会看到。

好的。对于那些想听听我的书的人来说,我的书实际上很棒,我建议你们读一读。我认为它实际上是一个很好的历史综述,可以让我们思考现在的人工智能,也许只是为了让听众了解这本书的概述,并可能激励你们去写,你知道的。

我为什么要写一篇关于科技的讽刺小说?这对一名计算机科学家来说是很奇怪的事情。但我长期以来一直觉得,例如,我有一些记者朋友想写一部伟大的美国小说。

我告诉他们,这太难了。看看你与什么竞争,对吧?但是,你知道,硅谷,有人应该写一本关于它的书。我的模型是《火炬之光》,这是 80 年代的一部伟大的小说。

因为,就像我所做的那样,讽刺了当时我所处的行业,而不仅仅是我个人。整个纽约世界,包括政治家、活动家、记者和那些有才华的人。有人需要为人工智能做这件事,但我无法说服任何人这样做。

我自己也会这样做,因为当我还是个学生的时候,我去了克莱里安西部,这是一个很有名的地方,在那里我学习了如何写科幻小说。所以至少我知道怎么做,对吧?我不是从零开始,但是,我没有一个具体的关于如何做到这一点的想法。

真正让我下定决心的是两件事。首先,就像,他们需要这样做,尤其是在过去几年里,人工智能已经爆炸式增长,对吧?但另一个是,有一位记者,我真的很责怪她,她问我,当时正值特朗普政府时期。

所以你会投票给一个机器人当总统吗?我说,不。但如果另一个候选人是特朗普,也许会。

现在你会怎么说?我必须出版这本书,因为它会出现在那里。我投入的所有东西都将变成现实。而且,这本书不仅讽刺了科技行业,还讽刺了政治。

所以,ChatGPT 机器人当总统的书,最终,这本书,你知道,不剧透。书中发生了很多大灾难,但它在结尾有一个乐观的信息。而且,书中还有两个版本的新闻机器人,一个有聊天功能的新闻机器人。

总统机器人是我认为我应该去的地方,以及我认为我如何让社会变得更好。所以,我尽可能地用讽刺来阐明这些问题,对吧?一部好的讽刺作品基于观察。

这就像摄影。你经常能从人物身上看到比照片更好的东西。所以《动物农场》不是关于动物的。

不是关于 2040 年。它反映了 2020 年,如果我们继续走这条路会发生什么。当然,这都是发生在旧金山的事情,现在已经组织起来了,但它在一天结束时,就像我尽可能地展示这些事情一样,我也试图展示出道路。所以,我希望 2040 年不会变成现实。我希望那本书与实际发生的事情相反。

所以我想听听你们的意见。你们至少是谨慎乐观的吗?我们可以弄清楚。

你们是认为我们完蛋了吗?因为读完我的书,天哪,这里没有正确的道路。所以,至少在这里。

你认为这里有一条路吗?不,这里有一条路。再次,关于这群人有两点。来源是 EI 而不是。

就像我前几天谈论的那样,我认为我们可以利用人工智能来建立比今天更好的民主。这既不是右翼也不是左翼的观点,只是利用人工智能,就像开国元勋们没有人工智能一样。所以我认为我们可以做得比现在好得多。

我们必须这样做,我们真的必须这样做。然后这本书说明的是,就像我短期内是悲观的。我认为现在正在发生的动态,幸运的是,我们可以阻止它,你可以阻止它。

事情会变得更糟。你想到文化和政治的冲突。

当然有很多分歧。当然,最主要的是两极分化,对吧?我所描述的两极分化非常糟糕,对吧?我不知道如何阻止它,但我确实认为从长远来看,我是乐观的。

但是,你知道,我可能是一个好例子。就像我是一个焦虑的乐观主义者,这在人工智能领域也是如此。如果我们担心人工智能,它最终会好起来的。

如果我们不这样做,这正是科技发展所证明的。我最大的问题在于,许多人工智能讨论中,人们担心的是错误的事情,而这些事情与真正的问题无关。我试图将注意力引导到我认为是真正的问题上。

我想听听你的想法,因为我知道你正在研究人工智能,大概预测我们什么时候会看到真正的通用人工智能的曙光。

我认为未来几年人工智能的进步可能会让目前我们认为的进步看起来微不足道。是的,绝对。所以,你知道,有借口,但他们要求如此高的标准,而我们正在展示的开端是完全可能的,就像你知道的 2020 年一样,这只是另一面。另一方面,事情也可能完全不同。记者最喜欢问的问题是,你知道,什么时候我们会达到通用人工智能,而我停止癌症的回答是,在 100 年内,请给我一个数量级的估计,因为,我的意思是,我真的可以。

可以回答,是的。

但是,更深层次的答案是,发明未来的最好方法不是某种预言。如果人工智能研究能够解决问题,它就会发生指数级增长。如果不能,我们就会想要。事实上,我现在希望,由于炒作与现实脱节,在未来两年内,我们将取得足够的进展来证明炒作是真实的,证明这项技术是真实的,因为如果不能,可能会出现巨大的泡沫破裂。

我希望避免这种情况。就像互联网时代一样,许多建设都是建立在债务上的。互联网是一个全新的事物,许多浪潮实际上是由拥有数百亿美元资产的公司资助的。所以,我们不太可能出现与当时一样的崩溃,但我们肯定可能会经历另一个寒冬。

我脑海中反复出现的想法是,如果有一个上帝,对吧?我个人就像你们一样,就像我将经历互联网繁荣,所以这些公司可以拥有数百亿美元的存款。

我非常高兴能见到你。非常感谢你加入。

谢谢。这很有趣。

就是这样,我告诉过你,这很有见地,我认为我履行了我的承诺。如果你喜欢这集或喜欢这个播客,请给它评分并广泛推荐。