How To Build The AGI Future: Bob McGrew
30:44 Share

如果你问人们AGI是什么,他们会说这是一个你实际上可以与之交互的模型。它通过了图灵测试。

它可以看东西,可以写代码,甚至可以为你画一张图片。是的。就像我们已经拥有这些东西很多年了。如果你说,好吧,当你获得所有这些能力时会发生什么?好吧,每个人都失业了,对人类来说游戏结束了。而这些都没有发生。我认为从大局来看,我们在预训练和数据方面达到了瓶颈。但现在我们有了推理和测试时计算这种新机制。我们将从推理中看到的是,它将真正释放

代理代表你采取行动的可能性,这在某种程度上一直是可能的,但它从未足够好。你真的需要很高的可靠性。我认为这现在已经近在眼前了。大家好,今天我们有幸请到了Bob McGrew,他曾是OpenAI的前首席研究官。你参与了

很多研究团队的建设。在OpenAI的早期,那是什么样的经历?关于OpenAI真正有趣的事情是,我最初并不打算去一个研究实验室。当我离开Palantir时,我想创业。我有一个论点,即机器人技术将是第一个由深度学习构建的真正业务。这是在2015年。

我向一位朋友的非营利组织自荐。我从来没有过徽章,但我可以进去,他会为我开门。我通过教机器人如何从视觉上玩跳棋来学习深度学习。在这个过程中,我学到了很多关于机器人的知识。我了解到,机器人技术绝对不是在2015年或2016年创业的正确方向。我最终

去了OpenAI,主要是因为那里充满了非常聪明的人,而且它雄心勃勃。那是一个我可以真正学习的地方。我从Palantir那里获得了所有这些管理经验,但这只是一个让我真正成为深度学习专家的场所。

然后,你知道,从那里开始,弄清楚它实际上可以被用来做什么。你还记得你早期工作的一些事情吗?这如何影响到每个人现在所知的OpenAI?是的,当OpenAI成立时,目标始终是构建AGI。但早期的理论是,我们将通过进行大量研究和撰写大量论文来构建AGI。我们知道这是一个糟糕的理论。我认为,对于许多早期的创业人士来说,例如Sam、Greg和我自己,

感觉有点痛苦,有点学术化,但与此同时,这在当时也是我们能做的事情。

因此,我早期的一些项目包括一个机器人项目,我们拿了一个机器人手,一个类人机器人手,并教会它解决魔方。这样做的目的是,如果我们可以使环境足够复杂,人工智能将能够从它所学习的狭窄领域中泛化出来,并学习更复杂的东西,这是我们后来在LLM中看到的思想之一。

另一个非常早期的重大项目是解决Dota 2。从黑白棋到围棋,解决游戏一直是构建更好AI的途径,有着悠久的历史。在击败围棋之后,下一组最难的游戏实际上是电子游戏。它们并不高雅,但很有趣。

我可以向你保证,从数学上讲,它们更难。因此,DeepMind专注于星际争霸,OpenAI专注于Dota 2。在那里产生了真正的见解,那就是它确实加强了我们对规模是改进人工智能途径的信念。

在Dota 2中,秘密的想法是我们可以获取海量经验并将其输入神经网络,而神经网络实际上将从中学习和泛化。后来,我们实际上又将其应用于机器人手,这成为机器人手的关键思想。与此同时,Alec Radford正在进行语言方面的实验。

GPT-1背后的核心思想是,如果你有一个转换器,并且你应用这个超级简单的目标来猜测下一个标记,猜测下一个单词,那么这将足以让你实际拥有能够生成连贯文本的东西。回想起来,这听起来有点明显,对吧?就像,你知道,这显然会奏效,但当时没有人认为这会奏效。Alec,呃,

为了让它发挥作用,他不得不坚持数年。这就是GPT-1。然后,在GPT-1似乎成功之后,我们引入了来自Dota和机器人手的思想,即以越来越大的规模进行训练,在非常多样化的数据集上进行训练,并寻找泛化能力。这些结合在一起,就带来了GPT-2、GPT-3和GPT-4。

因此,OpenAI真正开创并弄清楚的事情之一就是规模的概念。为什么是OpenAI做出了正确的决定,并且首先发现了大型语言模型?早期,正如我所说,有一些大型项目,然后还有一些探索性研究的空间。在最早的时候,探索性研究实际上是关于

研究人员想做什么,但也与公司的意见有关。在这方面,它主要由Ilya形成,并受到许多人的影响,但我认为Ilya在早期确实是引领方向的人。有时我会考虑OpenAI的文化,我喜欢将它与Google Brain和DeepMind进行对比。因此,早期,DeepMind的文化是一种漫画。Demis有一个宏伟的计划,他想雇佣一群研究人员,以便他可以告诉他们按照他的计划前进。

而Google Brain则表示,让我们重建学术界。让我们引进所有这些超级有才华的研究人员。让我们不要告诉他们任何事情。让我们只让他们弄清楚他们想做什么,给他们提供大量的资源,并希望,你知道,惊人的产品会涌现出来。

当然,它们确实出现了,但它们并不一定出现在谷歌。我们采取了一种不同的方法,这更像是一家创业公司,没有那种大型的集中式计划。但与此同时,人们并没有——这不仅仅是“让一千朵花盛开”。相反,我们对需要做什么有自己的看法,例如,如何将规模作为改进想法的一种方式?

而这种意见是由研究领导层制定的。你知道,早期的人们,像Ilya,像Dario,这就是我们确保我们不只是向每个人投入资源,但我们也没有只有一套想法的方式。我们在这两者之间找到了这种快乐的中间地带。我想对......的批评之一,

也许是纯粹的学术界或一些人工智能研究实验室。我们不必命名任何一个,但是,你知道,我们听说过关于查看任何给定......的研究人员数量的故事,

论文上可能有更多的人。如果你真的深入研究一些论文,它们看起来可能有点像这样加上那样。这反映了获得计算资源的本质。这是在其他AI实验室。我的意思是,OpenAI有什么特别之处,让你们能够避免这种情况?好吧,我认为

论文的例子是一个非常有趣的例子,因为我认为这既好又坏。我对学术界和研究人员非常积极,但对学术界却相当消极。我认为学术界擅长于这个非常狭窄的事情,你知道,小型团体,

你知道,尝试疯狂的想法。但学术界有很多激励措施阻止人们合作。尤其是在学术界,人们对荣誉的痴迷。大型实验室论文的有趣之处之一是,我们早期就做出了决定,我们将尽可能地包容,将所有人的名字都列在上面。在早期的一篇机器人论文中,我们实际上说:“引用OpenAI”,

因为我们不想争吵。你知道,第一作者是那个,你知道,被引用的人,他们的名字每次都会出现。所以我们说,你知道,我们不会试图进行这场争斗。我们不会说谁是真正做到这一点的人。我们只会说引用OpenAI。我认为这实际上是一个非常重要的文化因素,即能够接受人们想要荣誉,但能够将其引导到,你知道,这是你的内部声誉,而不是你

你知道,你在论文上的职位才是真正重要的。很长一段时间以来,OpenAI实际上并没有什么头衔,除了,你知道,总是有一个CEO的头衔,对吧?但在组织内部并没有很多头衔。但人们总是知道谁是伟大的研究人员。一旦你有了缩放定律,当然

现在人工智能研究的开展方式发生了转变,基本上规模是你对越来越多的AI领域所需要的一切。这在图像扩散模型中可能正在实现,或者更早地回到你开始的地方。有一种感觉是,与缩放定律类似的原理实际上确实适用于机器人领域的正确领域。这是......

你正在看到的事情之一,或者你会如何回应?我认为,如果你观察人工智能的进步,你会在各个地方看到缩放定律。所以有趣的问题是,好吧,如果缩放定律存在并且很普遍,

这意味着什么?对于你来说,这意味着什么,如果你是一家公司,如果你是一位研究人员,如果你试图改进事物?为什么我们没有在这些其他领域更早地利用缩放定律?好吧,你知道,我认为我们真的在尝试。你知道,通常为了,第一步实际上是获得缩放定律。举一个不是LLM的例子。如果你考虑一下Dolly,它是,你知道,如何将文本转换成图像?

我认为构建该模型的Aditya Ramesh花了18个月,也许两年时间,才得到了第一个明显有效的版本。所以我记得他会做这个,Ilya会过来给我看。他会说,你知道,Aditya已经在这个项目上工作了一年了。他试图制作一只在冰上滑冰的粉色熊猫,因为它显然不在训练集中。这是一张图片,你可以看到它上面是粉红色的,下面是白色的。它真的开始起作用了。我会看着它,然后我会说,

真的吗?我的意思是,也许,也许,我不知道。但是仅仅达到它开始发挥作用的程度就是一个巨大的、困难的问题。它与使用缩放定律完全分开。现在,一旦你让它发挥作用,缩放定律就开始发挥作用了。有了缩放定律,你可以做两件困难的事情。

其中一件就是纯粹的规模本身。缩放并不容易。事实上,它可能是任何模型构建中的实际问题。这是一个系统问题。这是一个数据问题。这是一个算法问题,即使你只是试图缩放相同的架构。

你可以做的第二件事是尝试改变缩放定律的斜率或稍微提高一点。这就是寻找更好的架构,寻找更好的优化算法,以及你可以进行的所有算法改进。

如果你把所有这些放在一起,这就是解释我们今天在人工智能领域看到的非常快速的进步的原因。我想这是目前正在进行的更大辩论之一,当然是在社区中。缩放定律会继续保持吗?或者我们是否遇到了某种瓶颈?我不知道你能谈论多少,但你目前对LLM缩放的看法是什么,当然也包括其他领域。确实存在数据墙。

如果你采用我们用来缩放LLM的相同技术,在某些时候你会遇到这种情况。当然,真正令人兴奋的事情是从LLM缩放的预训练转变而来,你只是引入越来越大的语料库并试图预测下一个标记,并换挡并使用推理技术,OpenAI已在其01和03模型中发布,Gemini现在也在Gemini Flash Thinking中发布。

如果你考虑摩尔定律,对吧,你知道,摩尔定律是一种大型指数曲线,但它实际上是一堆小S曲线的总和。你从Dennard缩放开始。在某些时候它会失效。但是如果你看看,如果你考虑英伟达是如何发展的,摩尔定律已经延续下来了。它只是通过不同的机制实现的。所以你解决了某个瓶颈,但你对这个特定的解决方案进行了S曲线化。但是还有其他地方存在其他瓶颈。

然后你会有一个新的瓶颈,你必须去解决它。因此,你知道,我认为从大局来看,我们在预训练和数据方面达到了瓶颈。我们是否完全到达那里?这有点难以判断。但现在我们有了推理和测试时计算这种新机制。我认为如果你回顾一下,你就会想到......

构建AGI的人工智能,你知道,我想说过去五年,大型前沿实验室的人们认为,第一步是预训练,而达到能够扩展到AGI的剩余差距是推理。某种能够采用相同的预训练模型并能够给予它更多思考时间或各种类型的更多计算能力并在另一端获得更好答案的能力。

现在,既然这已经被解决了,在这一点上,我认为我们实际上有一条非常清晰的途径来专注于扩展。你知道,我们正在谈论这一点,你知道,零到一的部分与扩展无关。我认为有一个非常有力的论点,即在LLM中,这不再相关了。现在我们处于纯粹的缩放阶段。我对......的五个级别的AGI印象非常深刻,感觉

事情基本上按照OpenAI网站上的原始帖子所描述的那样发展。推理器已经出现。然后我听到很多关于创新者的消息。因此,采用像O3这样的东西,或者当O3 Pro发布时,那将是一个真正的时刻,你可以将其连接到生物实验室,并进行某种自主......

对科学空间的探索。你能谈谈这些事情吗?真正有趣的事情是,我们现在可能会受到模型在物理世界中工作的限制。这会有点奇怪。我们可能会有一个能够探索科学假设并弄清楚如何用它们进行实验的模型,然后我们才能拥有能够实际进行实验的东西。所以也许这是那些新的S曲线之一。我们又回到了机器人技术。是的,就是这样。我们又回到了机器人技术。

我认为推理模型真正使人感兴趣的另一件事是代理。这是一个非常通用的术语。它可能有点被夸大了。但从根本上说,推理是模型能够拥有一个连贯的思维链,在很长一段时间内稳步解决问题的能力。给你带来更深入思考的技术是

也适用于在现实世界、虚拟世界中采取行动。我认为我们将从推理中、从长时间思考中看到的是,它将真正释放代理代表你采取行动的可能性。

这在某种程度上一直是可能的,但它从未足够好。你真的需要很高的可靠性。为了让你愿意等待五分钟或五小时才能发生某些事情,它最终必须有效。我认为这现在已经近在眼前了。阻止人们信任代理采取行动的原因是

主要是该行为是正确行为还是错误行为的频率。是的。我有一个喜欢的经验法则,基本上,如果你想增加9,如果你想从90%提高到99%或从99%提高到99.9%,那可能是计算能力的十倍增长。从历史上看,我们只能通过训练更大的模型来实现计算能力的十倍增长。

现在有了推理,我们可以通过让模型思考更长时间来做到这一点。而且,让模型思考更长时间,这是一个非常困难的问题。使用01,使用03,你正在获得越来越长的链。它需要更多扩展。我们刚刚谈到扩展是核心问题。所以这并不容易。这远未完成。但现在有一条非常清晰的途径可以让你达到越来越高的可靠性水平。

我认为这解锁了后续的许多事情。你认为蒸馏会发生什么?我正在查看一些这些小型模型的一些能力图,听起来基本上小型模型越来越好。这是否像某种父模型教导子模型的功能,或者,你

你知道,那里发生了什么,人们可以期待什么?是的,我认为在过去一年中,大型前沿实验室和许多其他人已经找到了利用大型模型的技巧,你知道,采用用户输入的非常特殊的分布,并训练一个几乎与大型模型一样好,但规模小得多、速度快得多的模型。所以我认为我们将看到这一点

未来会发生很多,特别是如果你看看Sonnet与Haiku、Gemini与Gemini Flash、01与01 Mini、40 Mini。每个实验室都非常关注这一点。事实上,你会看到蒸馏即服务。

即将到来。你会对现在正在尝试创建AI创业公司的人们说些什么?他们通常是垂直创业公司,但实际上也有一些是面向消费者的。是的,我会说,如果你是一位创始人,正确的方法是从你能获得的最好的模型开始,因为你的创业公司只有在利用人工智能的某些方面时才会成功,而这些方面实际上会在

你知道,前沿。因此,从你能获得的最好的模型开始,并让它发挥作用。一旦你让它发挥作用,你就可以使用蒸馏。你可以采用一个较差的模型,你可以尝试提示它。你可以尝试让前沿模型训练较小的模型。但是,你知道,创业公司中最重要的事情实际上是你的时间,对吧?你不想,除非你必须,你不想像Palantir那样花三年时间才能进入市场。你想能够尽快构建该产品。

只有在你通过与用户迭代真正弄清楚价值所在之后,你才能考虑成本。倒推回去,感觉《她》这部电影或多或少是不可避免的。我对男人会与AI女友产生深厚的情感联系有点怀疑。坦率地说,我认为这不是男人在女友身上寻找的东西。我认为,一个为你购物的AI,好吧,了解你的偏好非常有帮助。

一个在工作中担任你助理的AI。同样,了解你的偏好非常有帮助。我认为另一件很酷的事情是AI,它是Gary的AI机器人。如果我想知道Gary在想什么,我可以直接问你的AI机器人。如果我得到了足够好的答案,那么我可以继续我的工作。如果没有,那么我必须亲自打扰你。

我认为如果能够做到这一点,那将是一个巨大的个性化成就。任何与你在工作中一起工作的东西都需要大量关于你的上下文信息。它应该能够查看你的Slack和Gmail以及你拥有的所有不同的生产力工具。

我认为这实际上令人惊讶。我认为这是......这实际上是市场上一个真正的空白,因为这不是我今天可以购买的东西。在我的脑海中,我能想象的是一种超级智能的精灵。它知道,你知道,你是谁,你是什么样的人,它实际上可能知道你的工作,你的人生目标。它实际上会告诉你,哦,嘿,你可能应该这样做。

它可能会为你预约。就像,哦,是的,是时候参加LSAT考试了,伙计。你说你想成为一名律师。就像,好吧,这是第一步。你想做吗?是或否,对吧?这个想法中有一些真正有趣的东西,因为我认为AI是你的生活教练的想法非常引人注目。但随后它又回到了,那么你到底在做什么呢,对吧?如果AI比你好。我认为这里实际上有一个非常深刻的谜团。当我们在2018年第一次考虑GPT-1时,

如果你问人们AGI是什么,他们会说,好吧,这是一个你实际上可以与之交互的模型。它通过了图灵测试。它可以看东西。它可以写代码。它甚至可以为你画一张图片。我们做到了。是的。我们已经拥有这些东西很多年了,对吧?如果你说,好吧,当你获得所有这些能力时会发生什么?他们会说,一切都会好起来的。

好吧,每个人都失业了。所有笔记本电脑的工作都立即实现了自动化,对人类来说游戏结束了。而这些都没有发生。我的意思是,是的,人工智能确实产生了一些影响,尤其是在编写代码的人身上。但我认为你无法在生产力统计数据中看到它,除非它是关于我们正在构建的数据中心有多大。我认为这是一个非常深刻的谜团。为什么人工智能的采用速度如此缓慢,与我们2018年认为应该发生的事情相比?

你刚才说的话让我想起了我们在Palantir的日子,实际上,Palantir开始的核心使命之一确实是这个想法,即技术已经存在。它只是没有平均分配。我觉得这是你们实际上真正发现和学习的事情之一。

Palantir实际上存在的部分原因是,你们进入了政府部门、三个字母的机构,社会可能必须做出的一些最具影响力的决定,你环顾四周,那里没有软件。这就是Palantir,当然还有Palantir政府在早期。那里有趣的部分只是思考这些人做什么,然后你如何能够用技术完全重新想象它,在那里......

如果你正在检查飞往美国的特定人员是否有记录或是否有任何嫌疑,你会查看20个不同的数据库。一种方法是说,好吧,让我们加快查看20个不同数据库的速度。另一种方法是说,好吧,也许你只需要查找一次,它就会为你检查所有数据库。我认为这就是......我们需要一些......

这样的转变,让人们能够弄清楚如何使用AI来解决他们实际遇到的问题。

而不仅仅是采用他们现有的工作流程,让AI来执行该工作流程。是的,这不仅仅是拥有数据,不仅仅是拥有智能。我的意思是,人工智能现在迫切需要的是,就像你说的那样,UI,软件。它只是在构建软件。如果你可以将它打包成特定人真正、真正需要的东西,我觉得这是我们在Palantir学到的重要事情之一。就像有一个......

工作正是如此,前沿部署工程师。这是一个非常令人回味的术语,对吧?就像前沿部署。你不会在总部很远的地方。你就在客户办公室里。你坐在他们的电脑旁边,看着他们如何做某事。然后你正在制作完美的软件,

他们永远无法访问。另一种选择是Excel电子表格,自己编写SQL语句,或者Cost Plus政府集成商,或者埃森哲,他们永远不会得到可用的东西。而一位真正优秀的工程师,一位优秀的工程师,他能够理解那个人需要什么以及正在尝试做什么,他们可以为那个人构建完美的东西。

所以也许这就是你问题的答案。就像,为什么它还没有发生?就像,我们只需要更多这样的前沿部署工程师来连接智能。我们做到了。我认为这真的很有趣,因为,你知道,如果你回顾2015年,当我离开Palo

Palantir,人们对Palantir持怀疑态度,因为存在前沿部署工程师。你知道,如果你有一个非常好的产品,你就不需要前沿部署工程师。你不需要把它专门化到每个客户。而且,你知道,等五年,Palantir就会有一个伟大的IPO。等十年,它就会成为一家非常有价值的公司。突然之间,每个人都在谈论建立他们自己的前沿部署工程职能。我认为这是一件好事。

我认为,希望这能给我们带来很多真正符合客户需求的软件,而不仅仅是你可以买到的现成的东西,然后你说,有一种方法可以完成你想要做的事情。自己去弄清楚吧。鲍勃,我们俩都是父母,而且,你知道,我们刚刚花了很多时间讨论一些即将影响整个社会的一些非常疯狂的概念。是的。

这是否影响了你对我们应该如何教育孩子的想法?我对此真的很苦恼。对我来说,有一个非常清晰的版本,那就是我八岁的儿子非常喜欢编程。他真的非常兴奋。他想创业。他有一个很棒的名字,而且它将进行小行星开采和各种很酷的事情。所以他每天都说:“爸爸,你能教我一些关于如何编程的吗?”这实际上是我用语言模型做的大部分事情。

就是我有语言模型。我弄清楚他感兴趣的是什么。我让语言模型为他制作一个课程,教给他一些我想教他的东西。比如它教他关于网络的东西,或者教他关于循环的东西,而且它符合他的想法。

我妻子问,如果语言模型能够编程,你为什么要这样做?我认为答案是,现在,我们仍然必须——这就是你学习如何进行批判性思维的方式。我想到了保罗·格雷厄姆关于媒介阻力的想法。即使计算机能够为你编程,我认为仍然有一些东西需要你亲自动手去做,并且知道什么可能,什么不可能。

并且你可以拥有这种直觉。我认为我们将扮演的角色,你知道,我认为会有两个角色。一个是类似于天才,你知道,像世界上的亚历克·拉德福德那样,独自一人在他的电脑前工作,想出一些疯狂的想法。但现在有了能够为他提供如此多帮助的计算机。另一个角色是管理者。

你将是你自己公司的CEO,而该公司主要由人工智能组成。我认为那里还会有其他人。我不认为整个公司都被取代了,尽管这是另一个我们必须回答的非常有趣的问题。

但是,你知道,我认为未来的两份工作将是天才和管理者。我认为这实际上非常棒。老实说,这两件事都是非常有趣的工作。当照相机,当照相和胶卷出现时,艺术家们发生了什么?你知道,他们仍然存在,人们仍然学习绘画。

而且可能有更多的人学习绘画,因为更多的人欣赏艺术、绘画和视觉艺术。所以我希望这就是会发生的事情。我认为,我的意思是,如果你回到我们上次自动化大多数人类工作的时候,你知道,在1880年代,大多数人是农民。

现在,你知道,也许只有3%的美国人是农民,我们都在做工作。我认为我们试图向1880年的人们解释,你知道,像,你知道,成为一名软件工程师,或者,你知道,经营一个创业孵化器,你知道,他们会说,这是什么鬼东西?对。最终这些都不是真正的工作。我对人类非常乐观。我认为人类将扮演重要和有价值的角色,但是

就像前90%被自动化的工作一样

我们真的不能,你知道,那些农民不知道他们孙辈的工作会是什么样子。我认为我们现在正处于同样的时期,我们不知道我们孙辈的工作会是什么样子。我们只需要见机行事,然后弄清楚。我想回到机器人技术,你知道,我的一个希望实际上是,也许第四级的创新者会突然突破一些目前阻碍机器人技术发展的非常具体的问题。

你最近是否花时间回到那个领域?在接下来的,我不知道,甚至几年内,这种情况结合在一起的几率有多大?你是否觉得在人形机器人和类似的东西上会有持续的突破?你对未来一两年机器人技术的看法是什么?现在的机器人公司就像五年前的LLM公司。

所以我认为五年后,甚至在未来五年的某个时候,我们将看到机器人技术的ChatGPT时刻。我认为这有点难以扩展,因为你必须制造物理机器人。但是如果你看看像Skilled AI或Physical Intelligence这样的公司,它们正在为机器人构建基础模型,你知道,我们在那里看到的进展真的非常引人注目。在某个时候,我们将走出从零到一的阶段,在这个阶段你只是试图让它工作。

我们将进入某种它可以工作的东西。然后我们只是扩展以提高可靠性和扩大市场范围。我记得在YC与Sam Altman一起工作,他带来了一些非常疯狂的硬科技公司,比如专注于核聚变的Helion或能源领域的Oklo。当时,我不知道我是否完全理解Helion。

为什么?但是我不知道。在AGI之后,它变得更加真实。此外,感觉上,如果你加上机器人技术,这将是可能结合在一起的更深刻的三位一体技术之一,这将为每个人创造更多财富。是的。我的意思是,堆栈中未自动化的部分成为瓶颈。所以我认为奇怪的是,我们将最终

在自动化实验者之前自动化科学家、创新者。但是如果这实现了,我认为真正快速科学进步的潜力完全存在。我认为我们将找到其他瓶颈。我认为我们将回顾这次谈话,我说我们做了所有的事情,而科学只比以前快了

30%。为什么它没有快300倍?我们将不得不弄清楚。我的意思是,这是一个很好的问题。没错。30%是很棒的,但是300%,那将是疯狂的。嘿,还有数千个创业公司的空间。这听起来很棒。鲍勃,非常感谢你加入我们。我觉得每次见到你我都会学到很多东西。很高兴再次见到你。感谢你来到这个频道。与你进行这些对话总是很有趣,加里。