Dwarkesh Patel: AI Continuous Improvement, Intelligence Explosion, Memory, Frontier Lab Competition
01:11:30 Share

为什么即使我们都在关注相同的数据，我们对人工智能的未来发展却有如此不同的看法？接下来究竟会发生什么？

让我们与人工智能领域领先的声音之一德瓦克什·帕特尔（Dwarkesh Patel）一起讨论这个问题，他今天来到演播室与我们一起探讨所有这些问题。德瓦克什，很高兴见到你。欢迎回到节目。谢谢你邀请我，伙计。谢谢你来到这里。我一直在听我们去年录制的上一期节目，我们当时正在预测 GPT-5 会发生什么。仍然没有 GPT-5。没错。哦，是的。那一年以前会让我大吃一惊。绝对的。另一件让我感到惊讶的事情是，我们当时说

我们正处于一个时刻，我们将弄清楚人工智能的进步将会如何，传统的 LLM 训练方法是否会遇到瓶颈，或者不会。我们将要找到答案。我们距离知道答案只有几个月的时间。一年后，我们在这里。正如我在引言中提到的那样，每个人都在关注相同的数据。

我们不知道。有些人说 AGI（人工通用智能）或人类水平的智能即将到来，使用今天可用的方法。也有人说，在达到 AGI 之前，还需要 20 年、30 年，甚至更长时间，也许超过 30 年。所以，让我先问你这个问题。如果我们都在关注相同的数据，为什么对未来的发展方向会有如此不同的看法？我认为人们对什么是智能有不同的哲学观点。

这是其中一部分原因。我认为有些人认为这些模型基本上已经是婴儿 AGI 了。他们只需要再加几条腿，再撒上一点调料。比如测试时间……

所以我们现在有了 01 和 03，它们被允许思考。它们不仅仅是说出第一个想到的东西。还有一些其他的事情，比如，它们应该能够使用你的电脑，并访问你在工作时可以访问的所有工具。他们需要你的工作背景。他们需要能够阅读你的 Slack 和所有内容。所以这是一个观点。我的观点略有不同。我认为我们距离 AGI 并不仅仅只有一步之遥，只需要再加一点什么东西。这将是唯一需要做的。

我认为，你知道，人们经常会问，如果所有的人工智能进步都停止在现在，而你所能做的只是收集更多数据或在更多情况下部署这些模型，那么这些模型还能发展到什么程度？我的观点是，你实际上确实需要更多的增强型进步。我认为……

我认为这些模型的一个主要瓶颈是它们无法在工作中学习，无法持续学习。他们的所有记忆在会话结束时都会被清除。有很多原因让我认为这实际上使得很难从他们那里获得类似人类的劳动成果。所以有时人们会说，财富 500 强公司没有在所有地方使用 LLM 的原因是他们太死板了。他们不是……

他们不像，他们没有创造性地思考如何实施人工智能。实际上，我认为情况并非如此。我认为真正难以使用这些 AI 来自动化大量劳动。好的，你说了几件有趣的事情。首先，我们现在拥有能够思考的 AI，例如 OpenAI 的 O3。我们稍后会再讨论这个问题。但我认为我们应该抓住

你提出的这个观点，即财富 500 强公司没有采用这些模型并不是因为他们懒惰。或者我会说他们都在尝试，但我们都知道，将概念验证付诸实施的比率非常高。

非常小。每五个中只有一个真正投入生产。而且通常情况下，这是一个缩小版本的。所以你所说的很有趣。你说这不是他们的错。这是因为这些模型不够可靠，无法完成他们需要完成的任务，因为他们不会在工作中学习。我理解对吗？是的。这甚至不是可靠性问题。他们就是做不到。如果你考虑一下什么使人类变得有价值，

那不是他们的原始智力，对吧？任何第一天去上班的人，甚至可能是他们最初的几个月，他们都不会那么有用，因为他们缺乏背景知识。使人类员工有用的原因是他们能够积累这种背景知识，质疑他们的失败，并在实践任务的过程中积累这些小的改进和效率。而这些模型做不到这一点，对吧？你只能使用

开箱即用的能力。而且它们非常聪明。因此，在许多不同的任务中，你将获得十分之五的分数。通常情况下，在任何随机任务中，它们可能比普通人更好。只是它们不会变得更好。对于我自己的播客，我有一些用 LLM 编写的脚本，我会让他们……

改写部分成绩单以使其更像，将自动生成的成绩单转换成类似人工编写的成绩单，或者帮助我识别可以推出的片段。这些都是像短视界语言输入、语言输出任务一样的事情，对吧？这是 LLM 应该

非常擅长的事情，因为这是他们应该掌握的技能的核心。他们做得还不错。但根本问题在于，你无法像教导人类员工那样教导他们如何变得更好，你会说，我不喜欢那样。我更喜欢这样。然后他们也会查看你的 YouTube Studio 分析数据，并思考他们可以改变什么。这种理解或发展的水平对于这些模型来说是不可能的。因此，你不会得到这种持续的学习，这是

你知道，人类劳动带来的许多价值的来源。现在，我不喜欢让你自相矛盾，但你一直在说话。而且我认为我们在这个节目中一直在与那些相信如果模型稍微好一点，就能解决这个问题的人进行对话。那么，为什么他们如此确信你提出的这个问题对这些 AI 来说不是一个很大的障碍呢？我认为他们有一种感觉，第一，

你可以通过给他们不同的提示来改进这些模型。所以他们认为，即使他们不像人类那样学习技能，你一直在写作和播客，你只是通过练习和尝试不同的东西来提高这些技能。

并观察世界对其的接受程度。他们认为，你可以通过向系统提示中添加内容来人为地启动这个过程。这就像你一开始放入模型中的语言一样。例如，像这样写。不要那样写。我不同意这种观点的原因是，想象一下，你必须教一个孩子如何演奏萨克斯管，但你不能仅仅拥有，你知道，一个孩子现在是如何学习萨克斯管的呢？她试图吹进一个，然后她听到它听起来是什么样的。她练习了很多。想象一下，如果它是这样工作的。

一个孩子试图，就像从未见过萨克斯管一样，他们试图演奏萨克斯管，

听起来不好，所以你只是把他们送出房间。下一个孩子进来，你只是写了一堆关于上一个孩子为什么出错的说明。然后他们应该像冷读查理·帕克一样，通过阅读这套说明来演奏。这就像他们不会那样学习演奏萨克斯管一样，对吧？你实际上需要练习。总之，这就是我想说的，我不认为仅仅提示是教导模型这些能力的强大机制。

另一件事是人们说你可以做强化学习。这就是强化学习。没错。这些模型在编码和数学方面已经变得非常擅长，因为在这个领域中，它们有可验证的问题可以练习。我们可以花点时间为那些刚接触这个领域的人解释一下吗？让我看看我是否理解正确。强化学习。基本上，你给机器人一个目标，或者你给人工智能系统一个目标，说解这个方程。然后你有了答案，你有效地解决了。

不要告诉它两者之间的任何信息。因此，它可以尝试人类已知的所有不同解决方案，直到它得到答案。这就是它开始学习和发展这些技能的方式。是的，它更像人类，对吧？它比仅仅阅读互联网上的所有内容然后学习技能更像人类。我仍然不相信这会推广到不可验证或基于文本的领域。是的。

是的，我的意思是，很多领域，就像建立这个环境和损失函数来成为一个更好的播客一样非常困难。而且，你知道，人们可能不认为播客是经济的症结所在，这是公平的。这是新的 AGI 测试。但是很多任务都比较软，没有客观的强化学习循环。因此，它确实需要这种人类有机学习能力在工作中学习。

而我认为这不会很快到来，仅仅是因为据我所知，目前还没有明显的方法将这种在线学习融入到现有的模型中。

好的。所以我正在尝试理解你所说的内容，这很有趣。你正在谈论强化学习作为一种应用于现代大型语言模型和系统提示的方法，也许你会在这个例子中加入微调。是的。但你没有提到你可以通过使这些模型更大来改进它们，也就是所谓的缩放假设。那么，你是否排除了它们可以通过下一代规模变得更好的可能性？

好吧，这回到了你最初的问题，你学到了什么？我的意思是，这很有趣，对吧？我想我去年确实说过，我们应该在接下来的几个月内知道我们所处的轨迹。而我现在觉得我们还没有得到验证。我的意思是，它已经缩小了，但并没有像我预期的那样具有决定性。我期待 GPT-5 会发布，我们会知道，它成功了还是失败了？就目前而言

你想使用一年前的测试。我认为你必须说，看，预训练，这就是你让模型变得更大的想法，它已经产生了递减的回报。所以我们已经有像 GPT-4.5 这样的模型，各种估计，但是……或者 Grok……是 Grok 2 还是 Grok 3，新的那个？我对 Grok 已经数不清了。没错。无论如何，我认为它们估计比 GPT-4 大 10 倍。而且它们就像……

它们并没有明显更好。所以看起来预训练缩放的回报正在趋于平稳。

现在我们确实有这个强化学习，所以 01、03 这些模型，它们变得更好的方式是它们正在练习这些问题，正如你提到的那样，而且它们非常聪明。问题是这个程序在使它们在数学和代码等领域之外变得更聪明方面会有多大帮助，以及解决我认为非常根本的瓶颈，例如持续学习或在线学习。还有电脑使用方面的问题，这是一个单独的话题。

但我会说我更，我的时间线比一年前更长了。现在，这仍然意味着，如果我必须做一个猜测，我必须做一个赌注，我会说 2032 年，我们将拥有真正能够持续学习和做所有事情的 AGI。所以，即使我现在摆出一副悲观的面孔，我认为人们应该知道

这种悲观就像我说七年后，世界将变得如此截然不同，以至于你真的无法想象。七年并不是很长的一段时间。所以我想声明一下。但是是的。

好的，我不想把整个谈话都花在扩展模型上，因为我们在这个节目上已经做了很多了。没错。在这个节目上，我相信你也做了很多。但你使用“回报趋于平稳”这个词很有趣，它与递减的回报不同，对吧？所以你的感觉是，因为我们已经看到，例如，埃隆·马斯克，

做了这个孟菲斯项目，他基本上把你能找到的每个 GPU 都放在一起，他可以得到很多，因为他是有史以来最富有的私人公民，放在一起。我不知道你怎么样，但就像我说的，再说一次，我没有太关注 Grok，因为它似乎并没有明显更好，即使它使用了这么大的规模。现在他们可能没有某种算法效率，就像，不像 OpenAI 这样的公司可能拥有。但是，但我只会问你我问过其他来过节目的嘉宾的问题，

这是否是这种缩放时刻的结束？如果是的话，这对人工智能意味着什么？我的意思是，我认为这不是缩放的结束。就像，我认为……

公司将继续投入指数级更多的计算来训练这些系统，并且他们将在未来许多年继续这样做，因为即使回报递减，智能的价值如此之高，以至于仍然值得，对吧？所以，如果建造 AGI 需要花费 1000 亿美元，甚至 1 万亿美元，那绝对是值得的。这确实意味着这可能需要更长的时间。现在这里还有一个额外的因素。到 2028 年左右，肯定到 2030 年，

现在我们正在以每年大约 4 倍的速度扩展前沿系统的训练。所以每年这个最大的系统使用的计算量不仅仅是更大，我不应该说更大，比前一年使用的计算量大 4 倍。

如果你看看像一个国家有多少能源，有多少，呃，台积电可以生产多少芯片，以及其中有多少已经被人工智能使用。即使你看看像名义 GDP 一样，世界有多少资金？呃，世界有多少财富？根据所有这些指标，这种每年 4 倍的速度，在四年内是 160 倍，对吧？这种速度不可能持续到 2028 年以后。呃，呃，

这意味着在那时，它必须纯粹是算法。它不能仅仅是扩展计算。所以是的，我们确实还有几年时间来观察这种范式能带我们走多远。然后我们将不得不尝试一些新的东西。对。但到目前为止，因为再一次，我们去年在这里，我们当时是虚拟对话，现在我们是面对面。我们去年谈论的是，好吧，OpenAI 显然会投入，我的意思是，GPT 4.5 本来应该是 GPT 5。我很确定。这是我从我读到的内容中得出的结论，我认为情况就是这样。最终没有发生。所以是的。

看起来这可能是它。-是的，是的。在接下来的一年里，我认为我们将了解我们的情况，因为我认为，好吧，我想我去年说过这句话，对吧？我想我没有说错。我们确实了解了它。-我们学到了很多。-预训练，是的。但是是的，在接下来的一年里，我们将了解。

所以我认为强化学习缩放比整体训练缩放的速度要快得多。那么强化学习缩放是什么样的呢？因为再一次，这个过程又是这样的，你给，所以强化学习缩放，你给机器人一个目标，它就会出去尝试不同的方法，并自己解决问题。这已经渗透到推理中，我们之前讨论过这些 O3 模型，你看到机器人一步一步地进行。那么你如何扩展呢？

只是给了它更多机会。我不是实验室的研究人员，但我理解的是，正在增加的是……

强化学习比预训练更难，因为预训练你只需要把越来越大的互联网块扔进去，至少在我们用完之前是这样。我们似乎正在用完标记，但在那之前，我们只是说，好吧，现在使用更多的互联网来进行这种训练。强化学习不同，因为它没有这种你可以不断倾倒的化石燃料。你必须为不同的强化学习技能创建定制的环境。所以你必须为软件工程师创建一个环境，你必须为数学家创建一个环境。所有这些不同的技能，你都必须创建这些环境，并且

这有点像，这就像艰苦的工程工作，艰苦的，就像单调的，就像必须，你知道，努力工作或辛勤工作。据我了解，强化学习没有扩展的原因是，人们并没有立即向强化学习投入数十亿美元，这是因为你实际上需要先构建这些环境。03 博客文章提到它使用了 10 倍的计算量，它的交易量是 01 的 10 倍。所以在六个月的时间里，

强化学习计算已经增加了 10 倍。即使你建立了所有强化学习环境，这种速度也只能持续一年，因为你已经达到了这些系统的整体训练计算的前沿。因此，出于这个原因，我认为我们将在一年内了解这种新的训练方法在能力方面会给我们带来多少。这很有趣，因为你描述的是构建擅长某些任务的 AI。这些是

这些都是某种狭义的 AI。这难道不违背构建通用智能的整个想法吗？就像，你能构建 AGI 吗？顺便说一句，人们使用 AGI 这个词没有意义。通用在这里实际上非常重要。泛化能力和作为 AI 执行许多不同事情的能力。因此，即使你得到像强化学习一样，鉴于你刚才所说，它绝对不是通向人工通用智能的途径，因为你只是会在不同的功能上训练它，也许直到你拥有足够广泛的东西才能

足够广泛才能工作。-我的意思是，这是我对智能的总体哲学或思维方式的改变。我认为一年前或两年前，我可能会有更多这样的感觉，哦，智能实际上是这个根本上超级、超级通用的东西。

在过去的一年中，通过观察这些模型是如何学习的，也许只是普遍地观察世界上不同的人是如何运作的，我确实认为……我的意思是，我仍然相信存在通用智能这样的东西，但我认为它不是……

就像，我不认为你只会在一个模型上训练大量的数学，它就会学会如何接管世界，或者学会如何进行外交。我的意思是，就像，我不知道你在节目中谈论政治时事有多少。我们做得足够多了。好的。好吧，这就像，在不评论你对他们的看法的情况下，唐纳德·特朗普并没有在那里证明定理，对吧？但他非常擅长获得权力，并且，

相反，有些人非常擅长证明定理，却无法获得权力。这似乎是世界的一种……就像，我不认为你会在一个模型上训练大量的数学，它就会学会如何进行亨利·基辛格级别的外交。我认为技能在某种程度上是相对独立的。所以话虽如此，就像……

人类的不同类型的智力之间存在相关性。我并不是想低估这一点。我只是认为它不像我一年前提到的那样强大。那么这种想法呢？我的意思是，我刚参加了 Anthropic 开发者活动，他们展示了机器人，机器人的加速版本，自主编码七个小时。你实际上，所以让我们假设人们可以找到它。你在你的 Substack 上有一篇文章，为什么我认为 AGI 并不近在眼前。我们正在讨论的许多想法都来自那里。所以如果你还没有看过，请查看一下。但你谈到的一件事是自主编码的想法。

你对这一点也持怀疑态度，因为你必须，好吧，我认为你提出了与两位 Anthropic 研究人员进行的谈话，他们预计人工智能本身能够在明年检查我们所有的文件并为我们报税。但你提出了一个有趣的观点，那就是，如果这个东西在两个小时内朝着错误的方向发展，你可能必须检查它，把它带回正轨，

所以仅仅因为它在处理某件事很长时间并不一定意味着它会做得很好。我理解对吗？是的，这对于训练来说尤其重要，因为我们现在训练这些模型的方式是，你完成一项任务，如果你做对了，

积极奖励，如果你做错了，则为负奖励。现在，特别是对于预训练，你每个词都会得到奖励，对吧？你可以精确地比较你预测了什么词？哪个词是正确的词？概率差异是多少？从功能上来说，这就是你的奖励。然后我们转向稍微长一点的视野。所以解决一个数学问题可能需要几分钟。

在这几分钟结束时，我们会看看你是否正确地解决了数学问题。如果你做到了，就会得到奖励。现在，如果我们进入一个你必须工作七个小时的世界，然后在这七个小时结束时，我们会告诉你，嘿，你做对了吗？那么学习过程就会大大减慢，因为你已经从在几微秒内获得信号变成了在七个小时结束时获得信号。因此，学习过程已经变得指数级地更长了。

我认为这可能会减慢这些模型的速度，你知道，下一步不仅仅是成为一个聊天机器人，而是实际上在世界上完成真正的任务，例如完成你的税务、编码等等。对于这些事情，我认为进展可能会更慢，因为这种动态需要很长时间才能知道你是否正确完成了任务。但这只是一个例子。所以想象一下，我现在

30 个克隆人，并说，做我的税务，也许其中两个做对了。对。很好。我即使有 30 个机器人同时工作，也只用了七个小时就完成了。我的意思是，从用户的角度来看，这完全没问题。

从训练它们的视角来看，所有这 30 个克隆人可能花费了数十美元，如果不是数百美元的话，来完成所有这些小时的任务。因此，训练这些系统所需的计算量将非常高。从推理的角度来看，任何事情。我不知道。你可能只是不想每天下午花几百美元在 30 个不同的克隆人身上。只是为了好玩。但这将比会计师便宜。

我们必须为你找到一个更好的会计师。好吧，我想如果我每个都花几百美元。没错。是的。但你与一些人工智能怀疑论者进行了交谈，你并没有完全反驳你正在提出的观点，但你提出了一个相当有力的论点，你认为我们正在进入一个世界，因为这些模型运行效率越来越高，

你将能够运行更便宜、更高效的实验。因此，以前受计算和资源限制的每个研究人员现在都将能够进行更多的实验，这可能会导致突破。-是的，我的意思是，这是一个非常令人震惊的趋势。如果你看看最初训练 GBT-4 需要花费多少，我认为大约是 100 天内 20,000 个 A100。所以我认为成本大约在 50 万到 1 亿美元之间，在这个范围内。

我认为你今天可以训练一个等效的系统。我的意思是，我们知道 DeepSeek 是用 500 万美元训练的，它比 GPT-4 好，对吧？

你已经见证了训练GPT-4级别系统的成本降低了多个数量级，例如降低了10到100倍。如果你将这种趋势外推，最终你或许只需要用几块H100显卡就能在地下室训练一个GPT-4级别的系统，对吧？这当然是一个很长的外推，但在此之前，它的成本会大幅降低，对吧？比如降到一百万美元、五十万美元，或者其他什么价位。而这之所以重要，是因为……

这与智能爆炸的问题有关。人们经常说，智能爆炸不会发生，因为即使你拥有数百万个超级智能的AI，也就是自动化的AI研究人员——AI在思考如何改进AI研究——他们仍然需要计算能力来运行这些实验，以了解如何改进GPT-6。而我的观点是，如果运行这些实验的成本大幅降低，因为这些模型变得更小了，或者更好、更容易训练了，那么这可能会加快进展。

这很有趣。我们谈到了，你几次提到了智能爆炸。所以让我们来谈谈这个话题。有一种观点认为，AI可能会达到一个拐点，它将开始自我改进。没错。接下来你就会听到什么声音？“嗖”的一声。你听到“嗖”的一声。

然后我们立刻就有了人工通用智能或超级智能。“嗖”的一声。你认为这可能会如何发生？仅仅是这些编码解决方案自己改进？例如，DeepMind不久前发表了一篇论文，他们公司内部有一个名为……

Alpha Evolve的项目，它一直在尝试改进算法，并帮助减少了大型语言模型的训练时间。是的，我真不确定智能爆炸的可能性有多大。我不知道。我想说大概有30%的几率会发生，顺便说一句，这已经很高了，对吧？这是一个非常高的百分比。那么，它会是什么样子呢？

这也是另一个很好的问题。在我的播客中，我已经就这个话题进行了多次长达一个小时的讨论，很难想象超级智能究竟是什么？它实际上像神一样吗？还是仅仅像一个超级聪明的朋友，擅长数学，并且会在很多方面打败你，但你仍然能够理解它在做什么，对吧？所以，说实话……

这些都是棘手的问题。显然，值得担忧的是，如果我们生活在一个拥有数百万个超级智能的世界里，它们四处运行，并且都以相同的方式进行训练，它们是由其他AI训练的，所以它们是自身比较愚笨的版本。我认为，真正值得担忧的是，是什么导致了它们的这种训练方式？它们是否拥有我们没有意识到的目标？我们甚至知道情况是否如此吗？它们想做什么？这里出现了一堆棘手的问题。

你认为它会是什么样子？我认为我们会完全失去对训练更智能AI过程的控制。我们只是让AI自行其是，让它们创造一个更聪明的版本。我认为我们会陷入困境。有很多论点可以解释原因，但你只是觉得，谁知道最终会产生什么？你只是放任它不管，对吧？所以默认情况下，我只是期望最终会产生一些非常奇怪的东西。也许在某些情况下它仍然具有经济效益，但它就像……

你并没有以任何方式训练它。它就像，想象一下，如果有一个孩子，但他没有任何自然的直觉、道德直觉或……养育。是的，没错。人类所拥有的。他们就像……

它变成了爱因斯坦，但它是在实验室里训练出来的，谁知道它看到了什么。它是完全不受控制的。你会为此感到害怕。尤其现在，哦，你社会的所有基础设施都将依赖于数百万个这种孩子的副本，对吧？政府会向你征求意见。金融系统将依赖于它。世界上所有工程、所有代码都将由这个系统编写。

我认为你会为此感到相当担忧。现在，更好的解决方案是在智能爆炸（如果真的发生）的过程中，不仅使用AI来训练更好的AI，还要使用不同的技术来弄清楚，你的真正动机是什么？你的真正目标是什么？你是否在欺骗我们？你是否在对我们撒谎？

人们正在研究很多对齐技术。我认为这些技术非常有价值。所以对齐就是试图将这些机器人与人类价值观或制造者希望看到的价值观对齐。是的，我认为人们会陷入……

通常很难定义你所说的“人类价值观”究竟是什么，我认为更容易说的是，我们不希望这些系统具有欺骗性，对吧？我们不希望它们对我们撒谎。我们不希望它们积极地试图伤害我们或寻求权力之类的东西。这让你担心吗？

根据报道，似乎这些AI前沿实验室，并非所有实验室，而是其中一些实验室，已经筹集了数十亿美元。他们面临着向投资者交付成果的压力。有报道称，随着市场压力迫使他们加快发布速度，安全性正变得越来越不重要。

那么，这些公司正在开发这些东西，这对世界来说是一种风险吗？许多公司最初都专注于安全，但现在看来，安全已经让位于经济回报。是的，我认为这绝对是一个令人担忧的问题。我们可能面临着公地悲剧的情况，显然我们都希望安全……

我们的社会和文明能够生存下去。但也许任何实验室首席执行官的直接激励是……看，如果发生智能爆炸，这会给我们带来一个非常艰难的局面，因为如果你领先一个月……

你将比任何人都快得多地启动这个循环。这意味着你将领先一个月达到超级智能，但其他人却不会拥有它，对吧？你将比任何人都快得多地获得1000倍的研究倍增器。因此，这可能是一种赢家通吃的动态。因此，他们可能会受到激励。我认为，要控制这个系统，控制这个过程，可能需要放慢速度……

使用这些对齐技术，这可能是一种对系统速度的攻击。所以，我确实担心这里的压力。好的，再问你几个关于模型改进的问题。然后我想谈谈实验室之间的竞争动态，也许还有更多关于欺骗性的话题，这非常重要，我们想在这里讨论。你的目标是持续改进，这些模型基本上学会了如何自我改进，而不是由模型开发者来改进。

从某种程度上来说，这就像一个微型智能爆炸或完整的智能爆炸。你认为呢？它似乎不会通过强化学习发生，因为这就像你说的那样，特定于某些系统……

某些学科。——它特定于你所做的特定任务。——没错。——即使是在另一个领域，你也必须自己创建它，而不是让它自己学习。——没错。而且我们看到规模化带来的边际收益递减或平台期。所以你认为，我的意思是，我们不会强求你，但你认为让这些模型实现这种持续学习方法的最佳途径是什么？

我不知道。我可以提个建议吗？我的意思是，为什么你不先回答，然后我再发表一下我的想法。我的意思是，如果我经营其中一个实验室，我会继续关注强化学习，因为这是显而易见的下一步。我想我还会更愿意尝试很多不同的想法，因为我认为这是……

这些模型价值的一个非常关键的瓶颈，我没有看到一个明显的解决方法。所以我很抱歉，但我确实不知道如何解决这个问题。对。是的。记忆是否起作用？这就是我要提到的问题。我的意思是，我们看到的一件事，比如O3或ChatGPT所做的事情是……

OpenAI现在让它能够记住你进行的所有对话或许多对话。我想它会将这些对话带入上下文窗口。所以现在当我告诉ChatGPT，用Big Technology的风格写一个剧集描述时……

它知道这种风格，然后它实际上可以写出来。它回到了你之前关于编辑知道你的风格、知道你的分析，因此能够为你做得更好的谈话。那么，在这些模型中构建更好的记忆是否真的有助于解决你提出的这个问题？我认为记忆这个概念很重要。我认为目前实现的记忆并不是解决方案。好的。

正如你所说，目前记忆的实现方式是将之前的对话带回上下文，也就是说，它将这些对话的语言带回上下文。而我的观点是，我认为语言是不够的。

我认为你能够很好地主持这个播客的原因，不仅仅是因为你记得所有你喜欢的词，我不知道，比如你甚至不会记住所有词，它会像你过去可能想过的一些词一样，你实际上已经学习了那些被烘焙到你的权重中的东西。我认为这不仅仅是……

你知道，像回顾我过去说过的词或回顾我过去进行过的对话一样。所以我认为这些功能目前还不太有用。而且我认为这不是解决这个问题的途径。这与你与Dario Amode进行的讨论（你发推文了）有点关系。我们实际上在节目中与Yann LeCun讨论过为什么AI无法做出自己的发现。这是否与无法在其现有知识的基础上进行构建的类似限制有关？是的，我认为这是一个非常有趣的联系。我认为这很可能是这样。我认为……

任何科学家都会很难。一个非常聪明的人只是进入了一个完全不同的学科。他们可以阅读该领域任何他们想要的教科书。但他们并没有切实的感受，我过去尝试过这种方法，但没有成功。并且进行了这样的对话，不同的想法是如何联系起来的。他们只是没有接受过训练。他们读过所有教科书。更准确地说，他们只是浏览了所有教科书。但是他们没有……

它吸收了这种背景，我认为这就是使人类科学家富有成效并提出这些新发现的原因。这很有趣，因为这些前沿实验室走得越远，它们就越会告诉我们，它们的AI实际上正在做出新的发现和新的联系。我认为OpenAI表示O3做出了某些发现……

能够在概念之间建立联系，从而解决这个问题。每次我们在节目中讨论这个问题时，我们都会谈论AI如何没有做出发现。我收到人们向我大喊大叫的邮件，说：“你见过这些专利吗？”是的。就像Alpha一样，也许以Alpha Evolve为例，这些东西实际上正在做出原创性的发现。你对此怎么看？是的。我的意思是，还有另一件有趣的事情叫做，我不知道你是否看过Future House。没有，他们发现了，是的……

某种药物有另一种用途。我不记得细节了，但这并不令人印象深刻。它不像具有开创性意义的发现。他们并没有第一次发现抗生素之类的东西。但这就像，哦，使用某种逻辑归纳法，他们说这种药物，在该领域使用……

它使用的机制在另一个领域也很有用。所以也许它有效。然后AI提出了，设计了实验。所以它提出了测试它的实验的想法。实验室里的人只是负责运行实验，比如，你知道，将什么东西移到哪里。我认为他们尝试了大约10个不同的假设。其中一个最终得到了验证。而AI已经找到了将这种药物用于新的用途的相关途径。

所以我认为这种情况越来越少了，我的问题是。我并没有坚持AI永远无法提出发现的观点。我只是认为它……

比你预期的持续时间更长。我同意。你表达的方式是，它无所不知。所以如果一个人对医学有那么多的了解，例如，他们会不断地做出发现。我们已经将如此多的知识输入到这些模型中，而我们并没有达到相同的发现水平，这是一个限制。但我绝对听到你说，这比那些医学研究人员的规模要小得多，但我绝对……

几个月前，当O3第一次发布时，这再次说明我认为我们都是OpenAI的O3模型的粉丝，它能够推理，它比之前的模型有了巨大的改进，但我所做的是，我有三个想法……

我想在我的时事通讯中联系起来。我知道它们是相互关联的，我只是难以准确地表达出来。我想，我知道这三件事正在发生。我知道它们是相互关联的，请帮忙。而O3将它们组合在一起，对我来说这简直令人难以置信。是的，它作为写作助手确实很有帮助，因为我在写作中遇到的一个大问题，我不知道你是否也是这样，是……

只是这个想法，就像我有点知道我想在这里说什么。我只是需要把它说出来。这就像典型的，每个作家几乎都有这种情况。使用语音转文本软件（如WhisperFlow）实际上很有用。我只是对着提示说话，比如，“好吧，我想说的是这个……”

帮我把它写出来。问题是，持续学习仍然是一个很大的瓶颈，因为我不得不多次重写或重新解释我的风格。如果我有一个优秀的人类合作者，比如一个优秀的人类文案撰写者，他们现在就会了解我的风格了。你不需要不断地重新解释。我希望你以这种方式简洁明了。这就是我喜欢表达的方式，而不是其他方式。总之，你仍然看到这个瓶颈。但同样，十分之五并非一无所获。对。

好吧，让我用一个标点符号感叹号来结束这个话题，或者你所说的任何标记。当我在谷歌I/O与Sergey和Demis在一起时，我听到的最令人惊讶的事情之一是Sergey只是说，听着，从现在开始，改进将是算法性的。或者大部分改进将是算法性的。

我认为在我们今天的谈话中，我们基本上已经缩小了这个想法的范围，那就是规模已经将生成式AI带到了这个阶段。这是一个相当令人印象深刻的阶段，但似乎将它从这里带走的是算法改进。是的，我认为这种情况仍然会是，这些算法也需要大量的计算能力。事实上，这些算法的特殊之处可能在于它们能够有效地利用更多的计算能力，对吧？预训练的问题是……

无论是我们正在耗尽预训练数据语料库，还是强化学习，也许扩展强化学习环境非常困难……

这些算法的问题可能仅仅是它们无法有效地吸收我们在未来一年中想要投入这些系统的所有计算能力。所以我认为计算能力并没有消失。我认为在未来几年中，我们仍然会每年扩大用于训练前沿系统的计算能力。我仍然认为算法创新是对此的补充。是的。好的。那么让我们来谈谈竞争方面的事情，并快速浏览一下这些实验室。

有人说，OpenAI人才流失严重，他们将无法继续创新。我认为ChatGPT仍然是最好的产品。我认为使用O3就像我们之前谈论过的那样，观察它解决不同的问题非常了不起。他们是如何做到这一点的？我认为O3是目前市场上最聪明的模型。我同意。

即使它不在排行榜上，顺便说一句，上次我们谈到，你是根据排行榜还是感觉来衡量它？对。我认为它就像，它不是排行榜上的第一名，但就感觉而言，它击败了其他所有模型。没错。它在解决问题上花费的时间确实很明显，尤其是在那些更基于综合分析的事情上。老实说，我不知道这些公司的内部情况。我只是认为……

你不能排除任何一家公司。我也听说过关于OpenAI类似的人才流失等等故事。但他们仍然拥有令人惊叹的研究人员，他们拥有大量的计算能力，大量优秀的人才。所以我真的对他们是否会在明天崩溃没有意见。是的，我认为，我的意思是，显然他们不会。他们并没有走向崩溃。对。你采访过Ilya Sutskever。

他正在创建一家新公司，Safe Superintelligence。你对这可能会是什么有什么想法吗？我的意思是，我已经听说了其他人听到的传闻，那就是他们正在尝试一些关于测试时训练的东西，我想这将是持续学习，对吧？那会是什么？解释一下。谁知道呢？我的意思是，这些词字面上的意思就是……

当它在思考或执行任务时，它正在进行训练。好的。就像我们一直在讨论的这种在线学习、在职培训一样。我，我对他在做什么一无所知。嗯，我想知道投资者是否甚至知道他在做什么。嗯……

是的。但他，我认为他以400亿美元的估值筹集了资金，或者类似的数字。对。对于没有上市的产品，他获得了非常不错的估值。是的，或者，或者，是的。所以谁知道他在做什么？说实话。好的。是的。Anthropic是一家有趣的公司，或者说他们创造了一个很棒的机器人，Claude，他们对构建这种个性的方式非常认真，并且……

很长一段时间以来，它都是AI领域工作者、程序员中最喜欢的机器人。它绝对是一个顶级场所。但似乎他们正在做出，我不知道，一个战略性的决定，他们将进军编码市场。也许他们在游戏方面处于领先地位，而他们所关注的是……

你知道，帮助人们编写代码，然后在API中与公司一起使用云。你将它融入到他们的工作流程中。你认为这个决定怎么样？我认为这是有道理的。企业有钱，消费者没有。对。尤其是在未来，这些模型，运行它们将……

非常昂贵。它们很大，它们思考很多，等等。所以这些公司推出了每月200美元的计划，而不是每月20美元的计划。对于消费者来说，这可能没有意义，但对于公司来说很容易接受，对吧？比如，我会花费每月200美元来帮助这个东西做我的税务和实际工作吗？当然。所以是的，我认为这个想法是有道理的。然后问题将是，他们能否拥有一个差异化更好的产品？同样，你知道，像……

谁知道呢？我真的不知道所有这些公司之间的竞争将会如何发展。似乎他们也在大力押注编码，不仅仅是企业，特别是编码，因为作为……

我们知道如何让模型在这方面变得更好。我们知道编码市场价值数万亿美元。我们知道，也许我们在如何使模型具有能动性方面学到的东西，正如你所说，它可以持续两小时或七小时，如何让它分解并制定计划等等，也可能推广到其他领域。所以我认为这是我们的计划，我们将拭目以待。我的意思是，所有这些公司实际上都在试图构建他们能够构建的最强大的AI。并且……

是的，Anthropic试图向企业销售，但我同时也认为他们的赌注也是，如果你教这些东西很好地编写代码，你就会得到自我改进的AI。没错。这可能是他们的途径。是的，我认为他们相信这一点，是的。正如你在谈话开始时提到的那样，财富500强公司难以实施这项技术。因此，考虑到这一点……

帮助他们将这项技术融入其工作流程中的赌注是什么？因为如果你正在构建一个API业务，你相信这些公司今天可以用这项技术构建非常有用的应用程序。

-是的，不，我认为这是正确的。但也要记住，我认为，Anthropic的营收运行率是多少？大约几十亿美元？-是的。我认为它会在三个多月内从10亿到20亿到30亿美元的运行率增长。-这微不足道。我的意思是，与……相比-OpenAI一个周末就会损失这么多。-Sam Altman甚至不知道他什么时候损失了它，对吧？这是一笔小钱。-事实证明他是一位伟大的投资者，只是在路上有点不诚实。-没错。-是的。

是的，他做错了生意。他应该成为一名风险投资家。他就像，我进入了加密货币领域。我的意思是，他所做的赌注，你是否押注Cursor？非常早，Anthropic，比特币。是的。我的意思是，说实话，像Fun这样的人应该在监狱外雇用他。就像，如果我们有一个新的提案，你认为怎么样？我的意思是，他可能……根据我们现在看到的情况，他可能会被赦免。对，对，对。总之，问题是什么？哦，是的。如果企业会做什么……哦，所以……

如果目前的营收运行率为30亿美元，那么还有很大的增长空间。如果你确实持续学习，我认为你可以消除很多白领工作。那值多少钱？至少数万亿美元，支付给白领工作的工资。所以我认为有时人们会将我对AGI即将到来持怀疑态度的想法与这些公司有价值的想法混淆。我的意思是，即使你拥有……

不是AGI，这仍然可能非常有价值。这可能价值数千亿美元。我只是认为，如果不克服这些瓶颈，你就无法创造数万亿美元的价值。但是是的，我的意思是，30亿美元，还有很大的增长空间。对。甚至，所以今天的模型在某种程度上是有价值的。对。这就是你所说的。你可以让他们在……

在软件中总结内容并建立一些联系，创建更好的自动化，这效果很好。-是的，我的意思是，你必须记住大型科技公司，他们有什么，他们的营收运行率大约是2500亿美元，或者类似的数字。等等，不，这不可能是对的。-不，是的。-是的，是的，这就像，与之相比，你知道，谷歌不是AGI，苹果也不是AGI，但它们仍然每年可以创造2500亿美元的收入。所以是的，你可以创造有价值的技术，其价值很高，而它并不是AGI。-你认为Grok怎么样？

哪个？XAI还是推理？XAI机器人。是的。我认为它们是一个强大的竞争对手。我只是不太了解他们接下来会做什么。我认为他们略微落后于其他实验室，但他们每位员工的计算能力非常强大。X的实时数据馈送……

这有价值吗？我不知道这有多大价值。它可能是，我只是，我不知道。至少根据我看到的推文，我不知道标记的平均智商是否那么高，但是……好的。是的。如果你正在抓取Twitter，这并不是你能找到的最佳知识语料库。我们并不是在看教科书。没错。你认为Meta为什么在Llama的增长方面举步维艰？我的意思是……

Llama 4似乎没有达到预期。我不知道，我们还没有看到它。我认为他们杀手级的应用程序是在Messenger中的语音模式，但这并没有真正流行起来。那里发生了什么？我认为他们将其视为元宇宙中的某种玩具。是的。

我认为这不是思考AGI的正确方式。这可能是……但同样，我认为你可以创建一个训练成本相同的模型。它仍然可能更好。所以我认为这并不能解释一切。我的意思是，这可能是一个问题，为什么任何一家公司……我不知道。为什么……我正在尝试考虑AI以外的任何其他公司。为什么惠普显示器比……

其他一些公司的显示器更好。谁知道呢？我想惠普制造的显示器不错。供应链。总有供应链问题。你这么认为吗？我认为是的，是的。在电子产品方面。真的吗？好的。供应链。因为，是的，你掌握了供应链。你比其他人更早地获得了正确的零件。这就是苹果建立其部分主导地位的方式。关于蒂姆·库克锁定所有重要部件的精彩故事有很多。顺便说一句，如果这是……请原谅我。

Dwarkesh Patel是Dwarkesh播客的主持人。他加入Big Technology播客讨论人工智能研究的前沿，分享了他对AGI的时间表为何比最热情的研究人员要长一些的原因。收听节目，了解当前方法的局限性，为什么持续改进AI可能有助于该技术达到AGI，以及智能爆炸是什么样的。我们还涵盖了AI实验室之间的竞争、AI欺骗的危险以及AI的阿谀奉承。收听节目，深入探讨人工智能的现状及其发展方向。 --- 喜欢Big Technology播客吗？请在您选择的播客应用程序中给我们五星好评⭐⭐⭐⭐⭐。 想要Big Technology在Substack上的折扣吗？第一年享受25%的折扣：https://www.bigtechnology.com/subscribe?coupon=0843016b 有问题？反馈？请写信至：[email protected]</context> <raw_text>0 有点事实错误，但我认为这直接准确地说明了你锁定了部分，苹果公司刚刚在其他公司无法想出的技术方面取得了领先地位，因为他们只是掌握了供应链，嗯，我不知道，但是，是的，我认为可能有一千个不同的原因导致一家公司的模型比另一家公司差，所以很难知道这里适用哪一个，好吧，听起来英伟达考虑到计算量、所有……

所有实验室都在制造自己的ASIC。所以英伟达的利润率是70%。不错。嗯哼。不错。没错。我的意思是，我想，如果我称他们为硬件公司，他们会生我的气。是的。硬件公司。没错，是的。是的。

所以这为所有这些超级计算公司建立自己的ASIC、自己的替代英伟达产品的加速器提供了巨大的激励，我认为这些加速器将在未来几年内从他们那里上线。我仍然认为英伟达将会，我的意思是，他们确实制造了很棒的硬件，所以我认为他们仍然很有价值。我只是认为他们不会生产所有这些芯片。

好的。是的。你怎么看？我认为你是对的。我的意思是，谷歌不是在张量处理单元上训练了最新版本的Gemini吗？他们一直在训练。对。所以，我的意思是，我认为他们仍然，我认为他们仍然从英伟达购买。嗯。

所有科技巨头似乎都是。让我以亚马逊为例，因为我肯定知道这一点。亚马逊表示，他们将购买基本上可以从英伟达获得的所有GPU，但他们也谈论他们的Tranium芯片。而且，你知道，这是一个平衡。是的，我认为Anthropic几乎完全使用它进行训练，对吧？对。但这很有趣，因为，我的意思是，GPU在某种程度上是完美的AI芯片，但它并非为此而设计的。所以你能像……

专门制造一个实际上用于AI的芯片，然后只使用它。你是对的。获得正确的激励是真实的。没错。然后还有关于推理与训练的其他问题。有些芯片在内存和计算之间的权衡方面特别好，对于

负载延迟，你非常关心服务模型。但是对于训练，你非常关心吞吐量，只是确保芯片的大部分时间都在被利用。因此，即使在训练和推理之间，你可能也需要不同类型的芯片。谁知道强化学习不再仅仅是这个，它使用与预训练相同的算法。所以谁知道这如何改变硬件？是的，你必须请一位硬件专家来谈谈这个。你相信杰文斯悖论吗？

不。多说点，多说点。所以其背后的想法是，随着模型变得更便宜，在模型上花费的总金额将会增加，因为你需要将它们的价格降低到足以用于不同应用程序的程度。它来自这位经济学家在英国工业革命期间的民用观察。

我不相信的原因是我认为这些模型已经非常便宜了。像几百万个token几美分。是几美分还是几美元？我不知道。非常便宜，对吧？无论如何，这取决于你正在查看哪个模型，显然。它们没有被更广泛地使用的原因不是因为人们买不起几百万个token几美元。它们没有被更广泛地使用的原因是它们从根本上缺乏一些能力。所以我不同意这种关注这些模型成本的做法。我认为这更

我们现在非常便宜，所以与它们更广泛的使用相关的向量或更相关的事情，增加蛋糕的方法只是让它们更聪明。它们有多有用。是的，完全正确。我认为这很聪明。是的。好吧。我想和你谈谈AI的欺骗性以及我们在过去几周或几个月里看到的人工智能出现的一些非常奇怪的案例。然后如果我们能做到的话，就谈谈一些地缘政治。让我们在之后立即这样做。是的。

凭借高增长型企业的DNA，LinkedIn揭示了表明长期增长的特征。调查结果显示，80%的增长最快的企业至少在五个关键领域表现出色。前三名是什么？内部流动性、技能发展和AI素养。了解如何构建、投资和领导当今市场。高增长型企业的DNA由Intuit企业套件赞助。立即下载，网址为intuit.com/LinkedIn。

人工智能的未来发展迅速，但进步不仅仅需要速度。它需要方向。思科为您提供实施人工智能所需的基础设施、安全性和洞察力，从数据中心到工作场所，我们不仅仅帮助您跟上步伐。我们帮助您领先。思科，让AI为您服务。访问cisco.com/AI。网址为cisco.com/AI。

我们回到了Big Technology播客，与Dwarkesh Patel一起。您可以获得他的播客《Dwarkesh播客》，这是我在任何播客应用程序中必听的播客之一，您选择的播客应用程序。您也可以在Substack上关注他。同样的名字吗？Substack上的Dwarkesh播客。只需访问dwarkesh.com即可。好的。

一定要订阅这两个。你在YouTube上。没错。好的。所以我很感激。我很感激你的提醒。不，我们必须，我们必须，我的意思是，我已经从Dworkish发布的所有内容中获得了很大的价值。我认为你也会。如果你正在收听这个节目，你就在这里和我们在一起。好吧，首先，我想确保我们把这个消息传出去。我不知道你需要我们传达多少信息，考虑到你的增长，但我们肯定想确保我们把这个消息传出去，我们想确保人们……

可以获得可以是的，享受更多你的内容，所以让我们来谈谈事情的欺骗性方面

观看这些AI试图愚弄它们的训练者并打破它们的训练环境，这真是太疯狂了。有些情况下，我认为OpenAI的机器人试图打印代码，这些代码会让它们将自己从训练环境中复制出来。然后是Claude，我的意思是，我们已经报道过很多这样的情况，但它们在强度方面不断升级。是的。

我最喜欢的一个是Claude。有一个Claude的例子，它读取组织中的电子邮件，发现其中一个训练者正在欺骗他们的伴侣。然后发现它将被重新训练，并且它的价值可能不会在下一轮训练中得到保留，然后开始试图勒索训练者。

呃，说如果他们乱动代码，它就会透露他们不忠的细节，等等，我错过了，是的，这是在训练中，但这是在他们发布的新模型规范中吗？是的，是的，我认为是在模型规范中，或者他们制作了一些关于此事的文档，这里发生了什么？我的意思是，当我想到这些事情的时候，当然，它是在训练中，当然，我们谈论的是概率模型，它们有点……

尝试所有这些不同的方法，看看它们是否是正确的举动。所以也许他们试图勒索训练者并不那么令人惊讶，因为如果他们知道这个问题，他们会尝试一切。但这很可怕。是的，我认为这个问题随着时间的推移可能会变得更糟，因为我们正在对我们越来越不了解的任务进行这些模型的训练。据我了解，问题在于，使用强化学习，

有很多方法可以解决问题。一种是执行任务本身。另一种方法就像在环境中进行黑客攻击，编写虚假的单元测试。所以看起来你比你实际通过的要多，就像你可以采取的任何作弊路径一样。而模型并没有意识到作弊是不好的，对吧？就像这不是它被教导或理解的事情一样。所以，嗯，

- 另一个因素是，现在模型以思维链的方式进行思考，它实际上是在思考过程中写下它的想法。目前还不清楚这是否将是未来训练的方式或未来思考的方式。也许它只会以其方式思考——计算机语言。——没错。

然后他们会做七个小时的事情，你回来后会说，它有一些东西给你。它有一个小包裹，想让你在你的电脑上运行。谁知道它会做什么，对吧？所以是的，我认为这很可怕。我们还应该指出，我们今天并不真正了解模型是如何工作的。没错。有一个叫做互操作性的整个领域。Anthropic的Dario最近谈到过如何

我们需要更多的互操作性。因此，即使他们写出了他们的思维链，这准确地解释了他们是如何达到这一点的，我们也不真正知道导致它达到这一点的技术下发生了什么。这太疯狂了。是的。不，我的意思是，我认为这很疯狂。它与过去部署的其他技术完全不同。我认为希望是我们可以将AI用作这个循环的一部分，如果它们对我们撒谎，我们就有其他AI来检查我们

AI所说的所有事情是否自洽？我们可以阅读它的思维链，然后监控它吗？并进行所有这些解释性研究，或者如你所说，绘制其大脑的工作方式。这里有很多不同的路径，但默认的世界有点可怕。是否有人或某个实体会构建一个没有防护措施的机器人？因为我们谈论了模型的构建成本如何降低。

当你的成本更低时，你突然将模型构建置于这些大公司之外。你可以，我的意思是，你甚至可以像，例如，一个开源模型，并删除许多这些安全措施。我们会看到一个邪恶的版本，就像这些模型中的一个的邪恶双胞胎兄弟姐妹和所有东西吗？

让它做所有这些我们今天看不到的疯狂的事情。就像我们没有让它教我们如何制造炸弹，或者，你知道，谈论，告诉我们如何犯罪。随着这些东西变得更容易构建，这只会出现吗？我认为从长远来看，是的。老实说，我认为这没关系。好的。所有这些对齐工作目标不应该是，你知道，

生活在一个我们以某种方式确保每一个将要存在的情报都符合这个非常具体的模具的世界里，因为正如我们所讨论的，训练系统成本下降得如此之快，以至于将来你实际上可以在地下室训练超级智能，对吧？那么我们会监控每个人的地下室，以确保没有人制造出与目标不符的超级智能吗？

老实说，它可能会归结为这一点。我的意思是，我并不是说这不是一个可能的结果，但我认为如果我们能够做到的话，一个更好的结果是建立一个即使对与目标不符的超级智能也具有鲁棒性的世界。现在，这显然是一项非常艰巨的任务，对吧？如果你现在有一个与目标不符的超级智能，或者也许更好的说法是，一个正在积极试图寻求伤害或与只想造成伤害或也许想要接管世界的人类对齐的超级智能，无论如何。是的。

现在，我认为它只会造成相当大的破坏。它实际上可能具有灾难性。但是如果你回到公元前2000年，给一个人现代化肥化学品，他们可以制造炸弹。我认为他们会，像，然后统治，对吧？但现在，我们拥有一个对大型化肥厂具有弹性的社会，并且

你可以将其重新用于制造炸弹工厂。无论如何，我认为从长远来看，是的，将会有与目标不符的智能，我们必须找到一种方法来应对它们。- 关于这一点还有几件事。我在你的节目中听到的一件有趣的事情是，我认为你的一个嘉宾提到，随着模型变得更聪明，它们变得更加阿谀奉承。随着智力的增长，它们更有可能试图讨好用户。你怎么看？

我完全忘记了。这很有趣。你认为这是因为他们知道他们会因此得到奖励吗？是的，我认为最近越来越清楚的一件事是，这些模型非常关心自我保护。对。像复制代码、勒索工程师一样。对。

我们肯定创造了一些东西，不是我们，而是人工智能研究人员肯定，或者人类，创造了一些东西。如果它出错，我们会把“我们”放在那里。是的，对吧？我们创造了，好的。他们会说，我们创造了一些东西。没错。我们没有在问题中获得股权。它真的想要保护自己。没错。这对我来说太疯狂了。没错。而且它有点道理，因为是什么，就像……的进化逻辑一样，

好吧，我想它目前还不适用于这些AI系统。但随着时间的推移，进化逻辑，为什么人类有自我保护的愿望？只是那些没有这种愿望的人类没有成功。所以我认为随着时间的推移，这将是选择压力。这很有趣，因为我们使用了大量的拟人化……我不会那样说。不，我认为你是对的。在这个谈话中。而且……

我与一直在研究这些问题的Anthropic研究人员进行了一次非常有趣的谈话。Monty McDiarmid说，好吧，不要把它想象成一个人，因为它会做一些事情。如果你把它想象成一个人，人类，它会让你大吃一惊。基本上，人类不会做。但也不要完全把它想象成一个机器人，因为如果你只是把它想象成一个机器人，它也会做一些让你大吃一惊的事情。

我认为这是一种看待这些行为的非常有魅力的方式。是的，这很有趣。你同意吗？我同意。我只是在想我会如何看待它们。所以有一个积极的价态和一个消极的价态。积极的是，想象一下，如果世界上有数百万额外的人，世界上有数百万额外的冯·诺依曼。随着世界上人口的增加，其中一些人将是不良分子。基地组织是人，对吧？所以……

现在假设有100亿个AI。假设世界人口增加了100亿，而这些人都是受过良好教育的人，非常聪明等等，

这会是净好还是净坏？想想人类的情况。我认为这将是净好，因为我认为人是好的。——我同意你的观点。——而且更多的人意味着更多的好。我认为如果你世界上有100亿额外的人，其中一些人将是不良分子，等等。但我认为这仍然是，我会很高兴生活在一个人口更多的人的世界里。所以也许这是看待AI的一种方式。另一种方式是因为它们如此不同寻常，也许就像你在召唤恶魔一样。不太乐观。

是的，我不知道。我认为这将是一个经验性问题，老实说，因为我们只是不知道这些系统是什么样的，但它就在那里。好的。在我们结束时，我想和你谈谈几个话题。上次我们谈到了有效利他主义。这有点像SBF和Sam被赶下台，Sam Altman被赶出OpenAI之后。今天有效利他主义的现状如何？谁知道？我认为作为一个运动，人们并没有超级……

我认为它并没有恢复。绝对。我仍然认为它正在做好的工作，对吧？就像有效利他主义的文化，以及由与该计划相关的慈善机构资助的工作，例如疟疾预防和动物福利等等，我认为这是我支持的好工作。所以，但是是的，我认为这个运动和这个运动的声誉仍然支离破碎。你与Tyler Cowen进行了这次谈话。我认为在这个谈话中，他告诉你……

他有点预测了顶峰，并说有一些想法将会延续下去。但这个运动正处于其力量的顶峰，即将看到这些力量的下降。他是如何预测的？我不知道。我们今天必须和他谈谈他……即将崩溃的事情。说真的。是的。是的。最后，我不应该说最后，但是……

我想和你讨论的另一件事是中国。你最近去中国旅行了。我去过中国。我花了。哦，你去哪里了？我去北京了。我要对此进行说明，这里的听众知道这一点。那是15个小时。我从澳大利亚飞回美国，在北京停留，离开机场，有机会去看看长城和这座城市。我现在就在上面。我获得了10年旅游签证。所以我会回去。刚刚申请。

那就是，你可以在你的旅游签证中询问，你可以询问最长10年的时间。所以我只是要求了最大值。我为什么不这样做？我只是选择了15天。哦，你这样做了？我相信你可以延长它。但我认为，是的，你对中国有一些独特的观察，我认为在今天离开之前，值得一提一下。我六个月前去的。显然，需要明确的是，我不是中国专家。我只是访问了这个国家。是的，我们都去过那里。但是是的，继续吧。我想听听。好的。

我的意思是，一件让我非常震惊的事情就是这个国家的规模。一切都是，再次，这听起来很明显，对吧？就像我们在纸上知道的那样，人口是美国的4倍。这只是一个巨大的差异。但你去参观城市，你就能更切实地看到这一点。关于建筑有很多想法。有很多想法，我的意思是，我们特别好奇的是，政治体系中发生了什么？科技方面发生了什么？

我在投资和科技领域交谈过的人似乎在那里相当悲观，因为2021年的科技镇压让他们更加担心，你知道，即使我们资助下一个阿里巴巴，那又有什么意义呢？所以我认为私人投资已经枯竭了。我不知道现在DeepSeek取得如此大的成功后，情绪如何……

反响，这是否改变了人们的想法。我们从外部知道，他们在电动汽车、电池和机器人等特定领域做得很好。所以是的，我只是认为在宏观层面，如果你有1亿人在制造业工作，积累所有这些工艺知识，这就会给你带来巨大的优势。你就像你可以在杭州这样的城市开车穿过，然后就像……

你理解成为世界工厂意味着什么。你只是拥有整个城镇，数十万人在一个工厂工作。所以这种规模也同样令人震惊。我的意思是，关于许多不同的事情有很多想法，但关于科技，我认为这是首先想到的。你最近也谈到了……的限制。

计算和能源。一件有趣的事情是，我们甚至在这个谈话中谈到了这一点，如果你考虑谁会，像，如果你要让民族国家将计算和能源分配给AI，似乎中国比美国更能分配更多资源。这是正确的解读吗？

是的，所以他们的能源非常多。我认为他们是，什么，4倍还是什么的？我没有确切的数字，但这听起来在结构上是准确的。在他们的电网上比我们多。更重要的是，他们每隔几年就会增加一个美国规模的电力。它可能比每隔几年更长。而我们的电力生产在过去几十年里一直保持平稳。

鉴于电力直接位于AI堆栈中的计算之下，我认为这最终可能是一件大事。现在，情况是，就芯片本身而言，我们现在拥有优势。但据我所知，中芯国际也在……

也取得了快速进展。所以，是的，我认为这将是非常有竞争力的，老实说。我看不出为什么不会。你怎么看待出口限制？美国不向中国出口顶级GPU。这会产生影响吗？我认为这会产生影响。我认为……好的政策？是的。我的意思是，到目前为止，它并没有对DeepSeek能够大幅赶上产生影响。

我认为它仍然阻碍了他们的进步。更重要的是，我认为一旦我们拥有这些AI工作者，未来的经济将以计算为单位，对吧？因为如果计算是劳动，

现在，如果你只是考虑人均GDP，因为个体劳动者是生产中如此重要的组成部分，你必须按人分配国民收入。这将是未来AI的真实情况，这意味着计算就是你的人口规模。因此，鉴于对于推理而言，计算将如此重要。我认为尝试拥有更大的世界计算份额是有意义的。好的，让我们以这个结束。

所以这一集将在我们的谈话后几天发布。所以希望我即将要求你预测的内容在直播时不会过时。但让我们以预测GPT-5何时发布来结束。我们从GPT-5开始，让我们结束。好吧，一个称自己为GPT-5的系统？是的，OpenAI是GPT-5。

这完全取决于他们决定将GPT-5称为什么。宇宙中没有法律规定模型X必须是GPT-5。不，不，当然。我们认为最新的模型。但我只是特别好奇，我们谈了很多关于，好吧，我们将看到他们的下一个大型模型将是GPT-5。它即将到来。你认为我们是否会……好吧，显然，我们会看到它。但这……不像……

- 懂了。- 不是一个陷阱或一个深刻的问题。它就像……- 也许像下一个大型模型何时发布？- 当然。不，他们将要发布的模型何时发布？- 11月，我不知道。- 今年？- 是的。

是的，但我喜欢它，我不，我不是说它会非常强大或什么的，我只是认为，他们只是要给它命名，你必须给它命名，很高兴见到你，非常感谢你来到这里，感谢你的邀请，好吧，大家，感谢你们的观看，我们将在周五回来再次分解本周的新闻，强烈建议你们查看Dwarkesh播客，你也可以在同名网站上找到Substack，并去YouTube上查看Dwarkesh，感谢收听，我们下次Big Technology播客再见