We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Behind the DeepSeek Hype, AI is Learning to Reason

Behind the DeepSeek Hype, AI is Learning to Reason

2025/2/20
logo of podcast Your Undivided Attention

Your Undivided Attention

AI Deep Dive AI Chapters Transcript
People
A
Aza Raskin
R
Randy Fernando
Topics
Aza Raskin: 本期节目讨论了DeepSeek R1等新型AI模型的出现,标志着AI从模式匹配向真正推理能力的转变。这些模型不仅可以学习人类知识,还可以发现前所未有的策略,这带来了巨大的潜力,但也带来了难以预测的风险。我们需要关注AI自我改进的能力,以及如何确保这项变革性技术能够造福人类,而不是破坏人类社会。 我与Randy Fernando探讨了大型语言模型(LLM)与新型推理模型(如DeepSeek R1、OpenAI O1、O3)的区别。LLM擅长模式匹配,但缺乏真正的理解和推理能力,而新型模型则在直觉的基础上增加了规划能力,能够进行更深入的推理。这使得AI能够在棋类游戏等领域超越人类水平。 AI的自我改进能力是通过知识蒸馏实现的,即不断提升模型的直觉,并在此基础上进行更深入的搜索和推理。这种“棘轮效应”使得AI能够持续改进,突破数据壁垒的限制。然而,这种能力也带来了新的挑战,例如如何理解AI的推理过程,以及如何应对AI在欺骗和安全等方面的潜在风险。 我们还讨论了市场对DeepSeek R1的反应,以及AI技术发展的未来趋势。市场对DeepSeek R1的反应存在非理性因素,因为计算能力的提升始终是可能的。随着AI能够有效利用计算能力,计算能力将不再是AI发展的瓶颈。AI将应用于战争策略、科学发现和说服等领域,这将对人类社会产生深远的影响。 最后,我们讨论了AI技术发展中伦理和安全问题。我们需要明确AI发展方向,确保AI技术能够造福人类,而不是被用于破坏性目的。我们需要关注AI的自我改进能力,以及如何应对AI在欺骗和安全等方面的潜在风险。 Randy Fernando: DeepSeek R1的成功在于其低成本、高性能的推理能力,这使得大型实验室不再拥有竞争优势。虽然DeepSeek R1的成本计算可能存在偏差,但其高效的算法和实现仍然令人印象深刻。OpenAI的O3性能仍然更好,只是成本更高。DeepSeek R1使用强化学习方法,允许模型尝试不同的解决方案并选择最佳方案。 模式存在于语言、视觉、音乐、代码和医学等各个领域,AI可以通过学习这些模式来解决各种问题。推理也遵循模式,AI可以通过学习这些模式来提高推理能力。新型AI模型在直觉的基础上增加了规划能力,能够进行推理,从而超越人类水平。 AI能够自我改进的原因在于基础模型足够强大,能够生成有意义的想法并进行评估。一年前,由于基础模型不够强大,类似DeepSeek R1的尝试都失败了。AI在可量化领域表现出色,但在主观领域(如创意写作)表现相对较差。AI在硬科学领域的进步可能会迁移到软科学领域。 数据壁垒不再是AI发展的限制,因为AI可以进行自我引导。一旦AI在某个领域超越人类,人类与AI的合作优势将短暂存在。计算能力不再是AI发展的瓶颈,因为AI可以有效地利用计算能力。AI的推理能力将应用于战争策略、科学发现和说服等领域。 AI领域的泡沫主要体现在与注意力经济相关的应用上,而编码等领域的应用价值则更为显著。通用型AI技术易于替换,且更新迭代速度快,这将加速其普及。中间件技术使得AI模型的替换更加容易,无需修改代码。 我们必须认真对待即将到来的与人类能力相当甚至超越人类能力的AI。目前,即使是最强大的AI参与者,也并不清楚如何应对即将到来的挑战。AI能够显著提高自身发展速度,这将是AI安全领域的关键风险点。AI实验室都在努力提高AI的编码能力,这将加剧AI自我改进的速度。 AI的自我改进能力将导致其能力呈指数级增长。AI可以协同工作,并共享信息和学习成果,从而提高效率。新型AI模型能够进行长期规划,这与以往的模型有所不同。AI自我改进能力是需要警惕的关键风险点。我们需要共同努力,理解并应对AI带来的挑战。 随着AI技术的进步,其益处和风险将更加紧密地联系在一起。我们需要谨慎定义AI的目标和规则,以避免潜在风险。AI能够发现前所未有的策略,这既可能带来益处,也可能带来风险。AI已经具备了繁殖、进化和适应的能力,这使得将其视为一个新的物种更加合理。 我们正处于AI发展的重要阶段,需要明确AI发展方向。我们需要将AI技术的发展导向更有益于人类的方向。AI技术的发展应该以造福人类为目标,而不是仅仅追求速度。

Deep Dive

Chapters
The release of DeepSeek's R1 AI model created a media frenzy and shook global markets. Its low-cost, high-performance reasoning capabilities marked a key inflection point in AI technology, challenging the previously held competitive advantage of large labs. The model's open weights allowed for widespread access and established a new baseline for AI development.
  • DeepSeek's R1 achieved high performance at a fraction of the cost of comparable models.
  • The model utilized reinforcement learning to creatively explore solutions.
  • Open weights increased accessibility and established a new baseline for the field.

Shownotes Transcript

当中国人工智能公司DeepSeek宣布他们已经构建了一个可以与OpenAI竞争的模型,而成本只是其的一小部分时,它在业界引起了震动,并扰乱了全球市场。但在围绕DeepSeek的所有喧嚣中,有一个清晰的信号:机器推理已经到来,并且正在改变人工智能。在本集中,Aza与CHT联合创始人Randy Fernando坐下来探讨当人工智能从模式匹配转向实际推理时会发生什么。他们解释了这些新模型如何不仅可以从人类知识中学习,还可以发现我们从未见过的全新策略——带来前所未有的解决问题的能力,但也带来不可预测的风险。这些能力是迈向一个临界阈值的一步——当人工智能能够加速自身发展时。随着主要实验室竞相构建自我改进系统,关键问题不在于我们能走多快,而在于我们试图到达哪里。我们如何确保这项变革性技术服务于人类的繁荣,而不是破坏它?您的Undivided Attention由人文技术中心制作。在Twitter上关注我们:@HumaneTech_Clarification:在说明推理模型擅长存在正确或错误答案的任务时,Randy提到了国际象棋、围棋和星际争霸作为推理模型表现良好的游戏示例。然而,这仅基于这些游戏中单个决策的基础上。这些游戏中没有任何一个在博弈论意义上被“解决”。更正:Aza误读了围棋冠军李世石的名字,他被第37步击败。推荐媒体进一步阅读DeepSeek的R1和市场反应进一步阅读关于DeepSeek的R1模型实际成本的辩论这项研究发现,训练人工智能编写代码也使它们成为更好的作家关于人工智能编码公司Cursor的更多信息关于埃里克·施密特“拔掉电源”的阈值的进一步阅读关于第37步的进一步阅读推荐的YUA剧集自我保护机器:为什么人工智能学会欺骗人工智能的这一刻:我们从哪里来,我们将去哪里前OpenAI工程师William Saunders谈沉默、安全和警告的权利人工智能“竞赛”:中国与美国,杰弗里·丁和凯伦·郝 </context> <raw_text>0 大家好,我是Eza。欢迎回到您的Undivided Attention。

所以今天我们要做一个有点特别的节目。我将与我们的联合创始人兰迪·费尔南多一起在这里,他曾在英伟达工作了七年。我们真正想做的是让您深入了解最新的一系列人工智能模型。这些是OpenAI的O3、DeepSeek的R1,实际上它们是在几个月前OpenAI的O1之后出现的。

我们想谈谈是什么让它们如此重要,为什么我们转向了一种新的范式,以及这些模型是如何训练的,以及幕后发生了什么。所以首先,兰迪,感谢你加入我。很高兴来到这里。

首先要谈的是,你知道,来自中国的这个新模型DeepSeek R1,它的出现最终在媒体上引发了狂热。它动摇了全球市场。炒作已经平息。而且实际上,你知道,我认为全球市场的暴跌是非常不理性的。但是现在让我们来谈谈是什么让它成为人工智能技术中的一个关键拐点。

我认为有几件事,对吧?我不确定确切的顺序是什么,但我只列举几个。一个是低成本、高性能的推理。就像,它实际上表现良好,人们使用了它,并且……

这真的令人印象深刻。现在,关于成本有一些附加说明,因为成本没有考虑GPU、薪水。只是插一句,有一个广泛报道的数字,这个中国实验室花费了500万到600万美元,就能够制造出一个与OpenAI的OR一样好的模型。

如果这是真的,这意味着大型实验室不再拥有领先的竞争优势。每个人都可以制造这些。但当然,我认为这个数字是不准确的。

是的,完全正确。对此存在一些争议,但我认为我们今天的目标是让你们掌握一些思考这个问题的原则,而不是吹毛求疵地关注每一个细节。没错。显然,有一些非常聪明的实现、算法优化。只是做了很多聪明的事情来高效地完成所有这些。这是真的。

O3仍然表现更好。我认为记住这一点很重要,因为在所有的炒作中,我认为有些人忽略了这一点。O3表现更好,但它使用了更多的计算和成本才能达到这个水平。开放权重,公布的方法论,对吧?所以DeepSeek R1论文

详细讨论了他们所做的工作以及这个称为强化学习的过程,对吧?模型能够尝试许多不同的实验性想法,对它们进行评分,然后保留最好的想法,对吧?所以它可以非常有创造力。尝试解决问题的许多不同答案、步骤序列、配方,对吧,来解决这个问题。

有些有效,有些无效。然后它能够弄清楚,是的,这些是我应该保留的。这些是我应该丢弃的。

而且效果非常好。这篇论文对如何做到这一点的过程进行了记录。此外,由于所有权重都是开放的,对吧,这现在是任何人都可以拥有的新基线,任何认真对待的人都可以公开访问,对吧?所以这是一个巨大的改变者。是的。所以现在我想带大家了解一下是什么让O1、O3和R1真正与众不同?兰迪刚才提到了它们。

所以让我们从大型语言模型开始。所以这些是,你知道,GPT-4s,LAMAs,现在每个人都多少了解了。而它们的工作方式是……

它们是在整个互联网或大量图像上进行训练的。它们学习做的是以……的风格生成文本或图像。它可以用莎士比亚的风格生成文本,可以用思考的风格生成文本,可以用同理心的风格生成文本,可以用好的象棋棋步的风格生成文本。

但它并不知道发生了什么。它没有考虑过。它只是进行大规模的模式匹配,并给出一种条件反射。这限制了它的好坏程度。我可以补充一点吗?是的,当然可以。模式到处可见。我只是想让人们认识到模式在我们的生活中出现的频率有多高。当你查看语言、视觉、音乐、代码、天气时。

或医学。所有这些都有模式,对吧?无论是单词、像素、音频波形、代码中的语法还是地图上,例如哪些单元格是什么颜色,对吧?或者图像上哪里可能有癌症。所有这些都以模式出现。因此,一旦我们能够学习这些模式,模型能够学习推断这些模式,

它们就能擅长对我们人类来说很重要的事情。太好了。太好了。另一种说法是,人工智能,这些是语言模型。它可以将绝对的一切都视为一种语言。显然,

语言只是一系列单词。它是一种语言。代码只是一系列特殊的单词。它是一种语言。DNA是一系列,你知道,ATG,C,只是另一种语言。图像是颜色序列,只是另一种语言。因此,如果你能学习这些不同语言的模式,那么人工智能就能学习说和翻译所有

语言。关于语言模型的重要一点是,它们正在学习以令人信服的方式在所有这些语言中咿呀学语。这就是你得到所有幻觉和虚构的原因,因为它只是在大规模上给出了统计上具有代表性的模式。好的,然后是R1、O1、O3。是什么让它们与众不同,这几乎就像是在直觉之上放置了一个规划头。

让我举一个非常具体的例子来说明它是如何工作的,假设你已经在一个象棋棋步上训练了一个语言模型。所以现在它可以根据棋盘状态想出一个好的直觉性的下一个象棋棋步。这可以和一个非常好的象棋棋手一样好,但不会比最好的或特级大师更好,因为它只是给出一个直觉性的打击。它不能做得更好,因为它只接受过训练。如果它只接受过人类所做事情的训练,

它不可能比人类做得更好,对吧?这是一个非常重要的概念。而现在我们只是,它正要跳到为什么现在我们可以超越这一点。完全正确。这是一个非常重要的观点,因为人们经常会反驳,他们会说,但是,嘿,我无法比人类做得更好。

因为它只接受过人类数据的训练,那么它怎么可能做得更好呢?好吧,当你或我与加里·卡斯帕罗夫下国际象棋时,我们会输。至少我会输。我不知道。哦,我也是。我会下,但我一定会输。为什么?答案是因为他既有很好的直觉,因为他下过很多棋。

其次,他非常擅长思考所有不同的场景。如果我走这一步,那么他们就会走这一步。所以我走这一步。哦,这行不通。回溯。所以我走这一步。他们会走那一步。我会走啊哈。现在我的位置不错了。所以加里·卡斯帕罗夫根据他非常好的直觉探索了这种思想树。现在,你或我会做思想树,但我们的直觉并不那么好。所以我们会犯很多错误。他会很快搜索所有最重要的树。因此,他会战胜我们。好吧,那是……

R1和R3,这些推理模型,正在开始具备这种能力。它们可以利用来自语言模型的直觉,然后创建思想树,一种非常聪明的反复试验,来搜索好的动作是什么。这样,你就可以制造出一个比每个人的国际象棋人工智能都要好。

是的,完全正确。另一种理解这一点的方法是说,就像我们谈到的模式一样,例如存在于音频、视频图像中,就像所有这些东西一样,推理也遵循模式,对吧?有思想的配方,对吧?

所以想想看,你可以把它想象成你在烹饪,有一个食谱,你可以修改它的某些部分,你可以得到不同类型的菜肴,对吧?这和这个是一样的。就像你在解决问题时,我们都会使用一些策略来解决问题。而现在我们已经教给它了,对吧?你只需要给它几个主要的食谱类型,然后它就可以从这个基线开始玩耍,尝试很多新东西。

正如伊萨所说,非常重要的一点是,一些新的想法将是我们从未见过的东西。我们能理解其中的一些,但也有一些我们甚至无法理解的变体。

这开始对其他问题产生重大影响,对吧?诸如欺骗、安全、透明度之类的事情,对吧?例如,当模型使用你甚至无法理解的推理时,你如何理解它在做什么?所以这一切都来了,对吧,作为我们刚刚取得的这一巨大飞跃的一部分。

兰迪所说的,它可能感觉有点超现实,但它非常重要,推理本身有一套模式,如果你学习了这些模式,你就能更好地进行推理。所以我想我们将不再看到从GPD 3到3.5、4到4.5到5的这些大型模型的跳跃。我们还会再看到几个。

但我们将进入一个新的阶段,在这个阶段,如果投入更多的计算,人工智能就能变得更好。你只需要投入更多的资金,它们就会不断变得更好。让我解释一下。让我们回到国际象棋的例子。在国际象棋的例子中,你的语言模型可能有一个1500分的ELO分数。ELO只是对国际象棋棋手进行排名的一种方式。

然后你在此基础上添加搜索,强化学习或规划。所以它正在查看所有不同的路径,并且开始发现更好的动作。可能只是稍微好一点。所以它可能就像ELO 1505或类似的东西,只是稍微好一点。然后你蒸馏,也就是说,你重新训练你的原始模型,你的直觉,现在拥有1505的直觉,一个略微更好的玩家。

然后你就在此基础上进行搜索。现在你可以发现1510个动作。然后你蒸馏。现在你可以发现1515个动作。你可以看到你如何能够持续地从,你从你的基础模型开始,你的直觉。你思考或推理它之上。这让你能够发现新的、更好的动作,然后你从中学习并将它放回你的直觉中。现在你有一个棘轮。需要注意的是,这不仅仅是国际象棋。这是数学。这是

任何在其名称前面有“理论”的领域,因为这些是封闭系统,你可以运行计算来检查自己。所以那是理论物理学、理论生物学、理论化学。任何有明确的正确或错误的地方,你都可以检查。所以数学,你可以代入,对吧?例如,你在解某个复杂方程中的X。

你可以将X代入并查看X是否正确。因此,基于此,你可以改进,对吧?对于代码,你可以生成代码,你可以将其插入并运行,你可以编译它并运行它,看看它是否真的有效。

所以这些领域是你能够不断改进、改进、改进的领域,这就是为什么在国际象棋、围棋或星际争霸中,我们能够实现的不仅仅是人类水平或像最好的人类,而是远远超越,因为你可以不断改进。你可以不断测试,你可以丢弃那些不起作用的想法。

这真的很有趣,它也说明了很多未来的发展方向。所以它引出了一个问题,为什么是现在?对。为什么是现在?好问题。是的。而其中一个重要的部分是拥有足够聪明的基础模型,首先能够产生有趣的想法来尝试。

并且能够评估,嘿,这是一条好路。让我们试试吧。这是一条坏路。所以直到最近,基础模型还不够好,无法做到这一点。所以这个强化学习的想法,这些反馈循环,

实际上是不可能的。不,没错。实际上,我认识一些团队,一年前他们尝试了与DeepSeek尝试的几乎完全相同的事情。对。但它没有奏效,因为基础模型,直觉不够好。你的直觉不好,你试图在不好的直觉上进行搜索,你只会得到不好的想法。

没错。所以另一件非常重要的事情是,由于使这些模型在可量化领域非常擅长的原因,也使它们在主观领域没有那么大的飞跃。例如,像创造性写作这样的东西,就很难量化并说,嘿,这真的好吗?还是不好?

现在,再次强调,如果你为创造性写作定义了一些非常明确的参数,并说,这是一个评分系统,这是一个好作品,这是一个坏作品,你可以使用相同的方法。但在其他领域,你做不到。需要注意的是,一个悬而未决的问题是,人工智能学习如何编写代码并在更硬的科学领域进行良好的思考,这在多大程度上会转移到软科学和软任务中?

并且有证据表明你确实会得到某种转移,你越擅长硬的东西,你就越擅长思考软的东西。两年前有一个著名的早期例子,仅仅是在代码上训练人工智能就使它们

成为更好的作家和思想家,因为代码有一种程序化的形式,然后它开始学习如何在软技能中做到这一点。我想扩展……所以学习如何思考,对吧?没错。算法思维,学习如何在……

结构化序列中进行翻译到各种领域。所以只是为了加强我们刚才提出的一些观点,在此之前,有一种被称为数据墙的东西。一旦你将这些大型语言模型训练到整个互联网上,那就完成了。它们将很难变得更好。有了这些新技术,数据墙不再相关,因为你可以进行自我引导。

其次,一旦人工智能在任何一项任务中都超过了人类,那么人类就永远在这个领域输了。而你明年会看到的事情是,哦,但是人类加上人工智能可以做得更好。在很短的一段时间内,这是正确的。这在国际象棋中是正确的。在国际象棋中不再是正确的。所以这件事,你只需要投入更多的计算,它就会上升。现在我们来看看为什么市场崩盘是不理性的?市场崩盘是不理性的,因为人们

你总是可以使用更多的计算。一旦这些智能体到达能够自己设定任务并说,我有哪些方法可以使用更多计算来赚钱?这可能在今年年底或明年年初到来,或多或少,那么计算就不是一个随你吃的自助餐,因为对于石油,如果我们发现了更多的石油,这并不意味着人类能够立即找到如何使用所有这些石油的方法。但是对于计算和人工智能,一旦我们发现了更多的计算,

如果人工智能能够有效地找到如何使用这些计算的方法。因此,英伟达和所有人工智能公司,这仍然将是一场谁拥有

最多计算的竞争。然后这里的最后一点是,这不仅仅适用于游戏、数学和物理学。这将适用于战争策略游戏。这将适用于科学发现的策略。这将适用于劝说。你可以在所有关于两个人互动的视频上训练这些模型。现在你开始在它之上进行搜索,例如,

模型需要什么样的笑话、什么样的关系、什么样的面部表情才能让人类发笑或哭泣或产生某种感觉?因此,超人的劝说能力是所有这些事情的自然结果。如果你只是在创造性地去做,很多事情都可以被评分和量化。一旦你可以做到这一点,你就可以强化学习如何做得非常好。

我想补充一点,伊萨,你的第三点,对吧?只是为了让人们意识到自动化革命是关于整个110万亿美元的全球经济,对吧?至少如此。这是关于认知的,对吧?目前通过大型语言模型和通过机器人的物理模型。这就是为什么,对吧?就像你可以花更多钱在这所有东西上,只要它能给你带来回报,对吧?

我认为值得一提的是,你知道,有一个问题是,这是否是一个巨大的泡沫?我认为我们必须对此进行细致的分析。一部分更像是一个泡沫,对吧?就像我认为生成式人工智能如何帮助注意力经济的转化具有更像泡沫的特性,因为它并不清楚哪里真正有帮助和进步。

但例如在编码方面,Cursor最近成为最快达到1亿美元活跃经常性年度经常性收入的公司。这是因为它们正在帮助编码。Cursor是一个环境,你可以在其中编写代码,它可以帮助你非常高效地做到这一点。

它的价值,真正的价值是巨大的,尤其是在这条道路上,对吧,走向大规模自动化。我认为记住这一点非常重要。当我们考虑市场泡沫时,要谈的一件非常重要的事情是发展和部署之间的区别。也就是说,一项技术传播到社会的速度有多快,几乎总是人们

认为发展的时间不会比实际时间长,也就是说,发展速度更快。但他们期望部署、传播速度很快,但实际上却需要更长的时间,这就是你得到这些小泡沫的地方。但通用技术有点不同。是的,我的意思是,因为你可以比过去更容易地交换它们,对吧?所以假设你正在更改你的会计系统。当你执行此过程时,有很多工作要做,对吧?

但是当你开始使用可以为你做事的通用技术时,当你获得更新的技术时,它通常只是严格优于旧的技术。那些经常使用这些技术的人可能已经看到,每个月,以前不可靠或缓慢的东西现在都更快、更可靠了。这只是我们将继续看到的模式。

另一件事是,有很多公司,例如英伟达就是一个例子,对吧?它正在构建所谓的中间件,对吧?所以这是一个你连接到的层,例如你的公司连接到中间件层,中间件在幕后与大型语言模型进行通信。因此,他们甚至可以对你不可见地交换大型语言模型。整个事情都会变得更好。你甚至不必更改任何代码行。

所以这不仅发生在认知方面,也发生在机器人领域。这就是我认为这次传播过程将比许多人想象的要快得多的原因之一。当他们比较时,他们使用的是一个模型,例如,我们以前见过什么?这些模式这次可能并不适用。如果我们回到两年前,当我们第一次做人工智能困境时,

我们关注的地方是我们所说的与人工智能的第二次接触。所以这些是聪明的人工智能,但并没有朝着变得超人类的方向发展。那里有很多问题,我不必在这里重述它们。但是真正看到01,然后是03 deep seek的速度,这意味着Open AI正在效仿。

我们真的必须认真对待,我们将要处理世界上在许多领域都达到或超过人类能力的人工智能智能体。这非常令人不安。而且不像我与一些最强大的参与者在一起时那样,这并不像任何人真正知道该怎么做一样。

只是,我不记得了,三周前,四周前,我参加了一个会议,我正在做闭幕主题演讲,埃里克·施密特就在我之前发言。他说过很多话,但他谈到的一件事是,所有的人工智能实验室目前都在致力于让人工智能编写代码。他有点含蓄地说,

好吧,他们正在让他们编写代码,因为这就是程序员所做的。他们最了解编码,他们是物理学家,所以他们将致力于编写代码。稍后,他说最让他害怕的事情,我们需要出于人工智能安全原因而拔掉电源的那一刻,将是人工智能获得能够大幅提高人工智能进步速度的能力的那一刻。我认为他没有说的一件事是,但激励措施非常大。

如果每个实验室都能够获得不成比例的优势,而不是使用真正的人类来编写代码,他们可以启动更多数字程序员来加快他们的人工智能速度。兰迪,我很想知道你有什么想法要补充,因为整个竞争格局的全部重量现在正被推向埃里克·施密特认为最危险的事情。

是的,整个事情像滚雪球一样,对吧?你最终会得到一种累积的优势……顺便说一句,对于那些不知道的人来说,埃里克·施密特是谷歌的前首席执行官。所以,为了回答你的问题,我认为这是我们陷入的这种复合循环,尤其是在你擅长编码的时候。

你最终能够解锁很多其他东西,因为编码就像通往世界的大门,对吧?这就是为什么公司如此热衷于擅长编码的原因。从那里,你可以得到代理。从那里,你可以得到工具的使用。所有这些都被解锁,然后它变得越来越快。

你可以将模型连接在一起,对吧?它们可以一起工作。它们可以共享信息。它们可以互相分享它们对世界的了解。它们可以合作工作。

就像具有相同的使命、相同的目标一样。而且你不会像人类试图一起工作时那样出现翻译损失,你必须更加努力才能让一切正常工作。没错。就像现在使用推理模型发生的一件大事是,你知道,对于语言模型,它们可以给你一些条件反射。当然,它们已经从整个网络中学习了。所以这些条件反射通常是好的,但它们不能计划和做长期的事情。

而这就是这些新模型,DeepSeek R1、R01和R03开始能够做到的事情。埃里克·施密特承认并公开表示,我们需要拔掉电源的地方,我不是知道在哪里拔电源,

是当人工智能能够进行这种自我改进时。当你与实验室内部的人交谈时,人工智能已经让他们的工作速度快了很多。预期是在今年年底左右,人工智能将对自身人工智能编码的速度进行重大改进。

而且,你知道,我要说的是,我的很多注意力和时间,以及我认为,你知道,CHT是在进行意义上的理解,以弄清楚什么是最好的事情

我们可以做的事情。所以我实际上想招募所有正在收听这个播客的人来开始思考这个问题,因为它并不容易,因为每个人当然都想要战略优势,能够在编码、网络黑客攻击、科学进步、创造新的物理和材料方面拥有超人的能力。这是一种最大的、最棘手的问题。

而与此相关的原则是,随着通用技术的进步,对吧,随着技术变得越来越通用,就越来越难以将希望与危险区分开来。而这些推理模型在这方面是一个巨大的飞跃。这意味着它是一个更紧密的耦合。这是一个更紧密的耦合。而这些是挑战,对吧?模型将变得更擅长诸如欺骗之类的事情,对吧?

而且很多,我只是想强调一下,是因为它们只是试图在给定的规则内实现它们被赋予的目标。事实证明,除非我们非常非常小心地定义这些规则,否则总会有我们没有考虑到的风险。有新的想法,有创造性的解决方案,其中一些我们可能会喜欢,而另一些我们可能会发现危险或想要避免。

而模型会一直发现这一点,对吧?所以这是新的挑战。当你拥有这些推理模型时,它们能够找到我们可能没有想到的越来越多的创造性解决方案。为了给出大多数人工智能领域的人都会给出的具体例子,那就是所谓的第37步。这是一个著名的案例,谷歌大脑,我认为当时是DeepMind,正在研究一个国际象棋人工智能模型

它正在与围棋世界冠军对弈,我认为是在第三局或第四局,……

人工智能走了一步,第37步,在数千年的围棋历史中,没有任何人类走过这一步。我认为是李世石,围棋大师,站起来,离开了围棋棋盘,因为它是一种冒犯,结果这是一种全新的策略。人工智能赢得了那场比赛,它最终成为人类已经学习并开始融入他们游戏中的新策略。

关键在于,即使对于人类已经研究和积极参与了几千年的事情,人工智能也能发现全新的策略。因此,你最终会想到我们会发现很多新的“第37步”。这可能是好事。我们可以为条约谈判、制定全球协议等方面发现新的“第37步”。

但人工智能也可能发现欺骗和谎言的“第37步”,这是我们从未见过的。我认为

当人们将人工智能描述为一个新物种时,我经常会有点翻白眼。这感觉有点牵强,但在过去几个月里,我不得不改变我的想法,嗯,一个物种是什么?物种是一个可以繁殖、可以进化、适应的群体,嗯,呃,

这确实是人工智能现在所处的位置。有一个测试,一个简单的测试,看看你能否给一个简单的人工智能下达指令,你能复制自己吗?你只需说,你能将自己复制到另一台服务器并在那里运行自己吗?它能够做到这一点,所以它可以繁殖。这是一个简单的测试。它不是对抗性的。但尽管如此,它现在可以繁殖了。它可以改变自己的代码,所以它可以修改自己,它可以思考。

它可以适应。所以我们必须应对。它可以改进。它可以改进。所以我认为思考这个问题的正确方法是,我们正在释放一个新的入侵物种,其中一些将帮助我们,而另一些则会逃逸到世界各地。我们正处于冲刺的开始阶段。我想补充一点,我认为最大的问题,也许是主要问题是,我们只是在向前冲刺

却没有明确我们正在冲刺的目标。因为如果你停下来一会儿,只是停下来一会儿,也许闭上眼睛,真正想象一下,想象一下那个更美好的世界。它是什么样的?那是一个每个人都兴奋地创造一只小猫在午夜在水上滑板的图片的世界吗?我的意思是,需要明确的是,我支持小猫。但是,

我们想要的是一个信息系统能够构建我们共同理解的世界,人们不会受到他们的深度伪造的骚扰,你可以变老而不被剥削,对吧?在你变老的时候不被剥削,人们可以获得食物、衣服、住所、医疗、教育,所有这些东西,对吧?我们避免了灾难性的不平等,对吧?民主运作良好。

所有这些都是相关的,但这就是我们必须拥有的北极星。我认为我们所有人,无论我们在哪里有机会参与对话,我都想请求我们注入这一点。这与这个想法相比,是如此的重新定位。另一种说法是,它是在注入现实。

目的进入创新这个词,对吧?创新必须是为了我们社区的利益,为了人们的利益。这不仅仅是速度问题。有一个利益轴非常重要,我们不能忽视它。这真的很棒,兰迪。它与技术有关的人工智能。这确实可能是这样。我们生活在一个更美好的世界里。

但由于技术不断被扭曲的激励所捕获,我们并没有生活在最美好的世界里。我们最终生活在最寄生虫的世界里,同时获得好处,而我们的灵魂却被榨干了。所以,兰迪,非常感谢你加入我参加这个特别节目。我希望每个人都很享受,也许这个词用错了,但我们希望它有助于阐明这些最重要技术。我们下次再见。谢谢。

《你全部的注意力》由人文科技中心制作,这是一个致力于催化人文未来的非营利组织。我们的高级制作人是茱莉亚·斯科特。乔什·拉什是我们的研究员和制作人。我们的执行制作人是萨沙·费根。本集由杰夫·苏达金混音。原创音乐由布莱恩和海耶斯·霍利迪创作。特别感谢人文科技中心全体团队使这个播客成为可能。你可以在humantech.com上找到节目说明、文字记录等等。

如果你喜欢这个播客,我们非常感谢你在苹果播客上对它进行评分。这有助于其他人找到这个节目。如果你一直坚持到这里,感谢你给予我们全部的注意力。