AGI is Almost Here! What comes next? What's left to do? How do we adapt and prepare?
26:47 Share

在推出新产品时，找到合适的盈利模式与产品本身一样重要。这就是 Stripe 打造 Stripe Billing 的原因。Stripe Billing 是一款先进的计费软件，可以帮助任何企业发展壮大。从基于席位的订阅到基于用量的计费，以及介于两者之间的所有定价模式，Stripe Billing 都能帮助您以自己的方式快速发展业务。了解 Stripe Billing 如何帮助您的企业，请访问 stripe.com/billing。加密货币完美吗？

不。但 1972 年发明电子邮件时，它也不完美。然而，如今我们每天发送 3470 亿封电子邮件。加密货币也是如此。它很新。但与电子邮件一样，它也具有革命性。使用 Kraken，您可以轻松开始您的加密货币之旅，并在需要时获得全天候支持。访问 kraken.com，了解加密货币的潜力。非投资建议。加密货币交易存在亏损风险。加密货币服务由 Payward Ventures Inc.（PBI DBA Kraken）向美国及其领土内的客户提供。访问 PBI 的披露信息，请访问 kraken.com/legal/disclosures。

本期节目由 Allstate 赞助播出。有些人只是知道，通过首先检查 Allstate，他们可以节省数百美元的汽车保险费用。就像你知道要先查看大型比赛的日期一样，

在你意外地在你结婚 20 周年纪念日买票，并不得不在接下来的 20 年婚姻生活中弥补它之前。是的，先检查很明智。因此，请先检查 Allstate，获取可能为您节省数百美元的报价。您在 Allstate 保护无虞。节省金额因人而异。适用条款。Allstate 火灾和意外保险公司及其关联公司。伊利诺伊州诺斯布鲁克。

随着 01 预览版的发布，我们距离通用人工智能已经只有一步之遥了。然而，这里有很多细微之处需要解释。因此，让我们更深入地探讨一下，更仔细地看看我们在人工智能方面取得了哪些进展，以及接下来会发生什么。所以，Strawberry，01 预览版。

这非常接近 AGI。我说这话的原因是，在 Twitter、Reddit 等平台上有很多关于此的讨论。尽管基准测试结果已经非常出色，但 O1 的实际学术、科学和经济影响力在许多能力方面都与人类不相上下，甚至超过了人类。

例如，Reddit 上有一个故事说，有人说，Strawberry 或 O1 预览版能够在一个小时内完成我的整个论文，而我花了整整一年时间。这非常重要。现在，如果您看过我之前关于 Strawberry 有多聪明的视频，您就会了解情况。但 TLDR 版本是，人们将 O1 预览版的有用性与一名优秀的研究生相提并论。

这甚至还不是完整版。正如许多人指出的那样，完整版模型 01 将于 10 月发布，随后是 Orion，Sam Altman 暗示它将在圣诞节前后发布。因此，Orion 项目可能是 GPT-Next，也可能是 GPT-5。我们并不完全确定，但据我们所知，它是下一代模型。所以，话虽如此，它的智商大约是 120。

尽管推理在某些情况下仍然会失败，但我还是要指出，很多人认为它并不那么出色，它仍然在一些非常基本的事情上失败了。但与此同时，一个好的用户能够从这个“挤压”中获得很多好处（双关语）。所以，继续前进。

人们所说的其中一件事是，它不是 AGI，因为它没有实体。它需要实体数据才能成为 AGI。我完全不同意这一点。让我告诉你为什么。首先，所有数据都是数据。

来自你大脑内外、你身体内外的数据对你来说只是数据，就像你的大脑不在乎你是否模拟它，你知道，砍掉你的头，移除你的眼睛和耳朵。你可以假设地模拟所有进出你大脑的数据。你的大脑是一个思考引擎，漂浮在一个小罐子里。

现在，我要指出的另一件事是，从 AI 的角度来看，所有这些都只是数据。此外，大多数 AGI 最有价值的任务，例如科学建模或软件开发，并不需要物理存在。

你只需要一个 API 来访问你正在控制的任何资源。所以，无论你是否将其视为数据 API，就像你可以操纵一台机器一样。这就是我的想法，如果你有一个机器人，如果它足够好，你可以直接从数据中心操纵它。你不需要实体。

然后，我真正关注的主要指标是，这是否构成 AGI，即经济影响和科学影响。因此，我认为实体是必需的，就我个人而言，我认为这在目前只是一个障眼法。话虽如此，我要说的是，为了实现我们想要的所有经济收益，我们仍然需要机器人。

实体数据并非绝对必要，但为了自动化例如建筑任务，我们需要足够好的机器人。现在，它或多或少只是一个装在罐子里的天才，这实际上并非坏事。它没有被广泛部署，而且，AGI 就在这里，或者即将到来。

这意味着我们仍然有很多时间来解决安全问题。这是一件让我对人工智能安全运动，至少是对那些更强硬的人感到困惑的事情，仅仅因为你拥有 AGI，并不意味着这个巨大的模型能够将自己复制到数据中心之外。这也并不意味着它会欺骗开发它的人说，“顺便说一句，我准备好了。”他们正在疯狂地进行红队测试。无论如何，让我们从安全讨论中继续前进，

很难找到数字，所以我四处搜索了一下，根据工作的分类方式，这真的很困难。

这就是我想说的。我正在研究有多少工作是久坐的？有多少工作是你完全在电脑前完成的？好吧，如果你看看这一点，那么只有 13% 的工作是所谓的完全久坐的。另外 24% 的工作需要轻微的体力劳动。但是，如果你看看，好吧，有多少工作实际上是白领或办公室工作？那么在这种情况下，高达 65% 的工作是办公室工作。

所以，这就像，这是一个很大的差距。所以

长话短说，即使我们还没有机器人，但它们并没有落后太多，那么很快就会有 13% 到 65% 的工作面临自动化的风险，所以继续前进，我们需要看到具有与人类相同灵巧性的机器人，才能让人类完全脱离劳动力市场，我个人认为这是不可避免的，也是一件好事，人们可能会不同意

我称之为后劳动经济学。无论如何，继续前进。如果您在这个频道待了一段时间，您就会熟悉我的后劳动经济学概念。接下来是法定摩擦。你可能会说，好吧，太好了。我们有 AGI 了。我们将如何推出它？有很多事情会减缓它的速度，即繁文缛节。

无论是监管障碍，因为许多公司都会说，我不知道我们是否被允许这样做。我们稍后会更多地讨论企业采用情况。但也有很多工作根本没有设计好。它们并没有考虑到要由机器来完成。人们认为人类会做大部分工作。因此，需要时间来创造围绕如何使用 AGI 完成工作的新的范例。

你现在可能会说，“戴夫，这听起来很明显。只需给它一个 API 和一个机器人身体即可。”是的，但不会那么简单，因为需要到位的大量基础设施。需要更新许多业务流程等等。此外，我怀疑工会会对所有这些发表意见，并且会竭尽全力阻止 AI 和机器人的推出。

甚至到了蓄意破坏的程度，例如监管破坏。我不记得那个人的名字了，但有人刚刚从欧盟退休或辞职，他一直负责欧盟周围许多反 AI 立法。因此，我们应该警惕那些试图在各个层面破坏 AI 和机器人推出的人，不仅在公司内部，不仅在安全运动中，而且在各处。

在政府高层也是如此，因为每个人都在情绪化地反应。这并不是说每个人都需要保持冷静并使用纯粹的逻辑。所有人类都是有情绪的。但我的意思是，这种新卢德运动会试图减缓事情的进展，他们会尽可能地向齿轮里扔鞋子。而这正是我们必须面对的事情。

好了，我想稍作休息，告诉你们我的新时代探路者社区。这是我的新社区，旨在帮助我们驾驭这一转变。标语很简单。克服 AI 的困扰，解锁新的机会，创造有意义和目标的生活。

随着形势的变化，我们将需要驾驭向第四次工业革命的转变。所以我们有这个很棒的社区，有很多的人。我们正在进行 PBL 项目。所以基本上人们正在参与我的 Raspberry 项目，这是一个 Strawberry 的开源版本。

然后我们还有，我这里有一堆课程作业。这基本上是我在适应我的生活和职业生涯方面所学到的所有知识的结构化学习。最后，我们还有定期的网络研讨会。

这些是问答环节。这些是练习环节。最近，我们一直在练习沟通技巧。所以上周我们做了我所谓的发现二元组，这是一种特殊的沟通模式。我们练习了它。仅仅几分钟的练习，我们就让那些从未彼此交谈过的人自信地彼此交谈。本周我们将进行循环或相关性冥想。下周我们将进行鸡尾酒会式的沟通。好的。

好了，跨越鸿沟。在这里我们将讨论企业采用情况。所以企业采用将是……

一个更大的障碍。我说它将是一个更大的障碍的原因有几个。首先，企业以其风险规避而闻名。在许多企业工作过之后，人们对采用任何非可信供应商提供的程序、平台或应用程序都非常犹豫。因此，在 AGI 由微软或甲骨文直接提供之前，

大多数企业都不会采用它。他们不会采用 OpenAI 的 AGI 产品，因为他们会想，好吧，我们花了数年时间来集成它，然后 OpenAI 就被并入微软，所有 API 都发生了变化。我们只会坐等。

加密货币完美吗？不。但 1972 年发明电子邮件时，它也不完美。然而，如今我们每天发送 3470 亿封电子邮件。加密货币也是如此。它很新。但与电子邮件一样，它也具有革命性。使用 Kraken，您可以轻松开始您的加密货币之旅，并在需要时获得全天候支持。访问 kraken.com，了解加密货币的潜力。非投资建议。加密货币交易存在亏损风险。加密货币服务由 Payward Ventures Inc.（PBI DBA Kraken）向美国及其领土内的客户提供。访问 PBI 的披露信息，请访问 kraken.com/legal/disclosures。

如果你不相信我，这正是企业的思维方式。许多首席执行官在接受调查时，只有 13% 到 25% 的首席执行官对人工智能充满热情。他们中的大多数人仍然处于观望状态，我会在看到它时才相信它。这样做的原因是由于大型科技公司的傲慢自大。

硅谷在所有企业中都以其自视过高，以及不断夸大其词和未能兑现承诺而闻名。这种夸大其词和未能兑现承诺是许多企业之所以会说，“你知道吗，我们只会等到看到经济上的证据。”的原因。

我们将等到看到我们的竞争对手开始推出这些产品。我们将等到数据显示我们必须采用这项技术，或者他们的股东要求他们采用这项技术。所有这些都会导致企业层面的采用曲线缓慢，这再次为您提供了更多时间来处理安全和其他方面的问题，我们现在将讨论这些问题。

当我……让我提供一些背景信息。上周我参加了一个非常小的当地人工智能安全会议，我们讨论的事情之一是如何看待在这个不断变化的环境中的人工智能安全？

在旧的方式中，当我提到旧的方式时，我的意思是像 Eliezer Yukowsky 的方式，他们对这种模糊的克苏鲁式 ASI 有一天会到来，并且它会有一系列特征的设想。顺便说一句，这些都没有实现。

相反，人工智能的到来方式是分散的，这意味着它存在于许多地方的许多数据中心中。还有一种迭代的开发方法，在这里，我将同意 Sam Altman 的观点而不是 Ilya Sutskever 的观点，Sam Altman 在 2023 年夏天，我们认为事情就是这样发生的，他说，

基本上，Sam Altman 和 Ilya 正在争论你是否应该快速部署并推出，看看人们如何使用它，然后进行调整。Ilya 说，不，我们需要在真空中进行更多安全测试。在这种情况下，我同意 Sam 的观点，因为你首先发布一个低等级的产品，

这就是他们发布 ChatGPT 的原因。他们说，让我们把它发布出去，看看人们如何使用它，看看人们如何滥用它。这样我们就可以开始从市场和监管机构那里获得一些反馈，以便指导安全工作。正如 Sam Altman 在几次采访中所说，他们无法设想人们使用和滥用 ChatGPT 的所有方式。

因此，我同意，将产品尽快推向市场比迟早要好。当然，你需要进行一些安全测试，但多年来将其锁在封闭的门后并不是进行安全测试的方法。因此，从现在开始，将有五个主要反馈回路来指导安全工作。

当我们制造更多机器人，达到 AGI，然后最终达到 ASI 时。这些安全反馈回路是：一、市场反馈。因此，市场反馈只是谁决定购买什么，以及公众舆论怎么说？例如，你可能还记得几个月前 Gemini 推出时，它

超级觉醒，就像它拒绝谈论的事情一样。然后是谷歌的失误，就像它会直接拒绝生成白人一样。嗯，他们很快就得到了很多市场反馈，而谷歌在……方面仍然没有恢复。在……方面，在公众舆论方面，企业反馈，正如我刚才所说，企业对新技术非常谨慎。

因此，企业的要求，例如，如果你想让高盛采用 AGI，猜猜看？它必须是可以证明的。它必须是透明的、可解释的。就像有很多要求一样。而这正是企业想要看到的，除了进行金融交易的监管要求之外。

因此，企业对 OpenAI、微软和谷歌的反馈，当然，微软和谷歌已经是企业软件了，因此他们知道为了被采用而需要经历的生命周期。

接下来是军事反馈。军队对……有非常严格的要求，你知道，当我按下关闭开关时，关闭开关最好能工作。它必须可靠。它必须……它必须内置故障保护等等。因此，如果 OpenAI 想要获得军事合同，猜猜看？

它必须是可解释的，它必须是可解释的，并且在你告诉它停止时，它必须是可靠的。接下来是政府反馈。因此，政府反馈有两个部分。首先是监管，我们已经在讨论了。但是，如果你想向政府出售 AGI，你必须再次成为经批准的供应商，并且你必须证明这项技术是好的。现在，美国政府并不以快速采用技术而闻名。所以……

所有这些反馈回路都会减缓 AGI 被广泛部署的速度，当然，这些反馈回路也会影响安全运动以及这些产品的商业可行性。所以继续前进。

开源永远不会落后于大型公司太多，只有一个例外，我要说的是，规模可能是从现在开始最大的护城河。如果从现在开始训练模型需要 1 亿美元或 10 亿美元，

然后谁知道需要多少百万美元、数亿美元来进行微调研究。完全有可能只有大型参与者才能做到这一点。但是，我要说的是，在观看了一些与各种人的采访和播客后，有限的资源往往会迫使你更有创造力。

例如，我的 Raspberry 项目，我们将尝试尽可能接近 Strawberry，但预算有限。

所以我们用这个发现了什么，谁知道呢？但是，你知道，往往是限制迫使你更有创造力。例如，我们看到了苏联的情况，因为苏联的资源远少于美国。所以他们基本上……苏联科学家不得不通过纸张来解决很多问题，而我们有超级计算机来进行模拟。猜猜看？这迫使他们更有创造力。他们做得很好。同样，中国的超级计算机数量也少于美国。

但同样，有志者事竟成。因此，我怀疑开源只会比旗舰模型落后 6 到 12 个月，但前提是我们可能不会拥有规模。虽然时间会证明一切。

现在，更令人兴奋的是，下一代模型即将到来。01，我们现在拥有的只是预览版。完整版模型 01 将于 10 月发布，至少有传言说如此。然后 Sam Altman 暗示 Orion 项目将在圣诞节发布。所以我们将连续采取几个步骤。记住，01 比……有了很大的飞跃

当前模型到 O1 预览版与从 O1 预览版到 O1 的飞跃大致相同，至少如果基准测试结果可信的话。当然，时间会证明它在经济上和科学上有多么有价值。但如果 O1 预览版已经在许多任务上超过了大多数人类，那么可以肯定的是，这种趋势将会持续下去。那么这意味着什么？

我的意思是，如果不在 2025 年，那么我不会对每个人在事后都同意我们在 2024 年底就拥有了完整的 AGI 而感到惊讶。当然，你知道，2027 年是很多人都在关注的数字。但它就像，好吧，如果我们再有两年这样的时间，那会是什么样子？那几乎肯定会是人工超级智能，对吧？谁知道呢？时间会证明一切。

现在，我注意到 OpenAI 的行为方式让我联想到了芯片行业。因此，芯片行业有他们所谓的 TikTok 模型。芯片行业的 TikTok 模型是，首先你改变微架构，然后你缩小芯片尺寸，然后你重复这个过程。所以每次你听到像，哦，我们从 8 纳米到 6 纳米一样。

这就是微架构的变化，或者可能是芯片尺寸的缩小。我不知道。我不是芯片设计专家。无论如何，他们遵循 TikTok 模型。我注意到 OpenAI 也做了同样的事情。首先，他们扩展模型，然后对其进行优化。这就是我们从 GPT-4 或 chat GPT 到……时所看到的情况。然后我们添加了 4.0 和 4.0 mini，它们是优化版本。

所以现在我们有了新的旗舰模型，即 O1 系列或 O 系列。所以我想这意味着 Orion。这就是传闻。所以现在我们有了 Orion 系列模型，但它们更大，更慢，更昂贵。所以现在我们需要优化它们以降低成本。因此，我怀疑 OpenAI 从现在开始将遵循这种模式，即扩展和优化。然后，一旦你尽可能地优化它，你就再次扩展，再次优化。

同样，这是芯片行业中一个非常成熟的范例。他们几十年来一直在这样做，基本上从英特尔成立以来就是这样。因此，我预计在未来 6 到 24 个月内，这一代新的 Strawberry 模型的价格将持续下降。我们可能会在这些优化中失去一些智能，因为对于这些类型的模型，

基本上，效率总是以牺牲智能为代价的。但是一旦它变得更便宜，正如 Sam Altman 经常说的那样，智能太便宜了，无法计量。好吧，每月 1000 美元或 2000 美元，这绝对不是太便宜了，无法计量。所以他们还需要在优化阶段做一些工作。

现在，在我们结束时，我想谈谈人类例外论。正如我一直在讨论这个问题一样，我一直在阅读这里、Substack 和 Twitter 上的评论，我看到了四种主要的论点，这些论点说，啊，这实际上并不是 AGI，或者这实际上并不是人工的。你知道，它实际上并不比人类聪明。因此，其中一个论点是它并不真正理解。

我说这是无关紧要的。输出是准确且可衡量的，输出在经济上和科学上也是有价值的。因此，这些才是真正重要的结果。它是否“真正理解”它在做什么，我的意思是，我也是同一个认为大多数人并不真正理解任何事物的人。你的大脑只是给你一个信号，告诉你“我理解这个！”但是如果你阅读互联网上的评论，大多数人都是自信地错误的，包括我自己有时也是如此。

所以人类不……没有真正理解这样的事情。这是一个障眼法。这是一个“没有真正的苏格兰人”的论点。接下来是没有真正的经验。他们说，啊，好吧，它没有主观经验，意识、感知或现象体验与它的有用性无关。扳手没有经验，但它对你仍然有用。水轮或……我正在录制这个的电脑，这些都不需要