Why AGI is a Useless Term for Businesses
12:20 Share

今天在AI每日简报中，我们将探讨为什么AGI对企业来说是一个无用的术语。AI每日简报是一个关于AI最重要新闻和讨论的每日播客和视频。要加入讨论，请关注我们节目说明中的Discord链接。

大家好，欢迎回到另一期深度阅读节目。今天，我们将讨论一个我经常思考的话题。事实上，在我们帮助企业弄清楚Superintelligent的代理商时，它一直在我们与企业的对话中潜伏着。幸运的是，本周人工智能工程师Dave Pittman写了一篇文章，让我们有机会讨论这个主题。Dave的文章名为《逃逸速度：我们为什么不需要AGI》。他的问题是，当改进的轨迹如此之快以至于我们不在乎AGI时会发生什么？

这篇阅读内容不是AI，而是我本人。Dave写道：“……AGI的预期好处之一是，它将导致智力的超人类加速，这将解锁各个领域的发现和进步。基本的论点是，如果一个AGI与人类一样聪明，但思考速度快得多，它将能够以前所未有的速度找到问题的解决方案。试图弄清楚如何使聚变工作，一群博士的大脑只能想出新的想法并推理它们的速度如此之快，通常需要数月或数年。”

有了AGI，速度限制理论上是我们赋予它的计算能力。与人类不同，AGI可以全天候工作，而且我们假设，它可以以快一千倍的速度提出新的想法并进行测试。突然之间，我们面临的许多人类规模的挑战似乎是可以解决的，因为我们拥有零成本的智能。尝试组合蛋白质用于新的癌症疗法？只需询问几个数据中心即可。

测试许多减少混凝土制造过程中碳排放的方法？完成了。为全球互联网设计超高效天线？周五启动任务，周一回来就是承诺。只有一个问题。目前还不清楚我们何时才能获得AGI本身以及输入成本如此低廉的AGI——一项任务的新数据、计算能量、芯片等——只是一个舍入误差。然而……

事实证明，我们不需要AGI或普遍廉价的AGI。我们正处于实现一种新型人工智能改进的边缘，我称之为自我维持的逃逸速度或SEV。一旦你达到了逃逸速度，拥有AGI就变得无关紧要了。如果我们首先讨论一些其他的想法来帮助我们思考，那么理解SEV将是最容易的。第一个是初创企业的经典教训。总是雇佣比你最后雇佣的人更聪明的人。

通过遵循这条规则，随着公司规模的增长，它实际上变得更有能力。人们常常认为这非常困难，因为存在彼得原理，或者说，你怎么才能知道别人比你聪明呢？然而，这种假设是基于了解某人如何比你聪明，而不是仅仅确定某人比你聪明。第二种情况，确定智力，要容易得多。最基本的层面是，给某人一个你未能解决的挑战，如果他们解决了，他们就更聪明。这里的关键教训是，为了SEV的目的，我们应该关注评估而不是理解AI性能。

我们的第二个思维框架是将改进基础模型及其缩放定律视为遭受夏洛夫斯基火箭方程的困扰，也称为火箭方程的暴政。火箭方程指出，试图发射越来越大的火箭效率越来越低。这是因为更大的火箭需要更多的燃料，这导致火箭重量增加，反过来这意味着你需要更多的燃料来发射你现在的更重的火箭。然而，一旦你达到逃逸速度，平衡就会倾向于你的火箭，它不再有坠毁的风险。

目前，基础模型提供商正在努力解决类似的问题，即更强大的模型需要更多的数据。由于他们开始依赖其他AI模型生成的合成数据，构建更大的模型也变得更加困难。因为需要一个更大的合成数据模型来生成更复杂的数据，这反过来又需要……你可以看到这是怎么回事。当人们谈论复合智能的好处以及AGI取得的突破时，他们主要指的是AGI已经达到智力逃逸速度的概念，模型完成的所有推理都会改进其答案或解决方案。

因此，基础模型正在自身的重量下崩溃，我们不知道如何知道它们是否正在改进。AI公司该怎么办？我认为我们应该采取一种新的策略，即自我维持的逃逸速度或SEV。SEV的承诺是，只需不断投入一些基本资源，计算机内存，并将你的AI安排在一个反馈循环中以生成结果，在其之上构建。

一旦你拥有一个可以产生更好AI的AI，你唯一的限制就是你能够多快地为火箭发动机加油。SEV的核心是一个无人干预的反馈循环。每次创建一个新的AI模型时，都会使用更复杂的基准对其进行评估，该基准是先前AI模型的结果，基线，将问题空间缩减为它无法解决的问题。

新模型是替换旧模型的候选者。如果候选模型证明它确实比旧模型更聪明，它就成为基线模型。然后，使用这种新的改进的基线模型以批评对抗的方式挑战我们的合成数据生成模型，以产生更高质量的合成数据生成模型。现在，我们的基线模型和我们的合成生成模型都已升级，因此我们可以重复此过程而无需人工干预。如果我们的过程确实是自我维持的，那么它唯一需要的外部输入是更多的计算能力、时间和内存来改进自身。在一个

如果我们的自我改进速度足够快，那么我们的模型改进过程将达到逃逸速度，改进不仅是线性的或累加的，而是呈指数级复合的。将其与我们当前的缩放定律进行比较，如果我们看到基础模型已经越过了临界点，并且在其资源输入方面获得了次线性收益，那么它们将摇摇欲坠并有效地坠落回地球。

今天的节目由Super Intelligent赞助，更具体地说，是Super的代理商准备情况审核。如果你听了一段时间，你可能已经听我说过这个了。但基本上，代理商准备情况审核的想法是，这是一个我们创建的系统，可以帮助你对组织中代理商可能看到的机遇进行基准测试和规划

具体帮助你解决问题，创造新的机会，再次，这完全是为你量身定制的。当你进行其中一项审核时，你将进行一次基于语音的代理商访谈，我们将与你的一些领导和员工合作，以规划组织内部正在发生的事情，并找出你在代理商旅程中的位置。

这将产生一个代理商准备情况评分，其中包含一组深入的解释、优势、劣势、关键发现，当然还有一组非常具体的建议，然后我们可以帮助你找到合适的合作伙伴来实际履行这些建议。因此，如果你正在寻找一种启动你的代理商战略的方法，请发送电子邮件至[email protected]，让我们把你连接到代理时代。

今天的节目由Vanta赞助。信任不仅仅是赢得的，它是被要求的。

无论你是正在进行第一次审核的初创公司创始人，还是正在扩展你的GRC计划的老牌安全专业人员，证明你对安全的承诺从未像现在这样重要或复杂。这就是Vanta的用武之地。企业使用Vanta通过自动化合规需求来建立信任，这些需求涵盖35多个框架，例如SOC 2和ISO 27001。集中的安全工作流程可以将问卷调查完成速度提高5倍，并主动管理供应商风险。

Vanta可以通过将你与审计员和专家联系起来，帮助你启动或扩展你的安全计划，以便快速进行审计并建立你的安全计划。此外，由于平台中使用了自动化和AI，Vanta可以为你节省时间，以便你可以专注于发展你的公司。加入超过9000家全球公司，例如Atlassian、Quora和Factory，他们使用Vanta实时管理风险并证明安全性。

在有限的时间内，这个观众可以获得Vanta的1000美元折扣，网址为vanta.com/NLW。这是V-A-N-T-A dot com/NLW，可享受1000美元的折扣。

破解如何为这种自我维持的反馈循环提供动力的代码的初创公司或科技巨头将体验到字面意义上的失控成功，这仅受其资源的限制。我认为这个自我维持的循环需要三个基本部分。一个可靠的强化学习策略和环境来指导AI进行评估。二、生成合成数据，重点是质量而不是数量。三、一个高度优化的反馈循环，以克服系统中的阻力，从而防止达到逃逸速度。那么，为什么SEV意味着我们不必关心AGI呢？

有了AGI，我们正在构建一个万能的锤子，它在所有方面都可能很棒。然而，我还没有遇到过很多（如果有的话）用例，有人真正想要AGI。相反，他们通常需要一个更专业的AI，其性能足够好，感觉比房间里最聪明的人还要聪明。追求AGI是一种通过煮沸海洋来实现的方法。

另一方面，SEV是一种更有针对性的方法，它专注于建立一个可以在有限领域中自我批准AI的系统。该领域必须有利于传递改进，这意味着我们可以假设对我们AI的改进可以相互叠加。具有良好传递属性的领域的一个例子是总结法律合同。当代行为艺术之类的领域则不是。然而，根据我的经验，企业关心解决的大多数问题都在传递领域。现有的神经网络模型本身就适合在传递领域表现良好，

并且最近在推理模型的测试时计算方面的成功是支持传递领域的另一个胜利。作为一名寻找所有这些混乱中可预测性的AI首席执行官或首席技术官，SEV是一种非常有吸引力的方法。在你的AI改进中建立稳定的轨迹非常困难，这反过来意味着几乎不可能预测几个月后，更不用说一年后或下一轮融资的时间范围了。有了SEV，我们将这种混乱变成了更可预测的轨迹，这种轨迹更多地基于资源，而不是工程汗水和AI研究人员的人才。

好消息是，SEV的许多部分已经存在。我们正在看到在使RL稳定且易于使用方面取得巨大飞跃。同样，在合成数据生成方面，我们已经达到了足够大的模型来克服早期的缺点。虽然还没有得到广泛认可，但DeepSeq的AI优化是我们未来几年将看到的雪崩式基础设施改进的开始。所以就是这样。SEV为我们提供了一条捷径，让我们可以从AGI中获得我们想要的东西，而无需构建AGI本身。这篇文章阐述了SEV的策略，但在实施SEV的策略方面仍然存在许多悬而未决的问题。

我不会惊讶地看到许多变体出现，这些变体利用特定领域的技巧。正如一位早期读者所说，达到SEV可能归结为谁能找到解决方案空间中最有影响的问题，其中AI的质量相对容易衡量。好了，这就是Dave对这场论述的贡献。当然，他从构建者的角度来看待这个问题，并思考如何将模型设定在持续改进的轨迹上。

其中隐含的是对我们对未来这个模糊点的过度关注的批评，我们称之为AGI，而AGI本身仍然定义不明确。再次，从技术的角度来看，Dave说我们不需要AGI，因为我们可以获得持续改进，而无需以任何方式担心这个术语。但我从不同的角度来看待这个问题。当你从商业角度考虑这个问题时，

我们为什么不需要AGI的原因更简单。对AGI的关注是对未来某个时间点的关注，在这个时间点上，AI将比我们现在拥有的AI好得多。

但现在的AI已经很出色了。现在很大一部分知识工作可以像人类一样由AI完成。目前几乎所有知识工作都会比人类更好，至少使用AI是这样。从最近的一些时刻（例如Manus代理）可以清楚地看出，我们仍然低估了我们现在甚至拥有的模型的能力。当谈到AI影响业务时，限制因素目前不是关于能力。

而是关于系统、新流程、集成、部署、新的运营结构方式和新的思维方式。事实上，我认为现在，能力的增长速度快于企业整合能力的速度。

现在，我不想贬低这种宏伟的乌托邦式AGI理念的可能性和潜力，这种理念确实可以解决我们现在无法解决的世界上大量问题。我根本不是在试图争论这不会以更有效和更复杂的营销方式无法实现的方式带来令人难以置信的转变。

但是，我想说的是，对于大多数企业和以某种方式部署AI来改善其工作的人的实际生活现实而言，我们现在所拥有的已经是对未来的惊人飞跃。仅仅为了赶上我们现在面临的能力而需要做的工作是巨大的。纠结于术语肯定会让你落后。因此，我认为目前，企业可以相当安全地将AGI讨论留给研究人员和未来的社会设计师，

并专注于触手可及的力量。无论如何，Dave Pittman写了一篇很棒的文章。再次感谢你写这篇文章。这就是今天的AI每日简报。一如既往地感谢您的收听或观看。直到下次，再见。