AWS CEO Matt Garman Talks AI Roadmap
15:25 Share

亚马逊网络服务公司首席执行官Matt Garman表示，亚马逊的各个方面都在利用人工智能。Garman在彭博社的“彭博科技”节目中与Ed Ludlow讨论了亚马逊的人工智能路线图，并回顾了他担任这一职务的第一年。请访问omnystudio.com/listener了解隐私信息。</context> <raw_text>0 这是一个iHeart播客。Thrivent可以帮助您为所爱的人、事业和社区规划财务。Thrivent与众不同之处是什么？金融服务和慷慨计划相结合，帮助您为未来制定财务路线图，同时创造回馈的机会。访问Thrivent.com了解更多信息。Thrivent，让金钱更有意义。彭博音频工作室。播客、广播、新闻。♪

欢迎全球各地的彭博社广播和电视观众。我们现在就来谈谈与AWS首席执行官Matt Garman的对话。Matt，很高兴再次见到你。你担任AWS首席执行官已经差不多一年了。首先，在这段时间里，AWS取得的最大成就是什么？

是的，感谢邀请我。很高兴再次来到这里。是的，这是一年充满创新的一年。这真的令人难以置信。当我环顾四周时，我最兴奋的事情之一就是我们的客户创新和采用我们许多新技术的速度有多快。

当你考虑那些正在进行云迁移之旅的客户时，他们中的许多人已经在过去几年里这样做了。但今年，我们确实看到了人工智能技术、代理技术的爆炸式增长，而且我们越来越看到越来越多的客户将其整个资产转移到云端和AWS。所以看到这一切真的很有趣。这是一个令人难以置信的技术发展速度，这是一个非常有趣的第一年。

当亚马逊表示其人工智能业务的销售额已达到数十亿美元的运行速度时，投资者才开始关注。我们不太了解的是，其中有多少比例是AWS的基础设施？

是的，那是AWS，对吧？关键在于，这混合了客户运行自己的模型。其中一些是在Amazon Bedrock上，这是我们自己的托管模型，我们拥有第一方模型，如Amazon Nova，以及许多第三方模型，如Anthropix模型。其中一些是应用程序，例如Amazon Q，它可以帮助人们进行自动化的软件开发。

以及许多其他功能。所以这是一个混合体。我认为，达到数十亿美元运行速度最有趣的事情之一是，我们正处于人工智能将彻底改变每个客户的最早期阶段。我们与客户交谈，并观察技术领域的发展方向

我们坚信，每个企业、每个行业，以及实际上每份工作都将被人工智能从根本上改变。我认为我们开始看到早期阶段的开始。但同样，我认为这仅仅是未来可能性的最早期阶段。因此，我们今天拥有的数十亿美元的业务仅仅是一个开始。你能给我一个生成式人工智能的收入数字吗？

是全球的还是AWS的？对你们来说，对AWS来说。也许是整个亚马逊。是的，就像我说的，我们有数十亿美元的收入，这是客户使用AWS的收入。我们还在亚马逊内部广泛使用生成式人工智能来处理各种事情。我们使用它

来优化我们的配送中心。当您访问零售网站时，我们会使用它来总结评论或帮助客户更快、更有趣地找到产品。我们在Alexa中使用人工智能，在我们新的Alexa Plus产品中，我们通过Alexa界面与客户进行对话，并帮助他们通过语音完成以前无法完成的事情。因此，亚马逊所做的一切的每一个方面都利用了人工智能。

人工智能和我们的客户完全一样。客户正在寻求AWS来彻底改变，无论是通过Amazon Connect之类的产品来改变他们的联络中心（它显示了人工智能功能，因此您无需对其进行编程），还是一直到我们的定制芯片或NVIDIA处理器或任何客户在底层构建自己的模型的地方。我们拥有各种在AWS之上构建人工智能的人，以及亚马逊本身。

我们总是认为AWS是第一大超大规模云提供商。但正如你刚才所说，从客户在硅片级别使用的内容到容量，如果你能按比例告诉我有多少工作负载用于训练，有多少工作负载用于推理，那就太好了。当然。

是的，这会随着时间而变化。我认为，随着时间的推移，越来越多的AI工作负载将是推理。我认为，在人工智能的早期阶段，在生成式人工智能中，大量的使用是由训练主导的，因为人们正在构建这些非常大的模型，而使用量却很少。现在，模型越来越大。

但使用量正在以惊人的速度增长。因此，我希望随着时间的推移，80%、90%、绝大多数的使用都将用于推理。实际上，对于所有那些人来说，推理实际上是人工智能如何嵌入每个人使用的应用程序中。因此，当我们考虑我们的客户构建时，只有少数人会构建这些模型。

但每个人都会将推理作为他们所做一切的核心构建块。每个应用程序都将包含推理，并且已经开始看到推理被构建到每个应用程序中。我们认为它只是新的构建块。它就像计算一样，就像存储一样，就像数据库一样。推理是一个核心构建块。因此，当你与正在构建新应用程序的人交谈时，

他们不会认为人工智能在这里，而我的应用程序在那里。他们真的认为人工智能是嵌入体验中的。因此，我认为人们越来越难以说出你的收入的哪一部分将由人工智能驱动。它只是你正在构建的应用程序的一部分。它将成为该体验的核心部分。它将为各种应用程序和行业带来效率、功能和用户体验方面的诸多好处。

但现在，可以公平地说，大部分仍然是训练吗？不，我认为目前推理的使用比训练多。我们要欢迎我们全球的广播和电视观众。我们正在与AWS首席执行官Matt Garman交谈，他下周正式庆祝担任AWS领导者一周年。一个新的指标……

在本季度财报季尤其被讨论过，本周我们也与英伟达首席执行官黄仁勋讨论过，那就是令牌增长和令牌化。AWS在这方面是否有指标可以分享？我

我没有关于这方面的任何指标可以分享，但我认为我们可以关注的一个指标是正在提供的令牌数量，但这并不是唯一的指标。我越来越认为人们会以不同的方式看待这些事情。当你考虑文本生成时，令牌是一个特别有趣的指标，但并非所有事物都是平等的。我认为，特别是当你考虑人工智能推理模型时，输入和输出令牌并不一定……

谈论正在进行的工作。而且你越来越看到可以长时间工作然后才输出令牌的模型。因此，你拥有这些有时可以思考数小时的模型，对吧？你可能会要求这些东西代表你进行研究。它们可以访问互联网，可以提取信息，可以综合信息，可以重做事情。如果你考虑编码和QDeveloper，

我们看到很多编码，它实际上会进行推理并进行迭代和迭代，并改进自身，查看它所做的工作，然后最终输出最终结果。因此，在某些时候，最终的输出令牌并不是衡量工作量多少的最佳指标。如果你考虑图像，如果你考虑视频，有很多内容正在创建。

并且有很多想法正在进行。因此，令牌是其中一个方面，这是一个有趣的指标，但我认为它不是唯一的指标，尽管它们正在迅速增加。

Rainier项目，大型定制服务器设计项目。Rainier项目的运营状况和最新进展如何？是的，我们对此非常兴奋。Rainier项目是我们与Anthropic合作伙伴之间的一项合作，旨在构建他们将用于训练下一代云模型的最大计算集群。

Anthropic拥有当今最好的模型。Cloud 4刚刚发布，我认为是上周。它已经从我们的客户群中获得了令人难以置信的采用。

Anthropic将在Tranium 2（亚马逊定制的加速器处理器，专为AI工作负载而设计）之上训练其模型的下一个版本。我们正在构建有史以来发布的最大集群之一。这是一个巨大的集群，比他们训练的最后一个集群（也是世界上领先的模型）大五倍以上。所以我们对此超级兴奋。

我们现在正在部署Tranium 2服务器，它们已经在运行，Anthropic已经在使用该集群的一部分。所以我们对此超级兴奋，并且我们从Tranium 2中看到的性能持续令人印象深刻，我认为它确实推动了从绝对性能基础到成本性能和规模基础上可能实现的一切的界限。我认为随着我们在这一领域的发展，其中一些同样会非常重要。

因为今天，你得到的很多反馈是人工智能仍然太贵了。成本正在大幅下降，但它仍然太贵了。因此，我们认为需要做一些事情。硅片级别的创新是需要帮助降低成本的事情之一。

以及软件端和算法端的创新，这样你就可以减少每个推理或训练单元的计算量。所有这些对于降低成本以使其越来越有可能在所有我们认为它最终会使用的地方使用ADI都非常重要。

Matt，周三，英伟达首席执行官黄仁勋为我总结了推理需求。我只是想给你播放一下这段录音。当然。好吧，我们现在有很多引擎在运转。当然，最大的是推理人工智能推理。需求简直是超乎寻常。你现在可以看到所有这些人工智能服务的普及程度。

你对Tranium 2的宣传，而且你知道，我已经对服务器设计进行了拆解并进行了研究，那就是相对于英伟达技术而言的效率和成本效率。除了与Anthropic的关系之外，你是否看到了Jensen概述的对Tranium 2的相同需求？

是的，你看，我们在许多不同的地方都看到了它，但这并不是Tranium 2与英伟达的竞争。我认为这不是考虑这个问题的正确方法。我认为有很多空间。这个领域的机会是巨大的。这不是一方对另一方的竞争。我们认为两者都有足够的空间。Jensen和我经常谈论这个问题，英伟达是一个令人难以置信的……

很棒的平台。他们已经构建了一个非常强大的平台，它非常有用，并且是许多应用程序的领先平台。因此，我们是他们令人难以置信的设计合作伙伴。我们确保每个人都能使用最新的英伟达技术。我们继续努力突破所有最新英伟达功能的可能性。我们认为还有空间

用于Tranium和其他技术，我们对此感到非常兴奋。因此，我们有许多领先的人工智能实验室对使用Tranium 2 并真正利用其优势感到非常兴奋。但长期以来，这些东西将一起存在。我认为有很多空间，客户想要选择。归根结底，客户不想被迫使用一个平台或另一个平台。他们喜欢有选择权，我们在AWS的工作是为客户提供尽可能多的选择。

NVIDIA GB200 for AWS 的普遍可用性是什么？而且，我想知道，你是否已经推出了Grace Blackwell 支持的实例？是的。是的。所以我们推出了我们称之为P6实例的实例。因此，这些实例现在可在AWS上使用。客户正在使用它们并喜欢它们。性能非常出色。因此，这些实例现在可用。我们今天正在继续提高容量。

我们与英伟达团队密切合作，积极提高容量，对这些P6实例的需求很强劲。但客户今天可以去测试这些实例。就像我说的，我们正在全球各地以及我们不同的地区以惊人的速度提高容量。Matt，你对Claude Anthropix模型在其他地方（例如Azure Foundry）可用持什么态度？

很好。我的意思是，这也可以。我认为我们的许多客户都在不同的地方提供他们的应用程序。我们了解不同的客户希望在不同的区域和不同的云中使用功能。我们的工作是使AWS成为，这就是我们所做的，使AWS成为运行每种类型工作负载的最佳场所。这包括anthropic云模型，

但也包括各种各样的东西。坦率地说，这就是为什么我们看到大型客户迁移到AWS的原因。以亿滋国际为例，他们已经全力以赴地使用AWS，并将一些工作负载迁移到那里。原因之一是他们认为我们拥有功能，顺便说一下，有时使用人工智能，以便真正帮助他们优化成本

并拥有最可用、最安全的平台。在亿滋国际的案例中，他们正在将许多旧的Windows平台转换为Linux应用程序，并节省所有这些许可成本。但我们有很多客户都在这样做，因此我们的工作是使AWS成为技术上最强大的平台

拥有最多和最广泛的服务的平台。这就是我们所做的。但我非常乐意让其他人使用，例如，Claude在其其他地方提供服务很棒。但我们看到绝大多数使用都发生在AWS中。今年我们会看到OpenAI模型出现在AWS上吗？好吧，就像，你知道的，我们鼓励所有合作伙伴能够在其他地方可用。我希望其他人也能采取同样的策略。

让我们以这个问题结束吧，实际上这是一个来自观众的问题，那就是你们将在全球各地扩展数据中心容量。我特别收到了来自拉丁美洲和欧洲的大量问题，Jensen下周将飞往那里。

很好。所以在拉丁美洲，我们正在继续积极地扩大我们的产能。实际上，今年早些时候，我们在墨西哥启动了一个区域，这受到了客户的热烈欢迎，我们还宣布了在智利建立一个新的区域。而且我们已经拥有，并且多年来一直拥有一个在巴西的区域，这个区域非常受欢迎，许多南美洲最大的金融机构都在那里运行。因此，在中美洲和南美洲，我们正在继续快速扩展我们的

在欧洲，我们也在扩张。我们在欧洲已经有很多地区了。实际上，我最兴奋的事情之一是，今年年底，我们将推出欧洲主权云，这是一种没有人拥有的独特功能，它完全专为关键的以欧盟为中心的国家工作负载而设计。我们认为

鉴于人们对数据主权的一些担忧，特别是对于政府工作负载以及受监管的工作负载。我们认为这将成为每个人的一个非常受欢迎的机会。

AWS首席执行官Matt Garman，非常感谢你。感谢你的邀请。Thrivent可以帮助您为所爱的人、事业和社区规划财务。Thrivent与众不同之处是什么？金融服务和慷慨计划相结合，帮助您为未来制定财务路线图，同时创造回馈的机会。访问Thrivent.com了解更多信息。Thrivent，让金钱更有意义。这是一个iHeart播客。