NVIDIA's Josh Parker on How AI and Accelerated Computing Drive Sustainability - Ep. 234
35:01 Share

从提高能源效率到帮助应对气候挑战，人工智能和加速计算正成为推动可持续发展的关键工具。在本期NVIDIA人工智能播客中，企业可持续发展高级总监Joshua Parker分享了他对这些技术如何为更可持续的未来做出贡献的看法。</context> <raw_text>0 您好，欢迎收听NVIDIA AI播客。我是您的主持人Noah Kravitz。生成式AI的出现已引起人们对AI工作原理的更多关注。

尤其是在能源消耗方面。人们对AI实际使用多少能源的兴趣和关注当然很重要。我们的地球面临着与能源相关的挑战，从电网基础设施需求到气候变化的影响。但AI和加速计算在帮助解决这些挑战以及与可持续性和能源效率相关的其他挑战方面发挥着重要作用。

今天加入我们讨论所有这些的是NVIDIA企业可持续发展高级总监Joshua Parker。Josh是一位经验丰富的可持续发展专业人士和工程师。在他担任现职之前，他领导西部数据公司的企业可持续发展职能，并负责亚太地区的道德和合规工作。在NVIDIA，Josh处于推动可持续实践和利用AI提高能源效率以及减少环境影响的最前沿。

Josh，欢迎您，非常感谢您抽出时间参加AI播客。谢谢，Noah。长期听众，第一次打电话。很高兴来到这里。喜欢它。我一直梦想着主持一个AM广播电话节目，所以你激励了我。我将广泛地向你开放，让我们开始吧。我在介绍中稍微提到了这一点，但计算会消耗能量。每个人都在谈论AI，显然，并且有充分的理由，

关注、审查、关注，好吧，AI使用多少能量？如果我们将来使用越来越多的AI，对我们地球上处理的所有这些与能源相关的事情的影响将会是什么？所以让我先问问你。它到底使用了多少能量？这是一个有根据的讨论吗？当涉及到能源和可持续性时，我们应该思考、讨论和努力改进哪些方面，而不仅仅是AI，还有加速计算以及其他相关的先进技术？这是一个合理的问题。作为长期从事可持续发展工作的人，这是我们经常谈论的话题，你知道，

气候、能源和排放，这些都是我们都在每个环境中思考的非常紧迫的重要话题。因此，当您看到像AI这样真正迅速进入人们视野的东西时，尤其是在如此迅速地发展的情况下，这是一个非常合理的问题，好的，这会对能源产生什么影响？这会对与该能源相关的排放产生什么影响？所以这是正确的问题。

然而，答案却相当复杂，因为首先，我们正处于快速、快速增长的时期。很难预测几年后我们在AI扩展方面会走到哪里。它将被用于何处？它将如何使用？

我们从中获得了什么好处？这方面也有很多细微之处，包括正在构建的硬件。这种加速计算平台本身正在以实际上支持可持续发展的方式快速、快速地发展。因此，在该加速计算平台中开发的能源效率提升确实非常显著。因此，如果您想描绘一幅非常准确的图景

尽可能准确地描绘我们将在AI能耗和相关排放方面的发展方向，您需要进行非常复杂细致的分析，以避免得出非常不准确且可能令人担忧的结论。

那么，让我们在一个半小时的播客中深入探讨一下这些细微之处。让我们谈谈其中一些细微之处。你提到了硬件。显然，GPU是其中很大一部分。加速计算如何实现可持续性？

加速计算是一种针对AI所需工作类型的非常量身定制的计算形式。现代AI所构建的加速计算平台采用以前按顺序在CPU上完成的数学运算，并基本上使用这些非常高效、非常专用构建的GPU来进行这些运算

因此，您可以进行更多操作，并且这些GPU经过优化，可以非常有效且高效地进行AI所需的矩阵数学运算。这就是推动性能大幅提升以及

以及AI效率大幅提升的原因。这实际上也是AI蓬勃发展的原因。传统的CPU范例，仅限CPU的范例，试图运行这种数学运算根本无法扩展。因此，我们确实需要GPU来解锁这种指数级的增长，实际上，在性能和效率方面。因此，如果您将仅限CPU的系统与

具有GPU和CPU混合的加速计算系统进行比较，我们将看到能源效率提高了大约20倍

仅限CPU和加速计算平台之间。因此，非常显著，并且这涵盖了各种工作负载。因此，效率得到了非常显著的提高。如果您只是查看加速计算本身随时间的推移，那么比较几年前的加速计算平台与我们今天拥有的平台，

效率的这种变化甚至更加显著。仅仅八年前，如果您将八年前的AI推理能源效率与今天的能源效率进行比较，那么对于AI的推理步骤（您实际上正在使用模型），我们的能源效率提高了45,000倍。很难理解这种数字，是45,000分之一。

八年前所需的能量就是我们今天使用的能量。因此，将这种类型的能源效率提升纳入您的模型中，以了解几年后我们将使用多少AI能量，这非常非常关键，因为它是一个巨大的变化。是的，这是一个巨大的数字。我不是在开玩笑，但我能想到的最好的提问方式是，现在的工作负载比八年前的能量密集度高45,000倍吗？或者说效率真的超过了所有这些对AI的新关注吗？这最终也是一个非常复杂的问题，因为您必须进入计算需要训练模型多少次与我可以使用推理重用模型多少次的领域。因此，大型模型，如Cloud 3.4

Chat GPT 4.0等等。它们的训练需要很长时间，但是当我们实际使用模型时进行的推理，如果它最终是耐用的，那么这个推理步骤非常非常高效。因此，因为我们仍然处于这个拐点，事情发展非常迅速，很难看出推理

计算需求与能源效率相比如何扩展。当然，它们正在扩展。我们继续看到越来越大的模型被使用和训练，因为公司在这样做时看到了巨大的好处。但是，是的，这使得它变得复杂的是，能源效率也在同时非常显著地上升。对。因此，就此而言，存在一种紧张关系

好吧，电网的稳定性和耐久性一直存在紧张关系，无论是在国家、地区还是地方层面，只要它们存在，但在过去五年、十年左右的时间里，肯定如此。但是自从……

AI进入公众视野以来，已经出现了新闻报道等等，关于……好吧，这个数据中心建在……无论在哪里，它对当地电网产生了巨大的影响，或者人们担心它可能会产生影响。

您能否谈谈一下围绕AI能耗的常见担忧，尤其是在对当地电网的影响方面，无论是在数据中心可能所在的地区，还是在人们担心AI正在影响当地能源状况的其他地方？

当您试图将此置于上下文中并弄清楚电网上的局部限制可能是什么时，首先要考虑的是，AI仍然只占整体能源消耗的一小部分。如果您首先从全球角度来看，然后我们将讨论局部问题，从全球角度来看，国际能源署，

估计所有数据中心（不仅仅是AI），所有数据中心约占全球能源消耗的2%。到目前为止，AI只占这2%的一小部分。因此，目前用于AI的能源消耗远小于1%

专注的数据中心。这绝对是在增长，我们预计它会增长，但最终，与我们正在关注的所有其他事物相比，这仍然只是一小部分。第二个需要考虑的是AI

是移动的，尤其是在您考虑AI训练时。因此，当您花费数月时间训练这些模型时，可能是非常大型的模型，您需要大量的计算能力。这种训练不必发生在互联网边缘附近。它不必发生在特定位置。因此，与传统数据中心相比，AI的工作方式具有更大的移动性

因为您可以在西伯利亚进行模型训练，如果这样做更有效率的话，或者在挪威或迪拜。无论您在哪里可以获得可靠的清洁能源，在那里进行训练都很容易。包括我们的一些合作伙伴在内的一些公司已经围绕这一理念建立了商业模式，将AI数据中心和加速计算数据中心

靠近有剩余能源和可再生能源的地方。回到您最初的问题，我们看到当地电网的限制和问题，我认为在大多数情况下，我们能够避免这种情况，因为这些问题。AI仍然相对较小，部署大型AI数据中心的公司

已经知道哪里有剩余能源，哪里可能存在限制。当然，他们正在尝试为AI数据中心寻找不会成为问题的位置，并且他们将能够获得清洁、可靠的能源。因此，悲观的观点是，或者听起来像是夸大了，如果数据中心只占全球能源使用量的2%，而AI专用数据中心只占1%，

围绕AI对电网影响的悲观故事的激增，这只是我们习惯的炒作周期中的阴暗面吗？这就是它与AI的结合方式吗？我不想说这些担忧是错位的。当然，如果您居住在一个社区，并且看到一个AI数据中心正在建设中，您可能会对这会对您的当地电网产生什么影响提出疑问。并且

我们之所以如此，是因为我们正处于AI非常非常快速且在某种程度上出乎意料的部署时期，因为两年前ChatGPT确实席卷了世界，并出乎意料。现在有一些动荡，当您拥有新技术时，您会期望出现这种情况，这是一场新的

技术革命，正在冲击世界，将会有一段时间资源分配不完美。但我们看到的是，我们已经正在度过这个阶段。部署大型AI数据中心的公司正在寻找可持续发展的方法，并且不会威胁到

当地电网，即使在短期内存在我们需要克服的一些限制。从长远来看，即使从中长期来看，我们对这些问题是可以解决的非常乐观。- 因此，为了看待AI的积极方面，与许多行业和人们试图在生活中各个领域解决的许多问题一样，

在优化电网和能源使用甚至可能试图解决我们所有人面临的一些气候挑战方面，AI可以提供帮助。您能否谈谈这一点，以及AI如何或可能已经对我们的能源状况产生了积极影响？当然。当然。

我将重点介绍两个说明可持续发展不同方面的例子。第一个是帮助我们适应和减轻气候变化的最坏影响。AI和加速计算通常是改变游戏规则的人，当涉及到天气和气候变化时。

建模和模拟。NVIDIA有一个名为Earth2的平台，我们与国家实验室、非政府组织和其他组织密切合作，开发我们可以更准确地预测天气、模拟天气以及

并帮助减轻近期天气最坏影响的系统，并从长远来看气候，以便我们更好地了解气候的发展方向，并能够更好地为此做好准备和规划。然后是难题的另一部分，即加速计算和AI，两者都具有直接减少能源和排放的实际应用。例如，我们……

转换了python中的pandas库，它是用于模拟和高性能计算的最常用的库之一，我们基本上已经采用该库，并编写了将为该库编写的代码转换为加速计算GPU平台的库，并且通过这样做，我们基本上为

世界各地的研究人员提供了一种方法，可以在该库中运行他们的模拟，而无需任何代码更改，速度提高了150倍，并且能源效率提高了很多倍，因此，这种应用本身最终将减少能源消耗，并减少相关的排放

对。不，听起来像是一个良性循环。因此，让我们深入探讨一下，熟悉NVIDIA的人，播客的长期听众，也许理解NVIDIA不仅仅是一家硬件公司。它是硬件，它是软件，它是堆栈中的所有工具和所有内容，对吧？

利用GPU在所有这些不同的系统中，加速计算，AI等等。您能否多谈谈，您之前提到过一些效率提升，但更多地谈谈AI训练和推理中的一些效率改进

以及NVIDIA在开发更高效模型方面所扮演的角色。您刚才提到了Earth 2，但NVIDIA在提高硬件、软件以及这些模型本身的整体效率方面的一些其他工作。当然。

如果您从推理开始，我喜欢分享的一个数据点是，仅仅一代改进，因此，如果您查看一代NVIDIA硬件，我们的Ampere平台，或者抱歉，我们的Hopper平台，这是我们目前批量交付的平台，并且您将其与之进行比较，

到我们将在未来几个月发布的Blackwell平台。我们将推出它们。Blackwell平台的AI推理能源效率是Hopper的25倍。因此，仅仅在一个变化中，一代NVIDIA硬件和软件，它使用的能量是1/25。这减少了96%的能源使用量。并且还伴随着性能提升。没错。

是的，显著的性能提升。是的，我低估了，但性能提升令人惊叹。但这令人难以置信。因此，在获得这些巨大的下一代性能提升的同时，效率提升了96%。

没错。您询问了我们是如何实现这一点的。这25倍的改进是通过在许多领域进行创新实现的。它包括诸如量化之类的技术，我们使用的是更低精度的数学运算，基本上是寻找在训练和推理中优化模型的方法，这些方法使我们能够更并行地、更有效地进行操作。

它包括诸如用水冷却我们的数据中心之类的技术，这样我们就可以使用更少的水和更少的能源来保持数据中心的凉爽。当然，它包括诸如

更好的GPU设计，以及我们同时使用的所有这些杠杆来推动这些能源效率的改进。我们预计这种情况会持续下去，因为我们关心能源效率，我们的客户也关心能源效率，这实际上有助于提高性能。当我们能够消除浪费并能够更有效地做事时，它增强了我们提高性能并使AI比以前更有价值的能力。

我们今天的嘉宾是Joshua Parker。Josh是NVIDIA企业可持续发展高级总监。我们一直在谈论

AI领域的能源和能源、气候变化、可持续性，所有这些极其重要的事情构成了我们在地球上生存能力的基础，以及这些事情如何受到所有这些技术快速进步的影响，显然也受到人们对AI的兴趣的推动，正如您所知，收听该节目，但在过去几年中，它的强度确实有所提高。

Josh，您刚才提到了客户。也许我们可以深入研究一些案例研究、客户示例、AI提高能源效率的实际应用。当然。

我喜欢谈论的一个例子是与我们的一家名为Wisdron的合作伙伴合作。这是一家总部位于台湾的电子公司。它拥有许多人们可能从未听说过的制造业务，但它是一家大型的、复杂的公司。他们采用了我们的Omniverse平台，这是一个3D建模平台，他们对

Omniverse中的一座建筑物进行建模。然后，他们使用AI对他们在我们的Omniverse平台上创建的数字孪生体运行仿真，并寻找提高能源效率的方法。在这样做之后，在使用该数字孪生体之后，应用AI运行一些仿真之后，他们能够将该设施的能源效率提高10%。

这仅仅是基于数字孪生体所产生的巨大变化。在这种情况下，每年可节省120,000千瓦时。太棒了。我经常听到一个我不太确定其含义的词，我对它有某种程度的理解，那就是“脱碳”。据我了解，NVIDIA参与了一些工作

优化工业脱碳流程。我认为您对此有所了解，我认为这与我们正在讨论的内容相关。因此，您能否也深入探讨一下？

脱碳是一个非常广泛的术语，因此有必要对它所包含的一切有细致的理解。但是，我认为最好的理解是，它描述了我们减少温室气体排放的努力，以及试图减轻我们正在看到的气候变化的努力。

它可以应用于许多事情，包括诸如碳捕获和储存之类的事情，我们实际上是从流程或大气中提取碳，并寻找储存它的方法。这实际上是一个我们正在开展一些良好工作以及与NVIDIA和壳牌公司合作的领域，例如，我们正在寻找利用AI来极大地增强

碳捕获和储存技术的方法。这是一个例子。另一个脱碳的例子，这直接关系到排放，是我们还与

与加利福尼亚州合作，我相信是在圣地亚哥地区，帮助那里的消防员使用AI监测可能导致野火的风险。在此过程中，我们能够扩大他们的响应能力，提高他们的消防工作的响应能力，不仅可以挽救生命和财产，还可以显著减少

与这些野火相关的排放。这是我们看到的另一个脱碳例子。然后我将给出的第三个例子是NVIDIA本身。我们正在努力通过将我们使用的能源从标准能源转换为可再生能源来使我们自己的运营脱碳。今年，我们将实现我们自身运营的100%可再生能源。因此，我很高兴能够过渡到那里。向听众快速说明一下，如果您有兴趣，我们之前做了一集关于在加利福尼亚州使用AI进行消防和抗击野火的节目。我想这应该是同一个组织。请原谅我，可能不是，但这绝对值得一听。这是一集很棒的节目。

Josh，您刚才提到了数据中心。我们谈到了成为一名公民并看到一个数据中心建成。当然，对这将如何影响事情提出疑问和担忧是件好事。数据中心本身的设计显然在它们运行效率的高低方面起着重要作用。您之前稍微提到了水冷作为一种有效的方法

或者说提高能源效率。您能否多谈谈数据中心，数据中心如何广泛地与可持续性相关，以及在这方面有所帮助的一些创新？是的。首先要再次提到的就是将数据中心置于上下文中，因为很容易认为数据中心对

可持续性影响很大。您可以看到它们，它们很大，您听说它们使用了所有这些能源、所有这些水等等。因此，这是一个合理的问题。但最终，同样，国际能源署估计，所有数据中心目前仅占全球能源消耗的2%。

因此，它远小于大多数其他部门。不是要打断你，但我显然在这个领域工作了一段时间了，但这个数字确实让我大吃一惊。我预计会比2%大一些。是的，这是有道理的，因为对此有很多关注。对。

AI现在非常热门。我们正在讨论它。我们看到了快速扩张。是的，因此，这是需要将其置于上下文中的一件事。但是，是的，数据中心设计的创新是我提到的我们都在追求以试图提高

能源效率的杠杆之一，并且当我们过渡到NVIDIA的这一代新产品时，对于Blackwell，我们的参考设计，我们对新v200芯片的数据中心的推荐设计都集中在直接芯片液冷上，这效率更高，确实解锁了

更好的能源效率，当然，也解锁了更好的性能，因为冷却效果更好。因此，我们能够以更优化的方式运行芯片，从而带来更好的性能以及更好的能源效率。只是为了描绘画面，抱歉再次打断你。当您谈论直接芯片冷却时，它在替代什么？它比什么更有效率？因此，这与气溶胶相比。

空气冷却，您有散热器，并且您正在使用气流，是的，直接芯片液冷，我们可以将液体更靠近硅片，并更有效地将热量从硅片中带走，而这之所以如此有效和对加速计算有帮助的原因之一是，计算密度非常高，如果您查看现代AI数据中心并看到机架

例如，在现代AI数据中心上，该机架中的计算能力与传统计算数据中心的多个机架、许多机架中的计算能力一样多。因此，计算密度非常高，因此投资于冷却更有意义，因为您为此相同的数据获得了更多计算能力。

您正在使用的单个直接芯片冷却元件。因此，显然，所有这些都在进行中，可以说，AI的进步并没有很快减缓。您正在谈论效率的提高和性能的提高以及所有这些从一代到一代的变化。正如您所说，这是世界利用AI的早期阶段，这么说吧。

因此，正如我们喜欢在播客中做的那样，当我们即将结束时，让我们谈谈未来。并且，你知道，不要让你当场做出水晶球预测，但AI和能源效率的一些未来方向是什么？并且

实际上，你知道，支持不断增长的能源需求，不仅仅来自AI和数据中心，正如你正确指出的那样，而是普遍如此。你知道，AI是如何被探索以满足全球未来的能源需求的吗？是的。

有很多方法，大多数方法尚未被发现和讨论，因为我们正处于如此早期的阶段，很难知道我们面前还有哪些机会。但一些例子，同样，例如，电网运营。

对电网的更新和升级，这将使更多可再生能源成为可能。因此，当越来越多的可再生能源上线时，这比传统能源更具周期性。如果您全天候燃烧煤炭，那将是稳定的能源流。如果您有风能或太阳能，它将更加多变。并且

还有像住宅太阳能之类的东西，您可能希望允许这些住宅太阳能电池板

将能源发送到电网，而不是从电网中提取房屋的能源。所有这些类型的事情都受益于现代化，以及以AI可以在帮助避免浪费和创造优化能源流的方式发挥重要作用的方式进行现代化。因此，这是我们看到取得进展的一个非常近期的领域。我们的一位合作伙伴，波特兰通用电力公司，正在使用AI

以及使用我们的一些产品来做到这一点，在周围安装智能电表，以帮助他们管理可再生能源的增长。现在确实是一个绝佳的机会，让我们做到这一点，参与电网现代化，因为我们有如此多的价值可以利用AI来解锁。我们有这些非常擅长开发基础设施的大公司，他们有动力帮助我们对电网进行现代化改造，

并以负责任的方式引入更多可再生能源。因此，现在是我们关注这一点的最佳时机。AI在药物研发（用于人类福祉）和材料研发（用于电动汽车电池）方面也具有其他极好的与可持续性相关的益处。

以及更普遍的电池。我们已经从微软和谷歌那里听到了关于他们在材料科学方面取得的发现的报告，这些发现可能导致未来出现更高效的电池，这当然不仅可以节省资源，还可以节省能源。对。

听你谈论可持续性很有趣，这显然是相关的，但这让我想到了，或者当你提到关于住宅太阳能和能够将太阳能送回电网时，你知道，想到这方面的良性影响，这让我想到了回收利用，无论出于何种原因。

以及回收利用是那些事情之一，你知道，如果我们每个人都这样做，它就会形成一个集体。然后，显然，如果我们从住宅转向工业和大型公司，你知道，工厂等等，回收利用的重要性，你知道，在工厂这些地方比在单个房屋中更大，显然如此。

我想知道集体行动在您一直在谈论的AI、可持续性和能源需求方面的重要性。然后从这一点出发，工业甚至政府的作用是什么？

在推动这些新型和新兴的最佳实践方面，这些最佳实践将为我们所有人提供可持续性支持？我认为政府、政策制定者在这里可以发挥巨大作用，首先，树立如何将加速计算和AI用作良好工具的榜样。

从提高能源效率到帮助应对气候挑战，人工智能和加速计算正成为推动可持续发展的关键工具。在本期NVIDIA人工智能播客中，企业可持续发展高级总监Joshua Parker分享了他对这些技术如何为更可持续的未来做出贡献的看法。</context> <raw_text>0 我们看到监管机构，尤其是在美国，也在欧洲和其他地区，做了一些伟大的工作，他们真正认识到采用加速计算和人工智能以及将其用于公共利益的潜在社会和可持续发展益处。我认为这是我认为这里存在机会的第一个方面，加速所有这些工作负载，将它们转移到可持续平台上，然后利用人工智能以环境和社会方式造福社会。然后还要鼓励在工业中进行这种可持续部署，并确保我们再次对电网进行现代化改造

并创造一个环境，使我们拥有实现人工智能可持续部署的明确路径。因为最终，你知道，这发展得非常非常快。这场第四次工业革命我们正在经历，它非常令人兴奋。我们不希望任何事情破坏我们的

我们捕捉这一益处的能力，以便我们能够努力减缓气候变化。我们可以开发新药。我们可以看到可持续发展带来的所有潜在好处。如果我们小心谨慎，我们可以在可持续部署人工智能数据中心的同时做到这一点。绝对的。Josh，在我们结束之前，我只想提到NVIDIA深度学习学院实际上正在赞助这一集。所以我想向他们表示感谢。对于那些对

显然是对人工智能感兴趣，但特别是对人工智能和可持续性感兴趣的听众，请访问NVIDIA深度学习学院。那里有关于人工智能和可持续性的DLI课程。你可以了解更多关于我们一直在讨论的内容，并走出去产生你自己的影响，我们显然鼓励每个人这样做。Josh，在我们结束的时候，以及沿着这些思路，

对于想要了解更多关于你领导的工作、NVIDIA在可持续性、能源效率方面所做的工作以及我们一直在讨论的一切，甚至NVIDIA与合作伙伴在这些方面所做的一些工作的信息的听众，哪里是听众在线深入挖掘的最佳地点？我们正在网站上发布越来越多的关于加速计算和人工智能之间联系的内容。

我们在我们的公共网页上有一个可持续计算子页面。我们有一些公司博客，一些白皮书等等。我认为，就向你提供示例而言，这些都非常有趣且易于阅读。

NVIDIA和我们的合作伙伴实际上正在可持续发展方面做很多好的工作。当然，如果你们对公司层面的观点感兴趣，我们会在我们的系统和我们自己的公司承诺方面所做的能源效率工作，我们还会发布年度可持续发展报告。这在我们网站上的年度可持续发展报告中。太棒了。最后的思考，还有什么你想让听众带走或思考的吗？关于

人工智能的未来，可持续发展的未来，人工智能使之变得更好，我们还接触到了其他什么？我会提供一份健康的乐观情绪。我认为，我们已经听到过关于人工智能的不健康的悲观和怀疑情绪，尤其是在可持续发展的领域。同样，这些都是合理的问题。但我坚信，人工智能将成为我们见过的帮助我们

实现更多可持续性和更可持续成果的最佳工具。如果我们抓住这一点，如果我们抓住时机并将人工智能用于善事，如果我们利用这个新的加速计算平台来提高效率，那么随着我们越来越多地这样做，我们将随着时间的推移看到真正显著的积极成果。

这就是我们想要的。让我们以乐观的音符结束。Josh，非常感谢你抽出时间来和我们谈谈。不用说，但祝你和你的团队在你们正在做的工作上一切顺利。这可能更重要。谢谢，Noah。非常感谢。谢谢。