We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode AI's Energy Crisis: Innovations Shaping the Future of Computing

AI's Energy Crisis: Innovations Shaping the Future of Computing

2025/1/16
logo of podcast Lexicon by Interesting Engineering

Lexicon by Interesting Engineering

AI Deep Dive AI Chapters Transcript
People
B
Brandon Lucia
Topics
Brandon Lucia: 我是高效能计算公司的首席执行官兼联合创始人,也是卡内基梅隆大学的教授。过去十年,我致力于能效计算和资源受限计算的研究。我们公司研发的技术源于在卡内基梅隆大学进行的十余年研究,其核心是彻底重新设计芯片架构,以实现最高的能效。传统上,人们通过增加算力来提高计算效率,而我们则从架构层面入手,在每个设计决策中都优先考虑能效。这与当前科技行业面临的挑战——如何在日益增长的计算需求下降低能耗——高度契合。 我们发现,许多AI应用中,除了机器学习部分,还有大量的数据预处理、规范化、数据格式转换等任务。专用AI处理器擅长处理机器学习部分,但对于其他任务则效率较低。而我们的芯片架构能够高效处理整个AI应用流程,包括数据采集、清洗、规范化、数字信号处理以及机器学习等,从而实现更高的端到端效率。 我们的芯片架构采用数据流模型,将程序分解成数据流图,并将其映射到芯片上的网格状结构中。这种并行处理方式能够显著提高性能,同时避免了传统冯·诺依曼架构中频繁的指令读取和解码操作,从而实现极高的能效。与市场上其他低功耗嵌入式CPU相比,我们的芯片在能耗方面最多可提升166倍,同时性能也具有竞争力。 我们的芯片已在基础设施传感、空间与国防应用以及健康与可穿戴设备领域得到应用。在空间应用中,尺寸、重量和功耗(SWAP)至关重要。我们的芯片能够显著降低卫星的功耗,从而减少电池和太阳能电池板的尺寸和重量,降低任务复杂性和风险。例如,在月球探测任务中,我们的芯片可以用于视觉导航,在能源受限的环境下实现高效的图像处理和机器学习。 未来,计算技术将从过度专业化转向注重能效的通用型计算。随着AI应用的普及,能源消耗将成为一个日益重要的因素。我们的芯片架构兼顾通用性和能效,能够满足各种计算任务的需求,并为未来的计算技术发展提供支持。

Deep Dive

Chapters
Brandon Lucia, CEO of Efficient Computer and professor at Carnegie Mellon University, shares his journey into energy-efficient computing. Driven by the limitations of existing chip architectures in battery-less devices, he and his team embarked on a clean-slate redesign prioritizing energy efficiency.
  • Focus on energy-efficient computing inspired by limitations of existing chip architectures in battery-less devices.
  • Clean-slate redesign of chip architecture prioritizing energy efficiency.
  • Amdahl's Law motivates the pursuit of end-to-end efficiency in AI applications.

Shownotes Transcript

今天,我们邀请到高效计算机公司首席执行官兼卡内基梅隆大学教授Brandon Lucia,探讨节能芯片如何重塑科技格局。从人工智能到太空探索,Brandon将分享其在利用突破性的处理器设计和无与伦比的效率解决现实世界挑战方面的见解。加入我们,一起深入探讨计算的未来,并发现能源效率如何开启技术和可持续发展的新领域。也别忘了订阅IE+以获取高级见解和独家内容!</context> <raw_text>0 欢迎收听今天的Lexicon节目。我是克里斯托弗·麦克法登,有趣工程的撰稿人。今天,我们邀请到了高效计算机公司首席执行官兼卡内基梅隆大学教授Brandon Lucia,来探讨节能芯片如何重塑科技格局。从人工智能到太空探索,Brandon将分享其在利用突破性的处理器设计和无与伦比的效率解决现实世界挑战方面的见解。

加入我们,一起深入探讨计算的未来,并发现能源效率如何开启技术和可持续发展的新领域。在进入今天的节目之前,这里有一些可以提升您2025年体验的内容。通过IE+提升您的知识水平。立即订阅,即可访问包含专家见解的独家高级文章

并享受专为会员设计的技术通讯,让您在科技和科学领域保持领先地位。立即订阅。Brandon,感谢您的加入。您今天好吗?是的,谢谢。很高兴来到这里。我非常有兴趣与您讨论我们在高效计算机公司所做的事情。太棒了。欢迎您加入我们。为了我们观众的利益,您能简单介绍一下自己吗?是的。

是的,是的。我是高效计算机公司的首席执行官兼联合创始人。在过去的10年里,我一直是卡内基梅隆大学的教授。我在计算机硬件、计算机软件和软件方面拥有大约20年的职业生涯。

以及节能和资源受限计算。我可以告诉您更多关于这意味着什么的信息。基本上一直在研究设计计算机系统中最难的问题,在这种系统中,您没有足够的能量,必须适应小型化等因素。

而且,您知道,从我们在卡内基梅隆大学过去十年进行的研究中,我们一直在研究一些非常困难的问题,尤其是在能量受限计算方面,我们开发了这项技术,它构成了我们在高效计算机公司所做工作的基础性技术。

很棒,很棒的东西。那么,在此基础上,是什么激励您专注于节能计算,以及这如何与当今科技行业更广泛的挑战相符?是的,实际上,这里有一个有趣的轶事。很久以前,也就是我刚才提到的十年中的大部分时间。我们在

我们在卡内基梅隆大学。我和Nathan Beckman(高效计算机公司的另一位联合创始人)以及Graham Gobieski(当时我们的博士生,现在是高效计算机公司的首席技术官)在一起。当时我们正在研究一些研究问题。我们开始研究的一个研究问题是如何制造没有电池的节能计算机系统?

所以我们开始研究这个问题。这是一个有点利基的领域,但这是一个非常有趣的利基领域,您试图找到,您知道,如何优化电源系统?如何优化系统的计算部分以及软件等等?我们开始构建这些系统,您知道,很久以前,我们正在对没有电池的设备进行机器学习。甚至在出现“TinyML”这个词之前,我们试图将类似Lynette的东西塞进这些设备中。

我们发现,当我们想要在设备上进行越来越多的计算时,顺便说一句,这是一个好主意,因为它消除了使用无线电的需要,而无线电是一个巨大的耗能设备。

然后您最终会遇到与在设备上进行计算相关的能量瓶颈。这让我们感到沮丧。我们想要做得更多,但最终我们只能在一个无电池设备上一次进行500毫秒的计算。然后我们把能量储存在小电容器里,我们的电容器会耗尽能量。所以令人沮丧的是

之所以这么短,是因为我们在这些系统上使用的芯片架构效率非常低。所以我们意识到,您知道,我们已经做了很多年的计算机架构,目标有很多,对我来说,实际上差不多有二十年了,我和Nathan至少有这么长时间了。

我们意识到,这是一个架构问题。需要改变的是芯片内部的东西。所以在那个时候,我们给自己定了一个,我的意思是,这要追溯到八年前,一种带有游戏性质的意识形态目标,那就是让我们对架构进行一次彻底的重新设计。让我们从头开始。在每一个需要做出设计决策的关头,我们都做出最节能的设计决策。

而这与芯片行业长期以来所做的事情不同。芯片行业在效率和性能方面做了很多令人惊叹的事情。但是很多时候,您看到的是提高性能的优化,例如,您获得了额外15%的性能提升,而您却要付出25%的额外功耗成本。所以,在那个时候,我们开始了这项任务,这是一个非常有趣的过渡时期,最终以成立高效计算机公司告终。

并将我们开发的这种新架构进行高级开发和商业化。这就是我们现在将其推向市场,将这种架构推向我们在高效计算机公司开发的产品中的市场。太棒了。所以是的,传统上是用蛮力来完成更多的事情,但您是从不同的角度来看待这个问题的。这很有趣。所以有些人担心过度专业化带来的风险,对吧?

在人工智能过程中。那么,这如何限制未来的技术进步?是的,我认为专业化是计算机架构师工具箱中非常有用的工具。专业化是我们无法避免的事情,但它并不是唯一的工具。在很多情况下,它不足以解决整个问题。我喜欢这样思考这个问题,我们

我们与客户交谈,并说,您知道,告诉我们您的计算需求。这是我们总是开始的地方。我们只想了解您今天正在尝试运行什么?您明天想运行什么?告诉我们您的需求,对吧?

当我们与这些客户交谈时,我们通常会涉及某种形式的人工智能。有时是那些深入了解机器学习的人。有时是那些听起来像是他们的老板的老板告诉他们,在应用程序上撒一些人工智能魔法粉,让它运行起来的人。所以我们会与不同公司的不同人群交谈。但是当我们与人们讨论这些事情时,

他们告诉我们的是,好吧,当然,很大一部分是机器学习。我们人工智能应用程序的一大部分是机器学习。这就是由这些专业的人工智能处理器处理的。这些专业的人工智能处理器,它们实际上非常适合人工智能应用程序中实际进行机器学习的部分。所以,你知道,更技术一点的说法是,比如密集线性代数软件。

我知道这有点像,它来自数学教科书,但这类东西和卷积神经网络以及矩阵乘法,这些都非常适合这些人工智能加速器芯片。您不经常听到,但我们经常听到的是应用程序的另一部分。

它正在进行数据清理、正则化、数据格式转换,我们可能认为是经典数字信号处理算法。这些加起来构成了现实世界人工智能应用程序的很大一部分,特别是如果您考虑物理嵌入式计算,例如边缘计算、传感器等。所以想象一下,某些东西被部署到物理基础设施中,

您有传感器。您正在从现实世界收集真实数据。外面的世界很混乱。所以您将这些数据带入。您需要清理数据。您需要将其转换为您的机器学习模型所期望的格式。一旦完成,您就可以将其推送到机器学习模型中,并获得一些设备上的人工智能结果。所以当我们与客户交谈时,就像我之前说的那样,他们会告诉我们,可能是50-50。如果它是50-50,而您使用您的机器学习芯片来解决问题,

即使您的机器学习芯片非常快且非常高效,假设它使该部分的时间和能量变为零。好吧,您仍然剩下另一半,对吧?这意味着您最终只能做到好两倍,因为您只是处理了您开始处理内容的一半。这实际上是计算机架构的一种铁律。它被称为阿姆达尔定律。它非常重要,以至于有一个名字。

我们在高效计算机公司受到阿姆达尔定律的效率激励。我们能够在我们的架构上支持,我们能够支持整个应用程序,所有数据摄取、数据清理、正则化、DSP,我描述的所有这些内容。我们非常高效且高性能地处理这些内容。

我们还非常高效地处理机器学习、密集线性代数部分。因此,我们捕获了整个应用程序。通过这样做,我们实际上能够在效率方面获得更高的端到端效益。这实际上是我们高效计算机公司所做工作的关键。所以请原谅我的无知。那么,您开发的芯片有点像芯片上的硬连线算法。所以它不像试图运行软件算法的计算机芯片。

你是说我们的芯片还是这些其他的机器学习芯片?这些机器学习芯片,专业化的芯片。是的,它在某种程度上减少了芯片运行的能量需求。

是的,是的,是的。专业化的诀窍在于此。这是一种很好的优化方法,因为当您专门化硬件时,您所做的是将硬件定制为仅支持,比如说,一种算法或一类算法。您可以做的是去除所有的小,如果它是可配置的,如果它是可编程的,那么您的芯片周围会有这些烦人的小东西。

它基本上是可编程位。如果您查看CPU如何进行75年的可编程性,它就像追溯到冯·诺依曼架构的起源,比如20世纪50年代。它长期以来都是一样的。这些可配置位,这些可编程位,实际上相当昂贵。

一种量化的方法,这只是让你在脑海中想象一下。如果你以2GHz的速度运行,那么每秒20亿次

您正在从处理器旁边的一个小内存中提取另一条指令。这只是开销的一部分,但这非常昂贵。你每秒钟都要去取东西20亿次,这无关紧要。如果你每秒钟做20亿次,它会很快累积起来。这最终会成为纯粹的开销。所以专业化是一种消除这种开销的方法,并且

执行单个算法,例如专门用于卷积,如果您想执行卷积神经网络,则会消除所有执行配置的能力。所以很多NL芯片都是这样做的。它们消除了所有这些开销,但它们没有可编程性。所以我们高效计算机公司所做的事情很酷的一点是,我们已经摆脱了冯·诺依曼的开销

但我们并没有像一些机器学习芯片那样过度专业化。因此,我们保留了进行可编程性和可配置性的能力,但我们以一种避免在计算运行时每秒钟都会产生开销的方式来做到这一点。我们消除了这种开销,因为我们有一个新的架构,它的构建方式不同。

好的,很好。再说一次,您已经回答了这个问题,但是为什么您认为通用CPU比专用处理器更适合应对人工智能不断变化的需求?

是的。我的意思是,我简短地说,我们本周在CES展会上,一直与人们讨论这个问题,这真的很有趣。我们展位上的一部分图形,有很多路过的人,不同的东西会吸引人们的注意。但一个反复吸引人们注意力的东西是我们的标牌。这是我从研究中,然后从我经营高效计算机公司的经验中真正相信的核心内容。

人工智能,以人们今天看待它的方式,人工智能不仅仅是机器学习。就这么简单。故事还有更多内容。所以如果你使用专用芯片……

你只做人工智能的一部分。还有其他一些现实世界的方面。为了捕获整个应用程序,如果您关心效率,如果您关心整个现实世界应用程序的性能,您必须捕获其余的内容,而不仅仅是机器学习。您必须处理所有其他,您知道,前端处理,然后,您知道,后端分析处理。

所以我认为通用性是唯一的方法。关于这一点,还有第二点,这也是高效计算机公司周围的另一个重要思想。那就是程序员不喜欢改变他们的做事方式。人们长期以来一直这样做。他们想继续使用他们喜欢的语言。所以,您知道,如果您是一位嵌入式开发人员,并且正在为诸如空间系统之类的嵌入式系统进行传感器开发。

您可能已经习惯了您的做事方式。也许您会先在MATLAB中进行一些启动,然后将代码移到C中,然后您可以转到C中优化代码以运行在您将要使用的任何处理器上。这可能是一个非常熟悉的流程。好吧,如果您要使用机器学习芯片,那么您必须基本上放弃您的代码,并确保它符合您的机器学习芯片所做的事情的习惯用法。通常,您必须编写一些代码来修补映射到该硬件的不同API调用之间的内容。

所以将应用程序移植过去一直相当具有挑战性。这并非不可能。人们确实做到了。但这需要开发人员学习一些东西,有一些摩擦,有一些新的工具、库和东西。我们高效计算机公司真正热衷的事情之一是提供

相同的开发人员体验。我们希望这对于使用我们芯片的每个人来说都是一种非常愉快、令人愉悦的开发人员体验。所以我们追求的是对您的源代码进行最少或根本不需要更改。所以,如果您是一位嵌入式开发人员,并且您要获取您的C代码,并且您只想将其部署到我们的芯片之一上,我们的编译器将吸收您的代码。我们使用C和C++。嵌入式代码的通用语言

如今的机器学习是TensorFlow Lite。所以我们有TensorFlow Lite。这只是我们支持的内容的一部分。但这些是我立即想到的。您知道,如果您是一位从事嵌入式开发的开发人员,这就是您习惯使用的。它很通用。它就像通用语言,或者它是相当通用的框架。

您不希望不得不将所有内容都重写为专门的、原始的,或者您正在扭曲您的应用程序以适应系统可以执行的操作。因此,我们非常重视关注开发人员并赋予他们使用他们已经使用的语言、系统和工具的能力,以便使用我们的芯片的路径摩擦较小。太棒了。这也有助于您的技术的普及,对吧?

是的,我们这么认为。我们认为这对开发人员来说会很好,就像我说的那样,很多开发人员不喜欢进行更改。他们不想改变他们的做事方式,因为他们已经学习了。我也不责怪他们。这就像如果我遇到一位正在为嵌入式系统进行一些算法开发的开发人员,我会说,是的,这很好。但唯一的问题是您必须成为一名数字设计师并编写Verilog。

这就像他们在那时正在换工作一样。这就是为什么我认为FPGA是另一种替代平台的例子。这实际上是他们要求开发人员做的事情,基本上是换工作,成为一名数字设计师,然后您可以使用我们的硬件。我认为这对很多人都不起作用,对我个人也不起作用。足够了。是的。

那么,在此基础上,因此,能源效率和性能之间经常存在权衡,我们已经谈到了这一点。那么,高效计算机公司如何利用其织物处理器架构克服这一挑战?是的,织物是为效率而设计的。思考织物的方法,我将在这里画一幅文字画。我希望这不会太复杂。在抽象中它相当简单。所以我们开发的架构,您可以想象它的方式是有一小格正方形,就像,您知道,

想象一个矩形用这些正方形填充,每个正方形都可以执行一个操作,它不是一个核心,它小于一个核心,所以它不像一个奖品,不像一个ARM核心或其他什么东西,它可以执行一个单一操作,所以我们的系统所做的是我们的编译器将获取您的程序,并将其分解成我们所说的数据流图

程序中的每个操作都在该数据流图中表示。然后,您可以认为箭头将它们连接在一起。箭头意味着一个操作,当它运行时,也许它就像两个数字的加法,诸如此类。它产生一个结果,该结果作为某些下游操作的输入。我们将此称为从一个操作到下一个操作的数据流。

再次回到那个正方形网格,我们将每个操作都固定到每个正方形上的程序操作。我们有一个非常高效的网络来连接这些正方形,以便我们可以实现数据流。这样做会暴露程序在织物上的高度并行执行。它也恰好非常高效,因为不是重复地获取指令,

我们将您的程序编译成这种表示形式,然后将指令固定到位。它们会一直待在那里,并运行很长时间。所以我们完全去除了获取操作。除了在运行数据流图的开始时,我们去除了指令解码。数据移动是

非常精细的。它直接从一个操作到另一个操作,开销非常小。我们不会间接地通过内存结构。这就是我们如何获得效率的原因。由于所有这些并行性,您将整个数据流图并行地映射到我们的架构上。所有这些并行性都会为您提供性能的大幅提升,如果您的应用程序具有很多内在的并行性。

因此,我们获得了效率和性能的良好结合,您知道,极高的效率。当我们查看市场上的其他冯·诺依曼CPU时,我们已经看到与业界领先的低功耗嵌入式CPU相比,节能提高了高达166倍。我的意思是,这是一个,这是一个效率的巨大变化。这就像,如果您查看电池寿命,那就是电池寿命延长了10到100倍。

同时,我们也看到了性能的提升,因为我们比像顺序冯·诺依曼处理器那样暴露了更多的并行性,如果您正在进行嵌入式CPU类型的实现。所以它们有点像节点,对吗?

是的,我们称它们为图块。构成该网格的每个图块,它本质上是自主的。在每个时钟周期,图块都会决定,我是否有我的操作的所有输入?如果有,那么它就可以触发该操作。

所以事情大多是解耦的。实际上,这是,这是计算的一种非常优雅的抽象。这是我们的架构,这种数据流模型。这是,这种计算的优雅抽象,其中操作一旦可以进行,一旦它们的输入可用,就可以进行。这有点像计算应该进行的方式,而不是像,

像冯·诺依曼执行管道那样被人工排序。所以,您知道,我们看到了效率和性能的良好平衡。您知道,我们基本上拥有类别定义的效率和出色的性能,与市场上的同行相当或更好。太棒了。好的。那么,它可以保留多长时间它存储以进行设置的代码部分?对不起,请继续。

这是一个好问题。所以它的工作方式是,如果您放大另一个级别,我们的编译器会查看您的程序。现在您的程序,它可能包含您正在调用的多个不同函数。它可能在嵌套中包含多个循环。它可能包含多个模块。编译器可以对它进行一些推理。思考它的一种方法是哪些指令倾向于与哪些其他指令同时触发?哪些指令组合在一起?

这可能是,如果您正在进行一些嵌套循环,它可能是整个循环嵌套。所以如果您正在进行for I、for J、for K等等,那么整个块,所有这些指令都将一起触发,并且可能共享值并进行一些计算。所以我们可以进行分析并找出这一点。它会在程序中创建小分区。它们中的每一个都是独立构建的数据流图。这将成为织物的配置。

所以织物将开始运行,它运行第一个配置。织物非常聪明,因为它所做的是,当它意识到它已经完成或几乎完成了计算的一部分时,以流水线的方式,它可以开始配置计算的下一部分,有时甚至在之前的部分完成之前。

所以计算本质上是通过该管道配置,您的程序连续部分之间没有零周期延迟。所以它们以一种非常通用的方式相互交错运行。所以当我们说这是一个通用处理器时,它不像

您知道这是一个与CPU紧密耦合的优秀的加速器,它不像这是一个新型的CPU。这是一种真正新型的通用处理器,它根据我们开发的这种数据流架构模型运行,它将运行您扔给它的任何代码。听起来非常棒。是的,非常棒,太棒了,好的。

那么,高效处理器在哪些现实世界应用中产生了最显著的影响,您如何设想其更广泛的应用?是的,这也是一个好问题。我喜欢这样说。自从我们开始进行高级开发和商业化以来,这是高效计算机公司过去三年的工作。在卡内基梅隆大学近10年的研究之后,我们一直在关注现实世界。这些设备去哪里?当您将芯片放入,您知道,

在传感器或边缘计算应用程序中。在几个领域,我们看到了很多牵引力。所以最大的领域是基础设施传感、基础设施智能、企业级物联网安装和传感器等。在太空和国防应用中,我们在太空方面有很多牵引力。我,

如果您对这方面有疑问,我很乐意谈谈太空。我作为卡内基梅隆大学的教授,我仍然保留着一个小型太空项目,我们在那里运行。对于高效计算来说,这是一个非常酷的用例。另一个领域是健康和可穿戴设备。所以这是我们一直在关注的三个主要领域。我很乐意更深入地讨论这些内容中的任何一个。是的,既然我们正在讨论这个话题,那么让我们继续讨论太空吧。当然。

是的,是的,是的。我很高兴你问。所以在太空中,许多太空任务中最重要的事情是国防领域称之为SWAP的东西,即尺寸、重量、功率。在那里,您只需要基本上最小化。您希望拥有最低的功耗,最少量的需要发射的垃圾。您希望它重量轻。

当您考虑进行SWAP最小化时,这对应于在卫星中发射更少的电池,并且对应于卫星中更小的太阳能电池板。这些是复杂性的主要来源。例如,如果您正在进行CubeSats,并且您可以从可展开太阳能电池阵列

转换为纯表面安装太阳能电池阵列并完成相同的工作。这是一个复杂性降低。这是一个成本节约。它最大限度地降低了您的风险,因为它降低了您任务的风险,因为现在您不依赖于某些可展开的设备。做到这一点的方法是降低能耗

无论您想做什么。所以,您知道,我们研究过的一件事是进行地球观测应用。您可以用它做很多事情。国防方面的一些事情,您可以做气候科学。您可以用卫星支持各种非常有用的事情,例如城市规划、智慧城市,只需使用摄像机并进行地球观测即可。

所以您考虑一下今天需要做什么。许多系统,您知道,人们设想,哦,我们将在6U CubeSat内部发射三个Jetson。我们将使用一个像素为30厘米的摄像机。我们将尽快传输数据。这是一个巨大的耗能设备。我的意思是,这就像……

数十瓦的嵌入式GPU。最重要的是,您还有通信成本。您必须在通信方面做到完美,因为如果您错过了窗口,可能要45分钟后您才能拥有通信窗口。因此,太空行业正在学习,最好在机载进行大量处理,因为存在通信挑战。但是硬件,它就像我们正在适应。我们正在使用市场上可用的东西。我们正在获取任何适合盒子里的GPU或任何东西。

这有点令人不满意,因为它会增加您的功耗。对于CubeSat任务来说,这将成为盒子内最高的功耗设备,作为您的机载计算设备。

这非常令人不满意,因为我们可以更便宜地做到这一点,并且可以用更少的资源做更多的事情。这意味着我们可以为这些卫星增加能力。因此,对于高效计算机公司来说,我们正在研究的一件事是如何获取RF堆栈的DSP计算?我们如何获取图像的视觉分析的DSP以及这些的机器学习部分?

通常会有一些相当复杂的后台分析,这可能涉及稀疏编码图问题,例如,在您处理这些传感器数据输入后对数据进行处理。一系列的事情。卫星执行许多不同类型的计算。例如控制循环。

所以你把所有这些放在一起,高效的芯片就能处理这些。这就是它的长处。它就像这样各种各样的应用,计算密集型。当你身处卫星中时,这就是游戏的名称,因为你无法轻松访问通信以卸载。

所以我们非常契合。我对采用高效硅片并在未来 12 到 24 个月内看到一些东西在轨道上运行,看到轨道上的高效硅片的前景感到非常兴奋。我无法具体说明我们是如何做到这一点的。我很想这样做,但我对这种前景非常兴奋。我们对此有几个不同的角度。这对于我们开发的技术来说是一个自然的契合,因为我们在能源和功率效率方面具有巨大的优势。太棒了。

在你说话的时候,我设想它们被用于深空探测器或太阳能有限或微弱的地区。它可以在那里应用,对吧?我猜想。绝对的,是的。我相当兴奋的一个领域,这是我们通过我提到的卡内基梅隆大学的太空计划研究过的事情。

正在为月球任务进行视觉导航。所以为月球任务读取相对导航,月球上没有良好的基础设施,因为为什么会有呢,对吧?所以你可以使用地面基础设施,但这非常遥远。你可以使用深空网络,但这,你知道,这与高成本相关,而且很难获得访问权限,并且有很多问题。当它工作时很棒,但是你知道,你不会

你并不总是能够访问它。因此,你可以进行地形相对导航,或者可以在月球环境中进行仅视觉姿态和轨道确定。这是一个非常令人兴奋的应用。在月球探测方面,有很多下游用例。这只是一个例子。在那里,当你位于月球的背面时,你完全处于黑暗之中。因此,功率效率将是最重要的事情。你需要节省所有

你为正在运行的仪器和处理这些仪器数据的计算所拥有的所有能量。否则,就会停电。有一些卫星。我们已经看到了卫星示例。我不能具体说明哪些卫星,但你的占空比为 2% 到 10%,这意味着 90% 到 98% 的时间,你的卫星只是关闭的。

你无法支持功率消耗以保持所有东西都开启。这非常令人失望。因此,你使这个东西更节能,你可以让它持续更长时间。即使理想目标是 50%、30%,你仍然比以前好得多。所以这就是这种事情,这代表了我们开发的技术中的潜力。它不仅仅是为了月球。我们在近地轨道和更靠近地球的应用中可以做很多事情。

用可以检测从射频到视觉以及介于两者之间的不同光谱的仪器向下看。因此,有很多非常令人兴奋的用例,你知道,在民用国防领域。你也可以为无人机提供大型应用,对吧?尤其是在军事或如你所说,民用方面。

大概。是的,是的,我认为这不是我们积极开发的领域,除非与卫星用例相似。但是如果你正在进行视觉处理,你处于能量受限的环境中,你同样受到交换的限制。所以真正思考的方式是任何你受到高度交换约束的地方。如果你正在飞行,绝对是。如果你要发射东西到轨道上,绝对是。另一个是民用用例和国防用例中的可穿戴应用。

因为在国防方面,你会听到这些轶事,它们有点吓人。就像你必须随身携带 35 磅的电池去远足一样。所以想象一下,你必须带着 35 磅的电池走到 10 英里外的某个地方,顺便说一下,这甚至不是真正的设备。只是开销。所以这可能因任务而异。但是如果我们可以将其减少到只有 25 磅……

那么这将产生很大的不同。因此,大量的能量用于计算和通信。这是你花费能量做的两件事。如果我们可以采用计算部分,并且可以减少能源成本,使其成为现在的 10%,使其成为现在的 1%,通过提高效率,这是一个明显的优势。我的意思是,如果你从另一个角度来看,如果你有一个智能手表,并且你的电池寿命受到设备上发生的计算的限制,现在不仅仅是计算,我还知道它也是通信,还有很多其他事情,但如果你只考虑计算部分,如果你每天使用你的智能手表一两天,也许你知道有些设备你最终必须每九小时插入一次,在你有一些电池老化之后,一直如此,如果我们将其延长到一周,就像你忘记了必须充电一样,如果我们将其延长到一个月,你完全忘记了必须充电,这是一个每月一次的事情,所以我

当你考虑效率如何转化为这些应用的实际好处时,这真的是一个改变游戏规则的东西。关于可穿戴设备,将来是否有可能拥有,比如说,一块智能手表?它显然不需要电池,但它可以从你的动作中获得足够的能量……

实际上用你的芯片技术为自身供电?这有可能吗?也许。我可以推测。在我的职业生涯中,我研究过能量收集计算机系统。同样在卡内基梅隆大学,这可以追溯到几年前,但我们开发了一种称为间歇计算的计算模型。那里的想法是,当环境中有能量可用时,你就进行计算,当没有能量可用时,你就关闭并等待更多能量。有了这种模型,

这取决于你想要做什么,但你甚至可以收集低至环境无线电波的电源。因此,如果你的城市某个地方有一个兆瓦的电视塔,你可能在某些地方能够从这些无线电波中收集足够的能量来为电容器充电,然后打开计算机并耗尽电容器中的能量。所以我不知道这是否会成为一块智能手表,因为你希望你的智能手表做很多事情,但是

可穿戴传感器、可穿戴健康传感器,或者这里还有一个。这非常令人兴奋。无论是否进行能量收集,环境和基础设施传感器。如今,你必须不断地更换这些设备中的电池。想象一下,我们在这些设备中安装了电池,并且我们将计算效率提高到几乎不需要通信的程度,因为设备上的计算效率要高得多。

所以假设我们这样做。现在我们采用,你知道,在一节 AA 电池上运行高效的机器学习工作负载,我们可以持续 5 到 10 年,5 年以上。我会说这取决于你想要在一节 AA 电池上运行的工作负载。所以我们用类似的东西来补充它,

想象一下用能量收集来补充它以延长使用寿命。现在你可以在一次部署中使用十年。想想这对部署环境和基础设施传感器有什么作用。你想去听偷猎者,或者我们遇到过这样的应用:听野火或听受保护森林中的链锯等等。各种各样的应用。基础设施,例如监听管道,监听电网。

你可以部署这些传感器,并且你的运营支出不会倒挂。因为如果你没有很长的电池寿命,那么你就会派人去更换电池

你知道,每分每秒。因此,运营支出计算根本行不通。如果你通过提高计算效率来提高设备的效率,你就可以首次实现这些应用。这就是这里的变化。效率不仅仅是渐进式的改进。它就像它解锁了整个应用类别一样。就像今天根本不可能做到那样。这就是让我对这些用例如此兴奋的原因。太酷了。我的意思是,如果你能够做到这一点。

你可以拥有一个传感器感知某些东西并从中获取能量、从中收集能量的位置,它永远不需要电池存储,根本不需要电池存储。因为它从它正在感知的东西中获取能量。

是的,是的,电池,非常少的设备。你可以从你正在感知的相同频谱中收集能量,并且可以在电容器中存储少量能量。根本不需要电池。我的意思是,有一个世界,环境传感器就是这样工作的。在外面放一个小型太阳能电池板,基本上,你受到太阳能电池板寿命的限制。你受到电路板上首先失效的任何组件的寿命的限制。这是一个非常有趣的应用类别。是的。

现在,这还不是高效的首要任务,但谁知道呢?也许这就是这些工业基础设施传感器未来的发展方向。今天,

典型的安装需要由电池支持的可靠性。所以我们所做的是消除通过 Wi-Fi 发送数据包消耗所有能量的需要。你可以在本地进行计算,并且可以节省大量的能量,与其他嵌入式低功耗 CPU 相比,电池寿命延长了 10 到 100 倍。我说的是运行相同的代码。你不需要更改你的应用程序。事实上,你可以向你的应用程序添加功能,并且你可以按照你通常的方式进行操作。所以

是的,就像我说的那样,当你想到效率影响现实世界中的这些应用程序时,这真的是改变游戏规则的东西。绝对的,是的。这让我有点震惊。对。那么,你在开发和扩展高效计算机方面遇到的最大挑战是什么?你又是如何克服这些挑战的呢?

是的。所以我想如果你和 10 位创业公司创始人交谈,你会得到 10 个不同的答案。对我们来说,我认为我们有一个很棒的团队。我们有一群人。我

我感到非常幸运,我们找到的人在他们所做的工作上绝对令人惊叹。这经历了很多努力和很多,你知道,毅力和网络效应来找到合适的团队来完成我们正在做的工作。这在任何地方都是一个挑战,但是你知道,我们拥有一套非常专业的技能,我认为,是的,我们拥有的团队真的非常出色。这是一个难点。组建合适的团队,绝对是一个难点。

我认为我们做得非常出色。就像我说的那样,我们的团队,他们只是一群非常棒的工程师。他们懂硬件,他们懂软件。团队中的许多人都了解从顶到底的堆栈,包括业务方面。这很酷。我喜欢与我们在 Efficient 拥有的人一起工作。另一方面,就是将硅半导体产品推向市场的那种当然的现实。有很多工作要做,而且有很多,你知道,有很多工作要做。

这很难。很难构建一些对现实世界有用的东西。而且这是一些,你知道,我在学术界有职业生涯,当你处于学术方面时,很容易掩盖一些这些现实世界的问题。

以至于看到这样做的工作可能会有点令人沮丧。但是当你将产品推向市场时,你会面临这些现实,并且有很多东西需要学习,因为其中一些是真正根本性的问题。其中一些事情对于在现实世界中使这项工作变得有价值、对实际客户变得有价值至关重要。

所以,你知道,掌握一些这些难以捉摸的现实世界问题,例如具体的设 计约束、实现约束以及在此过程中协调所有这些。这也是一件难事。让这一切都融合在一起。现在,Efficient 有一个相当独特的地方,我认为我们做得非常好,这将是一个难点,但同样,我认为我们有合适的团队来做到这一点。

是我们是一家硬件公司和软件公司。我认为,作为一家硬件公司,一个很好的失败方法是即使是一分钟也不要忽视软件。我认为软件,特别是对于通用计算硬件,软件只是

非常非常重要。我们的编译器团队从一开始就在工作。我们的一些早期员工是在编译器领域。我们一直在开发最终进入编译器的抽象,你知道,已经有十年了,从研究开始。那个软件生态系统,这就是让硬件真正运行的东西。我认为,对于试图部署通用软件来说,这通常是最大的挑战之一。

半导体产品是让软件故事正确。我认为我们的团队绝对是一流的,并且正在努力做到这一点。但这也不容易。我想说的是,如果你正在考虑创办一家硬件公司,请确保你的软件故事已经理顺。太棒了。好的。所以下一个问题是,随着 AI 的快速发展,你认为计算技术的下一个重大转变是什么?Efficient Computer 如何为此做好准备?

所以这听起来与我一直在谈论的内容很熟悉,但我认为我们正处于高度专业化的时代。我们已经看到很多努力都投入到设计产品中。

固定功能加速器、高度专业化的加速器以及适用于 AI 的加速器,再次,就像大型 AI 一样。它远不止 ML。嗯,我,我认为我们将在未来五年,也许十年内看到的是一种转变,去看看计算的所有其他难点是什么。你知道,我们在矩阵乘法上取得了成功,就像万岁一样,呃,呃,

我们,你知道,在矩阵乘法上完成了任务。我认为我们做到了,伙计们。但我认为并非所有事情都始于矩阵乘法并终止于矩阵乘法。我认为并非所有事情都始于卷积并终止于卷积。就像我之前说的那样,当我们与客户交谈时,他们会告诉我们一个非常不同的故事。这是,你知道,很多都是我们需要做的,你知道,不规则分析和 DSP 以及所有这些其他计算。所以我认为我们将看到的是一种远离超专业化的钟摆摆动。

当我们开始这样做时,我认为赢家将是那些最关注能源的人。这是自私的。我很欣赏我们的使命是通用性和效率。但我认为这是从专业化回摆的自然结果,因为专业化消除了所有可配置性,并且基本上将性能和能量推向最大值,并且消除了可配置性。

如果你反过来,现在你想支持更广泛的计算,你就是在将许多加速器组合在一起。我认为这不是正确的模型,因为它会增加复杂性,并且会增加能量消耗,因为你必须在这些加速器之间移动数据。所以你剩下的就是第三个选项。这就是 Efficient 正在做的。我认为这将是未来的问题,那就是能源效率和通用性,以避免过度专业化的陷阱。

我认为这将是未来五年、也许十年,也许更久的问题。

将是唯一重要的事情。我们在数据中心看到了这一点。就像在数据中心变得越来越清晰一样,人们正在谈论,你知道,挠头说,我们需要一个新的核电站来配合这个数据中心吗?我的意思是,听到这种推测是如此令人震惊,这就是我们未来需要的。这是否属实,我不知道。也许我们需要扩展到能够支持我们需要运行的所有应用程序的程度,在那里这最终是一个好主意。

这似乎是奢侈和巨大的,但也许这实际上是必需的。但我认为,尤其是在你知道,让我们离开数据中心,进入边缘和传感器设备,然后是那些在物理上体现并消失在世界上的微型设备。就像我们一直在谈论的那样,它们的能量比以往任何时候都更重要,因为你通常完全受到能量的限制。

我说的是电池。我说的是,你知道,遥远的设备安装。因此,能源将成为最重要的因素。能源,我认为我们正处于计算时代,能源是唯一重要的事情。

是的。所以是的,你可能会看到一次巨大的爆炸,显然是与 AI 相关的,但大型数据中心需要越来越多的电力。它将达到一个点,然后你的能源效率在那段时间之后会变得更重要。在 AI 真正融入社会之后,你将有一个爆炸性的起始阶段。然后将会有更多地推动或关注能源效率方面,对吧?大概。是的。

是的,我认为是这样。我的意思是,我认为我们就在那里。我们正处于风口浪尖。而我们的指导原则是以能源效率为动力。我认为人们现在,我们通过,你知道,媒体的口袋甚至在报道,人们看到了所有这些令人惊叹的 AI 魔法的真实成本。它以能量的形式出现。

我认为这是我们必须面对的事情,尤其是在你刚才说的那样,以及我之前所说的那样,我们看到更多物理上体现的计算用例,包括机器学习和 AI,但也包括许多其他事情。我们将这些应用程序投放到市场上。它们不会消耗更少的能量。将会更多。

因此,我们需要不断突破能源效率的界限。你知道,很久以前的第一个计算时代是弄清楚我们如何做到通用?在那之后,我们进入了如何提高性能的时代?现在我们正在通过专业化来提高性能。我们获得了一些效率,但它用完了。我们需要通用性。当我们回到通用性时,它将是能量。这是唯一重要的事情。

是的。是的。非常正确。嗯,最后一个问题,嗯,有点偏题,但是作为一名教授和创业公司首席执行官,首席执行官,你会给那些想要弥合学术界和工业界差距的研究人员和企业家们什么建议?哦,我认为我从我在学术界的职业生涯中学到了很多东西。

我喜欢在学术界工作,我继续喜欢在学术界工作。这是一个令人愉快的工作场所,有很多东西可以学习,还有很多有创造力的人。

我从那里吸取了教训,例如承担风险并在不确定性下工作的能力,并将这些技能转移到创业世界中,并将其塑造为在工业方面有效的东西。同样,我认为经营公司并进行高级开发和商业化帮助我理解现实世界中的问题,并理解,你知道,什么,世界关心什么?人们关心什么?对应用程序真正重要的是什么?并将其带入。它,它,

它有点,它照亮了我学术上的兴趣,甚至是我今天选择研究的学术世界中的问题类型也受到了它的影响。所以我会说,你知道,如果你是一位有抱负的学者,正在考虑,你知道,我应该创办一家创业公司吗?首先,确保这不是,你知道,

哟,我有一个价值十亿美元的应用程序创意。确保它实际上是一个好主意。确保这是你真正相信的事情。我可以全心全意地说,Efficient 是我真正相信的事情。我认为我们正在做的事情与众不同。我认为它具有高度差异化。我认为我们将改变我们正在做的计算格局。这就是激励我的原因。

与 Nathan、Graham 和 Alex Hawkinson(我们的第四位联合创始人)一起创办这家公司。这就是激励我们冒险并投入其中并使其成为现实的原因。如果你有这种感觉,你应该这样做。有办法让它奏效。我的意思是,老实说,亲自联系我。如果我有时间,我很乐意给你发个便条,并就你在职业生涯中的位置以及对此的思考给你我的两分钱。但更广泛地说,在你附近找到可以帮助你解开谜团的人:我如何将这个

有点深奥且并非完全准备好投入生产的学术理念转化为你在现实世界中可以使用的产品,将其变成一家公司。那里有很多资源。有很多想帮助你学习的人。而且,你知道,在任何地方,我认为大多数人都希望大多数人成功。就像你与大多数人交谈一样,他们希望大多数人,有时似乎你受到了打击,世界是敌对的。但我认为如果你进行民意调查,我认为大多数人实际上希望大多数其他人成功,因为

情况并非总是如此,但大多数人在这种情况下都是积极的。因此,我认为如果你联系导师,如果你联系了解这个世界的朋友,不要害怕这样做。比你想象的更多的人愿意给你,即使是 15 分钟也可能帮助你找到方向。所以,放手去做吧。如果你真的相信某个想法,那就放手去做吧。

我应该补充的一点是,你推荐它吗?这可能应该添加到那个问题中。是的,我的意思是,这是一种再学习的体验。它有起起伏伏,就像我所做的一切一样,都有起起伏伏。我认为我喜欢说的一种方式是,我有一个三岁的儿子和一家三岁的公司。我不知道我是否会推荐这种重大生活事件的安排。

是的。但一次要处理很多事情。但是,你知道,我当然爱我的家人。我是一个十足的家庭男人。我喜欢 Efficient,我喜欢我们在这里做的事情。所以,你知道,没有遗憾。但是,是的,它绝对是一个巨大的时间海绵。我想说这两件事,所有这些事情都是一个巨大的时间海绵。做好准备。如果你们也在考虑这个问题,我会这么说。做好准备。我认为对我们所有人来说都是建议。是的。

我的问题结束了。还有什么你想补充的吗?我们还没有讨论过。不,我的意思是,我认为,你知道,我们在 Efficient 做的事情,就像我之前说的那样,我们正在做一些真正新颖的事情。我认为我们正在做的事情在技术本身方面具有巨大的差异化。架构从根本上不同,我们带来的好处是,你知道,能量提高了一到两个数量级。

这是现实世界应用程序需要的,特别是这些物理上体现的智能应用程序。所以我真的很高兴看到我们的工作,你知道,将这项技术推向世界。我们将在年中为我们的早期访问客户提供硅片,这将要落地。如果您有兴趣,请联系我。这是针对您的观众的。我希望没关系。我们正在接受客户加入我们的早期访问计划,我们将把产品推向 25 年底、26 年初的广阔市场。

非常高兴看到这种情况发生,并看到用例开始堆积起来,并从我们的技术中看到现实世界中的真正价值。对此我感到非常兴奋。太棒了。祝你一切顺利。我希望它能成功。基本上,是的,感谢你的时间,布兰登。这非常有趣。是的,非常感谢你邀请我参加你的节目。荣幸之至。本期 Lexicon 节目到此结束。感谢大家收听并成为我们今天的嘉宾。

关注我们的社交媒体频道,获取最新的科学和技术新闻。另外,别忘了订阅 IE Plus 以获取高级见解和独家内容。