Ep 57: Former CTO of Meta Mike Schroepfer on the Path to Powering the AI Revolution
44:47 Share

迈克·施罗普弗在创立风险投资公司GigaScale之前，曾在Facebook担任了九年的首席技术官，该公司投资于利用科技应对气候变化的公司。我是雅各布·埃弗隆，今天在《无监督学习》节目中，我们主要围绕人工智能与能源的交叉点进行了一次对话。迈克分享了他的一些非常有趣的观点，这些观点阐述了在全球范围内大规模普及人工智能所需的能源生产规模。我们讨论了人工智能与气候变化的交叉点，还谈到了迈克在Facebook工作期间的反思，以及他对人工智能开发工具、虚拟现实和开源模型等领域的看法。迈克还分享了他对首席技术官在人工智能世界变化和编码模型改进的情况下将扮演什么角色的看法。话不多说，让我们来听听迈克的分享。非常感谢您来到我们的播客节目，非常感谢。好的，很高兴来到这里。我觉得我们可以从很多不同的角度来进行我们的对话，有很多不同的线索我们可以去探讨。但我认为，作为一个曾经领导技术团队构建许多真正前沿的人工智能产品，现在又非常关注气候领域的人，

交叉点是一个非常吸引人的地方。在这个播客中多次出现的一个问题是，目前一些环境问题和公司做出的ESG承诺之间似乎存在着紧张关系，而如今数据中心所需的巨大能源消耗也是一个问题。

所以很好奇，您是如何看待这种紧张关系的，公司是如何应对这种紧张关系的，以及，美国最终需要生产多少能源才能满足这些人工智能计算的建设需求。是的，我认为，这与一些人的看法相反，这是我们在相互目标方面所能希望得到的最好的消息，那就是人工智能是一项令人难以置信的技术，它将使我们能够做很多有趣的事情。

人工智能在短期内对客户能源的需求，这些客户拥有技术专长、资金和快速完成工作的愿望，使我们能够部署许多新的有趣的解决方案来为电网供电。即使没有人工智能，在美国，到2050年，我们需要大约5倍于我们目前的电网规模。

想想把每辆燃气汽车都换成电动汽车吧。想想我们需要在美国进行的所有钢铁、水泥、混凝土和其他产品的制造。所有这些都需要大量的能源。所以无论如何，我们都需要这些能源。

特别是来自超级计算中心的这种需求，正在推动部署许多新技术的机会，并降低我所关心的成本曲线，人们在未来几年部署它的原因是因为它是一个更好、更快、更便宜的选择，而不是因为它对地球更好。

是的。

您是否在数据中心建设方面看到了一些特别有趣的事情？我认为首先它做的事情是，

它促使人们思考这个在后台运行的东西。就像你考虑电力一样，我的电力来自哪里？没有人关心，对吧？这有点像，我的包裹是怎么送到我家的门口的？就像，不，它到了吗？它准时到了吗？所以我们把这个话题摆在了台前。但我认为它也做的事情是，你知道，它开始质疑，对于人类来说，什么才是限制性步骤？我该如何取得进步？我该如何让80亿人舒适安全地生活？

对吧？答案是技术。这是我唯一知道的答案。你知道，大多数需要它的人都没有空调。许多人没有干净的水。这些都是根本性的电力问题。我们知道如何冷却空气。我们知道如何加热空气。我们知道如何取水，无论它来自哪里，都能使其成为饮用水。这两件事的限制实际上是投入其中的能源成本。因此，如果你降低能源的成本并在各地部署它，你就会突然打开可能性，让很多人

拥有我们都会喜欢并认为理所当然的生活水平。我们考虑人工智能，你会说，好吧，我很想让一个AI代理全天候运行，一个全天候的推理代理专门为我解决我的需求。那需要多少电力，对人们来说合理的电力消耗是多少？

是千瓦、兆瓦还是太瓦？多少能量？如果我把它乘以10亿，80亿人，那会是什么样子？你开始得到一些疯狂的、有趣的数字。但这很容易处理。所以，我认为，当你分解这个问题，并说，好吧，我们需要解决一些这些问题，我认为，对我来说，它总是回到能源、能源、能源。我们如何才能生产出大量的能源，并以可持续和廉价的方式生产出来？我认为基本上有几种方法。

我认为我们现在正在使用的是太阳能。2024年美国电网上的新增能源中，80%是太阳能，是公用事业规模的太阳能。大多数人可能不知道这一点。原因是它很便宜。这只是将新的电子添加到电网中最便宜的方式。所以这很好。太阳能很棒。它25%的时间都在工作。

你知道，晚上不工作，英国的冬天也不太工作。所以你在这里遇到问题，而且让一个价值40亿美元的数据中心装满，你知道，英伟达美丽的芯片，这有点令人沮丧。你想让这些东西运行40%。这可不是一个可以接受的答案。所以你想要让它全天候运行，对吧？所以你有了这种，你知道，时间平衡不匹配的问题。

所以然后你说，好吧，太阳能很好。尽可能多地部署太阳能，在你能部署的任何地方部署太阳能来解决这个问题。然后你开始寻找其他技术来解决这个问题。我认为我最看好的一种技术是核聚变。这是一个有效的反应。它在我们太阳的中心。人类已经多次实现了它。

它的能量密度非常高。我有一些粗略的计算需要再次检查，但是如果你想把美国的电网扩大5倍，并用核聚变为其供电，一艘超级油轮可以为整个美国提供一年的燃料。这就是数量级，一辆皮卡车可以为一个大型发电厂提供一年的燃料。这就像

疯狂的，你从一点点物质中获得多少能量。而且你不需要处理其他方面的担忧，比如废物和其他东西。所以你给我一块40英亩的地，给我两年时间来建造一些东西，然后我就建了一个工厂，用一点点物质作为投入来生产能量。所以这就像魔法一样。

还有一些其他非常有趣的想法。有一家公司叫做Panthalassa，他们建造了一个海上计算平台。它只是一个200米高的东西，漂浮在海洋上，它产生能量，利用波浪的能量。但这样做，你基本上将能源产生与冷却结合起来，因为你在海洋中，所以你有一个很好的大型散热器在那儿进行浸没式冷却。你把这一切放在一起，你会说，嗯，这可能是地球上最便宜的推理方式。

它需要一点创造力来考虑如何部署它，但他们正在那里建造这些东西。所以总是有机会出现一个有趣的新想法，让你能够以你无法做到的一种方式进行建设。如果我说，好吧，如果它便宜50%或更多，你能为推理和其他方面增加多少计算能力？

我的意思是，鉴于你所说的能源可能在未来成为限制因素，我喜欢人们谈论过这种想法，即UBI就像你给予世界的计算能力，或者是一定量的能量。所以它确实引起了共鸣。你是否期待更多，你知道，很明显，萨姆投资于一些能源公司。你是否期待更多，你知道，这些金融机构之间的交叉点

基础模型公司、超级计算中心和能源供应商？是的，我的意思是，你已经看到了。大多数超级计算中心都宣布了购买电力协议，用于现有或新的核电站，Meta发布了下一代裂变电厂的招标书。在其中一些事情中，有几项收购正在进行中。我认为

再次回到我们如何刺激市场来完成这些事情，如果你从长远来看待这个问题，任何考虑人工智能的人都认为，看，我必须要有数据。我必须要有计算能力。我必须要有正确的算法。我必须要有能量。这是五到十年前我们没有进行的对话，但现在这是一个主要的对话，那就是我们如何以合适的价格获得足够的能源来让我为训练提供动力？但越来越多地，正如我们在推理模型中看到的那样，计算

需求正在从训练转移到推理时间。我认为这变得更加有趣，因为你随后进入消费者的供需曲线，这就像，在运行时，我可以决定我要为这个请求消耗多少计算能力。我越能降低这些请求的成本，我就会得到越多的需求，这就像，我认为推理时间、推理计算的供应几乎是无限的，只要价格合适

点。所以那时你不仅仅是为某人解决问题，你基本上是通过提供大量能源来促进业务增长。这就是像Panther LASA或下一代核聚变技术或其他公司，我认为它们真的可以成为超级计算中心之间增长的决定性因素，而不是

你知道，在23年及以后。是的，因为在每个价格点上，基本上都会有一些大量的新问题会被提出或用例会被使用。100%。这就是这些之间的联系，你知道，我从90年代开始，你知道，互联网在我还在斯坦福大学的时候就出现了，你知道，在互联网繁荣时期工作，在移动转型时期工作，在人工智能转型时期工作。所有这一切背后的顺风是计算的创造者和成本。

你知道，当我在斯坦福大学的时候，他们只是不再要求你学习汇编编程才能获得计算机科学专业的学位。你过去必须这样做。我还是学习了，因为它非常有趣。但这就像，是的，就像从计算中获得每一盎司的计算能力，你知道，周期不再有用。我们可以使用像C这样的高级语言，你知道，

当然，现在就像谁不用Python、Rust或JavaScript或其他一些高级语言来编程一样，每天都在浪费计算周期来提高程序员的生产力。当然，现在我们正在转向人工智能系统来编写我们的大部分代码，并最终运行我们的系统。在许多情况下，对于它们正在做的事情来说，这些系统的效率甚至更低。所以在这个顺风下，计算能力的提高让我们能够做很多事情。我认为……

我认为我在未来10年或20年中所寻找的是，如果你采用同样的概念，并说，如果我们将它应用于能源呢？如果能源成本在未来20年、30年每年下降10%呢？会发生什么？我认为答案是很多非常令人惊奇的事情，从人工智能计算到每个人都能享受空调的舒适生活，再到制造我们以前认为无法制造的东西

燃料。你表达得很清楚，致力于能源工作是必要的，这实际上是围绕这样一个事实：我们拥有这项技术，除非我们解决能源方面的问题，否则它不会被广泛传播和广泛应用于人们。你知道，我觉得这其中的另一部分显然是气候变化及其影响。我很好奇，我觉得人工智能领域很多人在面对这样的想法时，嘿，你知道，短期内有大量的天然气被投入使用来为这些数据中心供电，他们会说，好吧，你知道，这在短期内是会发生的，但人工智能会解决气候变化问题。所以没什么大不了的，这只是，你知道，三四年。

你如何看待这种思维方式以及正在做出的一些短期决策？是的，我的意思是，我不喜欢，然后人工智能会解决这个问题，作为任何问题的答案。我认为它对于很多事情来说都是一个非常有用的工具，但我认为你实际上只是把问题推到了山下。你看……

答案是未来五年将会很混乱，因为如果你想在一两年内在电网上增加千兆瓦的电力，并希望它70%、80%、90%的时间都能运行，那么联合循环燃气轮机是一种非常有效的方法。

如果你不关心气候变化和其他所有后果的话。所以，我认为很多人都在做出理性的决定，说我们现在正在获得电力。我们将购买碳补偿，我们以后会做其他事情。所以你将看到一些奇怪的反转，我们将把一些新的天然气资产投入电网，你知道，用于人工智能，无论如何我们都在这样做，如果你看看美国的能源生产，你基本上会看到煤炭在这样做，天然气在这样做，所以煤炭正在减少，并被天然气取代，然后你会看到底部这个S曲线，那就是太阳能

最终它会赶上我们，并且会非常令人兴奋。但我认为你需要做的是说，看，我们需要做，我们可以同时走路和嚼口香糖。我们需要为一些短期的事情做计划，并让一些事情上线。但是让我们开始在长期我们要做什么方面设置标记。所以，很好，今年100兆瓦的天然气。当我27、28年投入千兆瓦时，那是什么？

有没有什么组合，比如，我可以建造一些太阳能，我可以很快建造？我可以开始尝试将电池备份作为一种方法来延长太阳能的使用寿命吗？我可以投资下一代地热和下一代裂变和聚变吗？基本上要标记一下，我能否稍微提前一点推动这项技术，或者增加它实际实现的可能性？因为如果它实现了，它将成为我所做的一切的巨大推动力。是的。

就像所有这些超级计算中心都应该感到兴奋，如果，你知道，这些聚变公司中的一个成功了，或者如果下一代地热真的突破了。因为这就像，突然之间，太好了，现在我有很多新的供应商可以从中获得能源。听起来不错。现在这是限制因素。100%。这就是你所看到的。我的意思是，谢天谢地，他们中的许多人都在这样做，对吧？他们都在这些不同的领域下注。

我很好奇，作为如此接近这项技术的人，感觉有很多实验正在进行，并且正在尝试不同的东西。在许多方面，我们在人工智能方面也差不多。就像，你知道，如果我们快进三年，我们将更多地了解事情的发展方向。在未来两三年里，关于大规模清洁能源生产，你认为最重要的是哪两三件事？

你知道，有趣的是，我认为如果你仔细观察这些曲线，很多曲线都非常明显。我的意思是，我从2013年开始从事人工智能工作，当时我们启动了Facebook人工智能研究实验室。因为那是第一个传统神经网络赢得ImageNet挑战赛的时候。它以压倒性的优势赢得了比赛，与之前的任何进步相比都是如此。你看着它，说，好吧，什么会让它变得更好？你会说，我们可以添加更多的计算能力，我们可以添加更多的数据，你知道，使用相同的基本算法。你会说，天哪，我们可以添加很多计算能力和数据。

虽然当时它已经很大了，但与其他所有东西相比，它还是微不足道的。所以顺风真的非常有利于你。当我开始对所有气候问题充满热情时，有趣的是，我们面前发生了一堆这样的S曲线。我们的脸贴着玻璃。我提到了太阳能。我们甚至没有谈论电池。我们谈论的是将所有东西都电气化，因为这是最便宜的方式。锂离子电池于1991年上市。

时间不长。它比刚推出时便宜了97%、98%。它的成本仍在逐年下降超过10%。我认为，当你再次考虑计算时，对我来说，进步就像我们把所有这些人力都投入到芯片制造中一样。

就像ASML机器一样，我认为这是有史以来最辉煌的技术之一。如果你真的想深入了解，就去看看这个东西吧。对。然后我们投入所有工作来制造一个我可以放在手掌里的东西。对。这就是人工智能发挥作用的原因。你考虑一下锂离子电池的类似情况。我的汽车里装满了看起来像AA电池的东西。

而且有很多。这是因为我们可以在这些巨大的工厂里非常廉价地制造很多。太阳能晶圆并不大。我可以拿一个给你。所以，每当你发现这些技术能够投入大量研发，扩大其制造规模，并一遍又一遍地制造相同的东西时，这就是推动人类进步的引擎。

我的意思是，你提到过，显然，当你领导Meta的首席技术官时，你看到了早期的ImageNet的东西，并且对你来说很明显，嘿，这是真正可以扩展的东西。我很好奇，显然，你知道，自从那次冒险和启动FAIR以来，Meta已经做了一些令人难以置信的事情，其中许多都是你在监督下完成的。是的。

也许有一段旅程，一直到开源Llama模型。当你回顾这段历程时，计划是否一直是，嘿，我们将投资于这项计算并扩大规模，但要进行开源？是的，如果你看看FAIR的早期以及所做的工作

产生了像PyTorch这样的许多东西，这是当今进行人工智能开发的主要框架。但是FAIR发布了许多其他模型。甚至像FICE这样的东西，这是一种最近邻搜索算法，它存在于许多事情的底层。

但我总是分层地思考技术系统。我认为在旧的网络时代，你过去常常谈论堆栈的多个层。你考虑计算机，我有一个芯片，我有一个操作系统，我有一些在其上运行的应用程序。你在堆栈中越往下，你越希望它商品化。因为这就像，看，世界上每家公司都会构建自己的基础吗，就像训练和构建自己的基础模型吗？

可能不会，对吧？就像大多数人不会制造自己的芯片一样，大多数人不会制造自己的操作系统一样，嘿，让我们都使用Linux吧。它相当不错。我们将为我们想要更改的部分做出贡献。这就像对人类智慧的集合，而不是做很多相同事物的副本，这是低效的。所以……

从一开始，我们对人工智能的愿景就是，看，这是一项基础技术。它将成为许多事物的输入。你将用它来制作有趣的视频。你将用它来帮助进行健康诊断。你将用它来运行电网，发现新材料，各种事情。每一个应用程序都需要大量的特定领域知识，对吧？一个公司，一个行业可以围绕它自己建立起来。但在那之下，有一些东西是通用的。

这就是现在被称为基础模型的东西。一开始，它是工具，比如PyTorch。这是第一件事。这就像，好吧，我们训练这些模型的方式，我们至少可以共享那里的工作。让我们从那里开始。CUDA是其中的一部分，以及其他底层的东西。所以我的想法一直是，让我们获得这项技术。然后，从一个自私的角度来看，从对Meta有利的角度来看，我的论点一直是，我们知道如何将它应用到我们领域的各种产品中。完美。

构建伟大的社交产品、伟大的广告产品、伟大的消费产品。所以作为首席技术官，我的目标一直是，我该如何确保我们的公司能够获得构建我们想要的产品所需的最好的技术？那里重要的词是访问，而不是我们制造的，对吧？我并不关心我们是制造的还是其他人制造的。我关心的是我们能否获得它。

如果它是开源的并且被广泛使用，那么根据定义，我们可以访问它。如果我们正在帮助开发那个开源的东西，那么我们不仅可以访问它，我们还在帮助推动它。这就像所有可能的世界中最好的一种。你得到了来自世界各地的很多合作，我们以0美元的成本获得了明显的访问权限，对吧？这对公司来说是最好的结果。

我的意思是，每次你发布这些模型时，人们都在进行各种推理优化，并找到运行它们更快的方法。是的。它也加速了。我认为它加速了进步。我认为美国创新的定义是去中心化的创新，但在正确的点上进行合作。我认为开源就是其中之一。我认为科学出版物就是其中之一。就像你越能这样做，我就越能从你的工作基础上开始构建，而不是自己复制所有东西。然后我们可以更快地取得进展。对我来说，这就像，让我们更快地取得进展。让我们使人工智能更强大、更有用。然后我们将弄清楚如何将其放入我们的产品中，并将其转化为股东的回报。

你提到了PyTorch，显然，这是你们开发并非常广泛使用的一项特定技术。当你考虑当今开发人员的格局以及人们正在使用的东西时，如果你还在运营该组织，你认为当今开发人员工具中有哪些差距，你已经使用过这些模型了吗？好吧，我的意思是，

经典的向开发人员工具的过渡，你开始向上移动堆栈，对吧？你知道，我们将讨论从汇编代码到C，再到Python。你知道，PyTorch很棒，但是模型架构通常不是人们现在创新最多的地方。就像我们正在做的那样，有些人正在做，但是对于大多数人来说，你知道，转换器或其他东西都在那里。但是你开始谈论它周围的所有系统。我该如何收集我的数据集，进行预训练？我该如何进行后训练和RLHF和RL？所以这更像是一个系统设计问题，而不是过去那样。然后我该如何管理，好吧，这很棒。我有一个25000个节点的集群，这意味着在任何一个时间点，其中一些节点肯定都已关闭。我该如何管理？

重新启动，做检查点，所有这些系统管理。所以我们知道这种情况会发生，但它已经从坐在我的办公桌前工作转变了。我把这个比喻带入物理学。如今，如果没有

你知道，超级云或其他什么东西，很难做物理学。并不是每个物理学家都在他们的办公桌下有一个，对吧？你必须有一台大型机器才能做到这一点。就像，我们从，我过去在我的办公桌下有GPU，在这里做很多工作，到，我需要一个集群，我需要很多软件和其他东西来管理它。所以我认为这是，你知道，它已经转移到从训练到后训练到推理的整个系统设计，以及我们如何管理所有

所有这些。你之前提到过，显然，这里堆栈的一个关键部分是硬件本身。我觉得，你知道，在过去几年里，从，你知道，超级计算中心和构建他们自己的硬件方面，有一些有趣的举动。我知道MetaZop也做了一些这样的事情。你如何看待，或者当你还在那里的时候你是如何看待应该扮演的角色？而且，你知道，你，你知道，

同样地，并非每个人都会训练自己的模型。我们应该有多少人在训练自己的硬件？是的，这是一个很好的问题。我的意思是，我经常谈论这个问题，因为我做了很多深度科技投资。所以我们会和人们交谈，我认为了解你的供应链，以及哪些部分可以外包，哪些部分应该自己拥有，是一个非常关键的部分。

对于任何公司来说都是一个问题。我认为科技公司的酷之处在于，你有选择权，对吧？你不必购买所有东西，如果需要，你可以自己制造。在正确的时刻行使这种选择权，真的非常关键。你知道，当我2008年加入Meta（当时是Facebook）时，我们所有的数据都是租赁的，其他人建造建筑物，对吧？我们购买其他人制造的服务器，并将它们放在建筑物中，然后在其上安装软件。你知道，当我们开始扩大规模时，他们建造的速度不够快。

实际上，我们租赁的数据中心效率极低。所以我们自己建造了数据中心。因此，我们从头开始建造了一个数据中心，然后开始在该数据中心中建造服务器。重要的是，我们在第一代数据中心中并没有建造每一件设备。我们从当时的网络服务器开始，它们是最频繁的，也是数量最多的服务器。然后我们逐步完成了堆栈的其余部分。如今，在元数据中心中找到一些

不是Meta设计的设备可能很难，就盒子本身而言。你知道，当时英特尔制造了很棒的芯片，所以我们不需要制造CPU。我们可以直接从英特尔购买，因为它大致符合我们的需求。所以我认为始终重要的是要问自己，好吧，在我购买的所有东西中，我是否得到了我需要的东西？我认为，英伟达制造了令人难以置信的优秀技术。Jensen是一位英雄，也是一位朋友。他是一个持续研发投资的典范，就像

他擅长的事情是不断地再投资，建立更深层次的模式。但我认为许多公司，当GPU的成本成为资本支出中一个重要的项目时，你就会开始问自己这样的问题：我们能做得更好吗？有什么方法可以专门化我的芯片的使用方式，使其更便宜、更好、更快？我认为这是许多人都提出的问题。我认为对于不同的公司来说，这是否合理会有不同的答案。

我觉得过去可能有更多的时间来思考和做出决定，而现在一切变化的速度如此之快，我不知道，你经历过很多这样的浪潮，但感觉速度快得令人难以置信，你一直在想，如果我现在做出建造的决定，六个月后出现一些新的东西，我会后悔吗？芯片的糟糕之处在于，最好的方法是

收益，很难用通用芯片击败英伟达，因为他们的研发预算可能比你高。他们有一个伟大的团队。所以如果你的目标是制造更好的GPU，一个通用的浮点运算机器，我对你能在那里做任何事情的希望很小。

唯一真正的乐趣是专门化，然后说，好吧，我知道这个特定的算法。我将把它实现到硬件中。通常情况下，如果你将软件转移到硬件中，你应该期望每瓦特性能或价格优势提高约10倍。但是你必须猜对算法。

所以我是否真的在其中嵌入了一个transformer架构？然后两年后，我的芯片真正问世时，是否会出现某种不同的变体，或者流程的其他部分更大？所以这是一个非常微妙的平衡，因为如果你能做到，你可以做得很好。如果你错过了，你的芯片可能毫无价值，因为它根本无法运行我想要它运行的算法。所以我认为你只是看到很多人试图弄清楚这里有哪些杠杆作用的地方。

即使在人们对这些数据中心的承诺上，对吧？在知道在哪里之前，提前数年，显然，所有科学都指向规模定律，但在未来一两年内可能会出现很多可能改变的东西。当然。人们在未来两年内做出的承诺。我认为这是一个更容易的赌注，因为我认为你可以将这种能力用于许多其他事情。你需要为某事计算的想法并不难。这就是为什么英伟达继续做得很好，因为如果你购买GPU，比如说训练并不那么重要，它们不是。

对于推理来说效率很高，但它们可以用于推理。所以你不需要扔掉它。所以我认为这是一个相对安全的赌注。我认为更多的人对想要做某事然后意识到感到沮丧，我的意思是，这是我工作中最难的部分。我记得早期的时候，我们正在建造我们的第一个数据中心。我想，好吧，你需要多少容量？我想，

我说，“我不知道。”你问我18个月后有多少人会使用我的产品。我没有办法知道答案。他们说，“好吧，我们必须订购钢铁。你不能只订购它。我不能在建成前一天去家得宝为你建造一个15万平方英尺的设施。我需要现在知道。”就像，呃，这种阻抗不匹配，“我不知道，但我们正在努力解决一些你必须提前两年做出决定的事情”，这在物理世界中是任何事情。

对于我所有在超大规模公司的朋友来说，都是一个真正的打击。你从中学到了什么？我的意思是，你肯定多次不得不做出这些决定。别搞砸了。现在，低估是痛苦的，高估也是痛苦的。但我认为我更后悔低估而不是高估，因为……

看到事情发生却缺乏所需的容量去追赶和获得它，这真是令人沮丧。如果你有额外的容量并且需要处理它，这就像一个财务问题。但如果你没有容量，它就像一个技术和产品问题。我认为这是一件更令人沮丧的事情。你知道，另一件事是，我认为有很多技巧。这是，你知道，当我们看……

看看硬科技公司，如果你认为这是一个经典的例子，你知道，回到芯片设计流水线，你知道，我有一个多阶段流水线，我必须像去寻找一块房地产。我必须买下它。我必须建造它。我必须做所有这些事情。就像有一些技巧可以用来部署，以便像

优化该流水线，让你能够减少延迟或隐藏它，或者在不同的阶段给你更多的灵活性。所以我认为我们已经学习了很多技巧，我可能无法详细分享如何更有效地做到这一点。但我认为这就像任何事情一样，如果你优化了这个问题，你可以做得非常好。

你负责监督了很多有趣的事情。其中一件我想谈谈，因为我认为这会很有趣，你知道，你显然拥有Oculus和整个VR世界。显然，这始终是Meta平台的一个宏伟愿景。我想象一下，现在你可以用这些生成模型做很多很酷的事情。我很想知道你是否可以对现在面前的机会进行一些评论。是的，我的意思是，我认为，我的愿景就像电影《黑客帝国》中的操作员，你知道，你的AI模型。

这就像你将来可以用VR做什么，我可以沉浸在我想要的任何虚拟世界中。这方面的真正限制因素是内容的创建。就像创建真正优秀的内容需要很多工作。

内容。所以，如果你能想象一个3D世界中的生成式AI系统，它允许我几乎瞬间创建任何我想要的东西，那将是一种令人难以置信的活动。所以它有点像《黑客帝国》的呼叫，“嘿，操作员，我想要这个，我想要那个。”它就像出现了，我就在那个世界里。现在，我们不是，这不是明天，这不是明年，但它肯定在我们未来几年的掌握之中，我不知道X是多少。

所以这显然非常令人兴奋。然后我认为另一件真正令人兴奋的事情是，一个情境AI无处不在陪伴我的想法，对吧？所以如果我有一副智能眼镜，它能够帮助我，无论是实时翻译，所以我在某个地方旅行，我想用对方的母语与某人交谈，我想翻译菜单，想要帮助我了解上下文，它同时也是我正在观看内容的导游，

或者将我与朋友和家人联系起来，让他们参与到这种体验中，或者分享记忆或从记忆中记住他们。这将是相当具有变革意义的。我认为我们还没有，AI领域发生了很多有趣的事情，但我仍然在做一些额外的事情。就像我发短信或去我的电脑上做的事情一样。而它始终陪伴我的想法是我们尚未真正体验到的。尽管人们已经通过多种方式尝试过。我认为这是你将在未来几年看到的，而且我会

感觉人们仍在试图弄清楚外形尺寸，但显然，你的前雇主有眼镜，很多人都在尝试各种不同的硬件。我想我在气候方面也问过类似的问题，但在AI方面，我的意思是，每个人都在问，你知道，未来两三年这个世界的走向是什么？你目前最关注的关键问题是什么？呃，

你会在未来一两年内关注到什么？是的，我的意思是，最近发生的一件显而易见的事情是涌现的，你知道，很久以前，一两年前，最大的问题是，关于规模与算法的争论，就像你可以通过扩展LLM走多远？

我认为答案是我们正在达到收益递减。只是直接预先通道，大量数据到一个直接的语言模型。所以问题是，接下来是什么？我认为令人惊讶的事情是将LLM视为某种输入到推理模型中

通过训练后的RLL或类似的东西，允许你使用LLM，但在外部获得更好的结果。所以我认为这真的是，我很想知道，这有多少腿？所以这是我们可以转动两年的曲柄，五年，十年？

有多少领域容易验证？没错。或者我们只是缺少其他组件？显然，一个很大的问题是内存。Gemini 2的百万token上下文窗口非常惊人，但你真的想要某种联想式长期记忆，而这正是人类所拥有的。而我们仍然在LLM中缺少这一点。

然后我认为一旦你进入难以验证的领域，我认为你会遇到很多困难。数学很棒，因为你可以验证你是否得到了正确的答案。编码很棒，因为你至少可以知道它是否可以编译。那里有很多数据。一旦你进入视频和其他类似的东西，就很难知道在哪里为模型打下基础。所以我认为这就是我们将面临一些困难的地方。我想转向你今天关注的气候问题，

你认为AI在气候方面有哪些最有趣的应用？我认为有很多。我喜欢思考这个问题的方式是一个AI可以解决的非常关键的问题。一个是探索。这可以有多种形式，但地热勘探。有一家名为Zanskar的公司基本上说，看，有些地方，如果你在正确的地方钻探，热水就会喷出来，或者蒸汽会从地下喷出来。这就像一个神奇的能源来源。

所以问题是，我们能否找到更多这样的地方？与其只是在很多地方钻探，我们能否利用数据来分析它？所以他们试图利用AI来找到地热资源的最佳地点。我认为还有很多其他的例子。如果我在寻找铜矿床，如果我在寻找氢气，我在寻找某些东西。与其挖掘东西并试图找到它，我能否利用数据来找到它？这是一个巨大的、非常有趣的领域，我认为我们将看到更多

有点更普通但有用的天气预报和其他类似的事情。保险，其他事情。我能否更好地预测不同事物的风险？然后我想说可能更令人兴奋的是

我们需要发明新材料或优化新材料。无论是用于碳捕获，还是用于不同类型反应的催化剂。同样，你在这里，就像我在搜索一个具有特定属性的多维空间。我知道我能否更快地找到它，或者产生一堆我可以迭代和测试的例子？所以材料发现和其他类似的事情。即使在气候之外，你知道，

我们刚刚成立了一家公司，致力于通过AI发现癌症治疗方法。我认为我对这方面在寻找其他药物靶标方面持乐观态度。

这就像这样的想法，我有一个巨大的变量空间。我能否将其缩小到20个、30个或1000个可能实际上是，然后去测试它们？这是一个我认为AI已经在很大程度上有所帮助的问题空间。我的意思是，这项AI材料科学工作非常有趣。我认为令人着迷的是，最终对将这些东西推向市场的最终公司来说，哪些里程碑才是重要的。就像我觉得

在生物领域，传统上，问题一直是存在所有这些令人惊叹的靶标识别或看起来有趣的东西，然后事实证明你仍然必须进行五年以上的试验。我觉得在材料科学领域，感觉上等同于人们说，哦，这是一种有趣的材料。现在你能以一种有趣的方式大规模生产它吗？百分之百。

这感觉可能会限制，即使你能找到非常酷的材料，作为一个公司，你能实际带来多少，理想情况下，我想，这方面的外包合作伙伴。但是，你能实际带来多少大规模生产来展示？在生物领域，一直存在所有这些平台公司，最终只能将一两个资产推向市场。是的。我很好奇你，但你一定经常看到这些公司。是的。实际上，就像我一样，我长期看好AI。我认为对于这些短期应用来说，它被过度炒作了，原因正是如此。

我经常描述它的方式是，给我一个饼状图，显示将这种新材料推向市场所涉及的所有活动，包括时间和成本。然后，你的AI解决方案实际上解决了多少饼状图？在许多情况下，它就像低于10%。就像，哦，是的，我们在这里有这个发现部分，但是然后我必须弄清楚，实际上困难的部分是大规模生产。

这对此毫无帮助。所以我必须做所有这些工作，然后我必须找到客户并走出去。所以获得一些新的发现实际上并不能帮助你。所以我认为有趣的解决方案是那些更直接的端到端解决方案。例如，这就是为什么地热发现很有趣。因为新资产的勘探是人们真正关心的一项活动。

它使这项工作变得更快。它就像，哦，好吧，这真的很令人兴奋。这对我的底线来说真的很有影响。所以找到那些你可以直接做到的联系。从更面向消费者的角度来看，我们支持的一家公司实际上是一家科技创始人的公司。Selena Tabakawala创立了Evite，曾在SurveyMonkey工作。她有产品工程背景。她正在攻击消费者的家庭效率和舒适度。

它就像，“嘿，我的房子有点通风，我的电费太高了。我该怎么办？”它就像，“好吧，你可以让一个人开着卡车来检查你的房子，或者我们可以让AI来做这件事。”你将一个小型的热像仪连接到你的手机上，你只需在房子周围拍摄一些视频，然后发送进去，他们的AI代理会处理并向你发送报告。它就像，“好吧，这是你可以做的五件最重要的事情。在这里添加隔热层，更换你的冰箱，更换你的热水器，投资回报期为七个月。”

这很有影响力，对吧？而且这是一件大多数消费者不会等待有人出现并为此支付500美元的事情。但对于50美元或100美元，他们会做一些能省钱的事情，投资回报期为六到十二个月。所以这是一种直接的应用，你不会认为这是AI，但它确实是AI，因为这就是我们在没有人工的情况下解决这个问题的方式。

百分之百。我想在未来，这将被整合到我们随身携带的个人代理中，并自动订购。是的，当我走过我的房子时，它就像，顺便说一句，我必须给你的前门加隔热层。它就像，好吧，我会处理的。在个人方面，我很想知道你今天如何在日常生活中使用AI？这是一个有趣的问题，因为我定期尝试将其用于我们进行的一些投资工作。我认为

我的意思是，今天早上Hacker News上有一篇很棒的帖子，关于一位本科生基本上找到了一种新的排序算法。对不起，一种新的哈希算法，以提高超级技术性东西的性能，哈希表。所以这是一个很好的例子，我最喜欢的LLM用途之一是，拿这篇复杂的论文，你能正确地解释给我听吗？

它在总结方面做得相当不错，但是当我要求它提供示例时，它们是不正确的。所以我发现这很有趣。所以我认为提炼大量信息，我发现深度研究实际上出奇地好。在我的世界里，我们所做的很多事情都是主题投资。它就像，好吧，地热。地热的正确方法是什么？或者我们对生物炭有什么看法？所以我要求深度研究基本上对所有这些事情生成报告。我会说，它就像，

它相当于一个相当聪明、非特定领域的普通人。如果我带一个对该领域一无所知的商学院学生，并说，花一周时间进行研究，然后为我总结所有不同的反应堆设计，并给我一个猜测，它在15分钟内就达到了多好。相当不错。我通常将其用作总结和其他事情的加速器，但我希望仔细检查所有数据，因为它不幸的是，并不总是准确的。

这是一个我总是喜欢问播客嘉宾的问题。你有孩子。我很想知道你如何看待AI将如何改变他们的生活，以及这是否影响了你养育孩子的方式或你想要传授的技能。是的，这很有趣。我认为随着技术的进步，我认为基础知识变得越来越重要。我的意思是基础知识，人类仍然最擅长查看大量数据。答案越明显，机器或AI就越能弄清楚。

而且越像你对不完善的数据做出直觉判断，人类就越有趣。所以从字面上来说，批判性思维能力、基础数学、写作、阅读，所有这些技能都参与其中，并且以更高的层次进行思考。你知道，我们的两个孩子都会编程。我不认为，你知道，我不知道他们是否会全职从事编程工作，但了解事物的工作原理。而且，你知道，

我认为在我职业生涯中对我帮助最大的两项技能，当我回顾那些具有形成意义的事情时，是高中时我参加了辩论队。我玩得很开心。你是一个文艺复兴时期的人。在全国辩论赛中。但从一开始，就像站在人群面前说话对我来说并不是什么大不了的事情。

这并不意味着我擅长它。我只是不为此感到紧张。但它也要求你考虑，我必须说服你。我试图说服你和你的听众，我们正处于下一场大革命的开始，那就是能源。然后我认为第二点是斯坦福大学的计算机科学和工程学真正教会我的，就像，

我认为我们是用C语言学习的，然后我学习了C++。但我很快意识到语言并不重要。重要的是基础知识，例如计算机是如何工作的，以及处理数据的不同方法是什么？然后我如何分解问题并理解它们？然后我如何拥有足够的自我，看，如果我认真思考一个问题，我可以学习任何东西？

所以在这里，我正在谈论聚变。我不是等离子体物理学家。我对它了解得相当多，但我可以学习尽可能多的东西来投资我的时间和精力。如果我能为我的孩子们许下任何愿望，那就是这项技能。就像，只要把你的心思放在上面，你就能学会它。不要做任何“我不是X人”的废话。当我听到人们对我说这些话时，我不是技术人员，我不是科学家，等等。

我认为每个人都有学习东西的能力，如果你真的把心思放在上面，并且每次都开始剥离一层一层地理解它。这正是我希望更多人拥有的技能。

人们拥有。希望借助一些这些AI工具，深度研究将成为一个有用的工具。它就像一个非常快速的导师。它就像，“嘿，我不明白。这是什么意思？向我解释一下。”这是一个令人惊叹的助手。它就像，“好吧，我不会因为你不理解而评判你。答案在这里。”当我用更简单的方式解释它时，我总是喜欢它变得非常简单。是的，像给我解释一下，就像我是一个六年级的学生一样。它就像，“好吧，现在明白了。为什么你不一开始就那样说呢？”

我的意思是，我想你提到了，显然，这种，我认为编码是这些模型取得最大进展的领域之一。就像你运营这些大型科技组织一样。当你考虑五年后运行这些大型团队的CTO时，哪些方面保持不变，哪些方面将从根本上不同于这些组织和这个角色？是的。我的意思是，我认为它会比人们想象的更相似。如果你考虑一下

想想90年代工具的质量、代码库的大小。当时就像，我们能否编译整个代码库？这是90年代常见的挑战。就像没有人再谈论它一样。团队规模已经变得巨大。代码库已经变得非常庞大。所以我们只是得到了这些……

一个笑话。就像你用铲子挖掘，然后挖掘机出现了。它就像，哦，这快多了。让我们这样做。所以我认为这只是它的延伸。它就像，你知道，对我来说，AI是，AI是，

AI之于编码，就像JavaScript之于C，之于汇编语言。它就像，好吧，酷。我正在以越来越高的抽象级别表达我的想法。在AI中，它是终极的。它就像，为我编写一段代码，以以下方式对以下数组进行排序。这显然比调用标准库中内置的排序函数要快，而这显然比用汇编语言从头开始编写要快。但我认为最终，回到我们之前的观点，它就像，

真正重要的是，我们要解决什么问题？什么值得追求？我该如何组织这群聪明人去解决这个问题？这是一种普遍的技能，就像，我有所有这些很酷的技术，但是，我们真的深入研究了这个排序算法吗？或者我们是在为客户解决这个问题吗？要解决什么重要的问题？当我与人共事时，我寻找的一件事就是，有些人可以在脑子里运行这个优先级队列，他们一直在重新排序。他们总是把最重要的问题放在首位。

还有一些人很聪明，很棒，可以做各种事情，但他们很容易分心。他们会去解决一个1%的问题，对吧？你会想，啊，这无关紧要。回到99%的问题上来。你的东西好10倍也没关系。所以，你知道，在个人和组织中获得这种技能，就像，我们是否专注于最高层次，也就是最重要的事情？而且，你越能做到这一点，你就能使用所有这些强大的工具来构建一个令人惊叹的产品和一家令人惊叹的公司。

你认为做到这一点所需的组织规模会改变吗？显然，人们会谈论，哦，他们将成为第一家拥有10名员工的十亿美元公司，或者类似的东西。我的意思是，我认为你看到公司发展得更快，规模更小的团队也能做到。所以，是的，我认为团队规模会缩小。

我们总是喜欢在采访结束时进行快速问答环节，我会让你对我们最后塞进的一些过于宽泛的问题发表看法。一个过于宽泛的问题和一个快速评论。所以，也许首先，你认为今年的模型进展会与去年相同还是不同？我认为会更多。每当出现新模型时，你会尝试什么？为我总结一篇非常复杂的论文。你对所有这些人工智能进步对未来的影响以及它将如何不同的最奇怪的预测是什么？

我认为大多数人都会有一个AI朋友。

这些AI朋友是否也与……交叉，你知道，我觉得人们已经尝试过，你知道，像，与一些AI人员和一些真人进行群聊，或者，你知道，这些世界最终会有多分离？我认为这可能是，也许你会在群里叫那个朋友，但就像，如果你曾经有过这样的经历，你有两个不同的朋友群体，他们有两个不同的爱好，你可以把他们放在一起，这有点尴尬，你知道吗？所以我认为，我认为真正的价值在于一个不评判的、在你团队中的，就像，你想要一个什么样的朋友？就像，我希望你站在我这边，就像，我希望你，你知道，把我的利益放在心上。我认为……

比我们意识到的更多的人会从AI聊天机器人那里找到这一点。我想回顾一下你建立FAIR并显然在Meta非常成功地运营它的时间，2020年的后见之明，我们已经了解了很多关于AI的知识，但你回顾过去有什么后悔的，或者你认为，哦，我希望我们做了X或Y的事情？我的意思是，有很多值得兴奋和自豪的事情。我的意思是，像PyTorch，

你知道，Llama，你知道，我认为即使在过去的几年里，人们也开始意识到，当Meta真的全力以赴地为Llama开放权重时，这不是一个特别常见的决定。我认为人们开始意识到这种力量。所以我认为这是我们长期以来一直坚持的信念之一，我认为这是正确的。我们在那里站在了历史的正确一边。你知道，我认为

你知道，这种关于规模化与算法的争论。我认为有一段时间我们在内部进行过同样的辩论，我认为我们可能可以更快地转向规模化。好吧，我一直喜欢把最后一句话留给你。所以，你知道，人们可以在哪里了解更多关于你和你今天正在做的工作的信息，或者任何你想指引人们去的地方？麦克风是你的。

好的。我没有提供我的赞助商名单。我喜欢PowerAid。哦，不。说真的，我的意思是，你可以访问gigscalecapital.com找到我。你可以在LinkedIn上找到我。我偶尔会在X上，经常在Threads上。所以，在任何这些地方都能找到我。太棒了。好吧，非常感谢。这是一次很棒的谈话。很高兴见到你。

大家好，我是Jacob。在你离开之前还有一件事。如果你喜欢这次谈话，请考虑给节目留下五星评价。这样做有助于播客接触更多听众，并帮助我们邀请最好的嘉宾。这是一集《无监督学习》的节目，这是Redpoint Ventures的一个AI播客，我们在这里探究AI领域最敏锐的头脑，探讨今天什么是真实的，未来什么是真实的，以及这对世界上的企业意味着什么。

随着AI快速发展的步伐，我们的目标是帮助你分解和理解最重要的突破，并更清晰地了解现实。感谢收听，我们下期节目再见。