Rethinking Conferences, Chinese GPT-3, Farming Robots, Lyft's AV Sale
35:34 Share

<raw_text>0 你好，欢迎收听Scandia Day的《让我们谈谈AI》播客，在这里你可以听到AI研究人员关于AI实际情况和那些只是点击诱饵标题的讨论。这是我们最新的《上周AI动态》节目，你可以快速了解上周的AI新闻，以及两位AI研究人员对这些新闻的讨论。首先，我们将把时间交给Daniel Bashir，让他总结一下上周AI领域发生的事情。

我们将在几分钟后回来，深入探讨这些故事并给出我们的看法。你好，我是Daniel Bashir，带来我们的每周新闻摘要。本周，我们将关注绿色神经网络训练、Lyft的自动驾驶部门、虚假卫星图像和智能膝盖支架。近年来发现，现代深度学习模型的碳足迹巨大。

正如Synced Review报道的那样，谷歌和加州大学伯克利分校的一个研究团队研究了流行的大规模模型的能源使用和碳足迹。在他们的出版物《碳排放与大型神经网络训练》中，团队介绍了减少策略，并支持之前关于出版规范的呼吁，以使能源使用和排放更加透明。

提高能源效率的机会包括使用较小的深度神经网络，这些网络在不牺牲准确性的情况下消耗更少的能源。团队还发现，明智的处理器、硬件和数据中心选择可以帮助将完整深度神经网络的碳足迹减少100到1000倍。

接下来，在Uber的自动驾驶部门被Aurora吸收后不久，Lyft将其自己的自动驾驶团队Level 5出售给丰田的Woven Planet Holdings子公司。正如TechCrunch报道的那样，Lyft将获得5.5亿美元的现金，其中2亿美元作为收购协议的一部分提前支付。Lyft Level 5团队将继续在其帕洛阿尔托办公室运营。

此次出售结束了Lyft四年来开发自己的自动驾驶系统的努力，并从其预算中移除了一个昂贵的年度开支，因为它追求盈利。Lyft表示，Woven Planet协议并非独占，Lyft将继续与其他公司合作，例如Motional，Lyft与其合作推出了一项在Lyft网络上提供自动驾驶车辆乘车的实验。

当我们想到深度伪造时，我们想象的是在社交媒体上出现的AI生成的虚假信息、Twitter机器人等。但正如The Verge报道的那样，一些研究人员担心深度伪造地理，AI生成的城市和乡村图像，

AI生成的卫星图像可能被用来制造关于野火或洪水的骗局，或使基于真实卫星图像的故事失去可信度。这与更广泛的担忧相符，即深度伪造的存在可能会质疑我们愿意相信的事物。深度伪造地理也可能成为国家安全问题，并影响军事规划。

华盛顿大学的教授Bo Zhao表示，使用地图撒谎是一个有几个世纪历史的现象，但正如他的实验所发现的，深度伪造的卫星图像由于其逼真性而带来了新的挑战。对Zhao来说，最重要的是提高意识，以便地理学家不会措手不及。

最后，许多公司正在研发机器人外骨骼。虽然我们可能离功能齐全的钢铁侠套装还很远，但这些技术确实有能力影响人们的移动和工作方式。Roam Robotics就是这样一家公司。根据TechCrunch的报道，Roam用织物而不是金属制造辅助设备。虽然织物的强度低于金属，但更适合日常使用。

Roam最近推出了一款智能膝盖支架，该支架已注册为FDA的1类医疗设备，并使用AI进行自适应技术，能够感知佩戴者的运动并相应调整。该产品符合Roam帮助世界上大量因行动受限的人群的目标，提供可穿戴机器人。这就是本周新闻汇总的全部内容。请继续关注我们对近期事件的深入讨论。

谢谢你，Daniel，欢迎回来，听众们。现在你已经了解了上周新闻的摘要，欢迎继续收听两位AI研究人员对这些新闻的轻松讨论。我是Andrey Kourankov，斯坦福视觉与学习实验室的三年级博士生。我主要关注机器人操作的学习算法和机器人强化学习。与我一起的是我的联合主持人...

Sharon，你快要毕业了。所以你可能会怀念或不太怀念的博士生活中的一件事就是会议，当然。哦，是的，有积极的一面，也有消极的一面。积极的一面。旅行。会议是我认为大多数人都同意的研究学术界非常愉快的一部分。你知道，你参加一个大型活动，展示你的研究，与你的同事互动。

你知道，其他研究人员了解很多东西，出去喝酒，参观世界不同的地方等等。所以至少在COVID爆发之前，这是一种相当标准的生活方式。

我们提到这个是因为我们这里的第一篇文章或博客帖子是来自一位名叫Julian Togelius的研究人员，他是一位教授。他写了关于重新思考大型会议的文章，给出了对会议现状的看法，以及我们是否应该修订它们的举办方式。

为了设定场景，基本上这个灵感来源于AI，因为它变得如此庞大，现在出现了巨型的超级会议。所以像NeurIPS这样的会议有超过10,000名与会者。

我认为CVPR，计算机视觉会议也是类似的。还有一大堆真正巨大的会议，数千人，EMNLP，ICRA，IRAS，很多。

所以这篇博客帖子基本上就是关于这个问题，并质疑这是否真的有用。为了快速总结，这种现状有几个批评意见。其中之一是

你不太可能看到许多与你实际相关的内容。所以有成千上万的演讲，数不胜数的海报，而作为研究人员与你个人相关的部分非常少，因为这些会议太大了。还有其他问题被指出，比如，

例如，鉴于规模，审稿显然相当棘手，你有成千上万的提交，其他研究人员需要审阅它们。研究表明，很多情况下，这种机会并没有很好地运作，实际上是有点破碎的。是的。

此外，它还会抑制一些奇怪的论文。你想要保守，你想要遵循我们的做法，以便你的审稿人不会感到惊讶并没有理由拒绝它。然后它还指出，人们可能认为这对网络建设有好处，但在这些大型场所，如果你不认识人，可能就不那么好。

是的，所以这是一个快速的总结。我很好奇，Sharon，你一般同意吗？这些批评中有没有更或更少让你认同的？

是的，所以昨天，实际上今天也是iClear，ICLR，这是一个大型机器学习会议。我昨天展示了一张海报。我会说这并不完全相同，因为我觉得我们有这些面对面的会议，任何面对面的活动都是疯狂的。

我会说这是一个不同的体验。但话虽如此，我的意思是，如果我们不总是飞人，这将大大减少碳排放。所以我认为在某种程度上，它确实能够提供更好的体验，让人们能够与更多的人互动。而且更多的人可以参加，因为，有时旅行更困难。但另一方面，我确实认为。

体验与会议非常不同。我觉得就我的工作而言，它没有得到那么多的曝光，这对我来说其实并不在乎。但我认为在某些情况下...

实际上，如果你所在的团队的媒体关注度稍微低一些，那就会很重要，能够面对面与一些杰出人物交谈，了解他们，然后一起出去吃晚餐或其他事情，这种奇妙的临时活动在会议期间会发生，它们是

令人惊叹的。你会随机碰到某人，然后问：“想一起吃晚餐吗？”你和一大群人一起吃晚餐，真是太有趣了。你认识了很多人。我认为在虚拟活动中没有这种体验。确实。是的。这是一个有趣的观点，实际上在他的博客帖子中没有提到的，随着COVID的爆发，一切都变得虚拟，大家都通过各种Zoom电话等方式参与。

而且在Gavrida镇也有社交活动。是的，这绝对是一个不同的体验。我认为我们之前讨论过这个话题，提到它降低了入门门槛，减少了碳排放，但同时，体验确实较弱，获得的收益也更少。我认为这也涉及到这篇博客帖子提出的一个观点，

即与其举办这些巨型会议，不如举办更多针对每个子领域的小型会议，而不是这些涵盖一切的超级会议。他的观点是，我们有更多的小型会议，而大型会议仍然可以存在，但它们将没有审稿过程。相反，它们将只接受来自这些小型会议的论文，对吧？

这似乎确实是一个有趣的建议，我想是的，这让我想到了这篇博客帖子所提出的，我们是否只是陷入了80年代或70年代的旧会议范式，当时你没有互联网，因此你需要面对面见面，带着打印的论文和海报来传达你正在做的事情。

我们是否没有抓住现在重新思考和重构一切的机会，而是盲目地继续我们几十年来一直在做的事情？

是的，我的意思是，这是一个好观点，你知道，我认为我们可能在某个时候注定要分开，但我想人们总是乐观的，你知道，一些领域会聚在一起，特别是在多模态工作方面，这些事情可能会带来更多的跨学科工作。我不确定这在多大程度上会发生。是的。另一个这篇文章没有提到，但我认为相关的是，会议...

这些大型会议通常也有研讨会，通常你的工作会被批准参加会议，也会参加研讨会。你的研讨会更具体，真的非常具体。可能只有一百人，不多，只有几十个海报，例如。

在最大的情况下，欧洲的深度强化学习会议仍然小得多。所以就个人而言，我确实认为我更喜欢研讨会。我也喜欢他提出的转向不同模型的想法，重新思考事情的运作方式。这样我们就有更多灵活的地方可以去。开玩笑的。

但我认为现在规模太大，实际上只有很少的地方可以在世界上举办如此大型的会议。是的。正如你提到的，我个人觉得要求旅行是相当有问题的，因为碳成本以及一些学生可能没有资金。这是相当昂贵的。因此，你知道，这，

精英大学，甚至更多的奖学金获得者，这对来自不同地方、不同背景的人进入这个领域并不好。对，没错。好吧，谈到碳排放，我们的下一篇文章标题是“谷歌和加州大学伯克利分校提出大型神经网络训练的绿色策略”。这来自Synced Review。

随着这些模型变得越来越大，显然在训练这些模型和可能微调这些模型的过程中会产生巨大的碳足迹，这意味着在训练这些模型和调整这些模型的过程中会进行大量的计算。

因此，伯克利和谷歌共同撰写了一篇关于碳排放和大型神经网络训练的论文。他们提出了不同的减少碳排放的策略，并

支持之前关于某些出版规范的呼吁，这些规范旨在提高能源使用的效率，并使我们发布的这些庞大机器学习模型的透明度更高。有趣的是，他们发现我们可以通过更好的硬件和处理器决策将神经网络的碳足迹减少100或1000倍。

当然，这可能也涉及成本因素。但如果我们能减少这么大的数量级，也许我们应该更有战略性地思考我们所做的事情。通过在出版物中报告这些，鼓励人们更有意识地思考。

我知道这就像伦理问题一样，人们会说，哦，更广泛的影响。这到底对事情的影响有多大？我认为这确实会引发这种思考，让研究人员觉得，我确实需要考虑这个问题，我确实需要把这个整理出来，我确实需要在某个时候准备这个。希望这会随着时间的推移开始改变事情。你对此有什么看法，Andrej？

是的，我认为这很酷。我们在过去几年中看到类似想法的开始。特别有一篇论文讨论了如何计算不同模型的碳成本。但在过去，我认为他们主要强调训练模型的成本。而我真正喜欢这一点的是，它关注的是，至少就我所能看出的，实际的使用寿命。

例如，随着我们训练更多模型，例如GPT-3，这是一个已部署的模型。OpenAI将其作为服务出售，并计划在多个数据中心启动并持续运行。当然，谷歌和Facebook等公司也在做非常类似的事情。他们实际上在大规模持续运行这些模型，这才是能源和碳足迹的来源。并不是那么多的开发和测试，我想。

是的，这篇论文指出，例如，对于数据中心基础设施，它表示云数据中心的效率可以是典型数据中心的两倍。而其中的机器学习加速器可以是

比现成系统高出五倍的效率。然后，当你结合深度神经网络、数据中心和处理器的选择时，他们表示你可以将碳足迹减少100到1000倍。这真是令人印象深刻。我确实相信，考虑到我们在大规模部署这项技术时仍然处于年轻和早期阶段，这可能是一个非常好的观点，也许是这些大公司尚未解决的问题。最后，我非常喜欢的是，正如你所说，他们还指出，为了计算，

能源成本的估算。他们指出，使用大量计算资源的机器学习论文应该在可能的情况下明确列出能源计算和碳排放，这通常不是这样。他们甚至表示，他们正在与基准MLPerf合作，将训练和推理过程中的能源使用纳入行业标准基准。因此

是的，我对这种实用性和重要性感到非常印象深刻。顺便提一下，现在查看报价单时，我注意到这是来自谷歌的。最后的报价是Jeff Dean。所以是的，这是谷歌和伯克利之间的合作。因此，

这可能是谷歌实际上在优化他们的数据中心，考虑到他们的规模，他们确实可以推动这一标准实践的形成。是的，如果他们能做到这一点，那真是太好了。你知道，考虑到许多技术开始采用“大即是好，更多即是好，计算需求高”的思维方式，这确实是有意义的。

我的意思是，区块链显然也是区块链启用的技术，肯定也在造成一些这样的影响。这确实在影响这一点。我个人会好奇的是，

如果这在能源上是高效的，我们是否也能让它更便宜，以便当有人请求云资源或做类似的事情时，他们可以有意识地这样做，并且以一种不必花费巨额资金的方式，尤其是作为研究人员？当然。既然你提到了这一点，我不喜欢比特币的原因之一是因为

它的，知道的，荒谬的低效。我想我看到的引用说，世界上大约2%的电力使用现在用于比特币挖矿，这真是...

无意义的复杂数学方程来支持目前的投机资产。但无论如何，我想我们不需要深入讨论。你是说火星的货币？不，开玩笑。未来的货币。我的意思是，是的，这确实是个问题。我以为是0.6%。但无论如何，如果接近这个数字，那就相当...

我不知道。这有点像，好吧，如果这实际上在加速气候变化，那真是太悲哀了。我们以一种非常悲伤的方式在自我毁灭。

实际上，我注意到在这篇论文中，它说如果比特币是一个国家，它在CO2排放方面的比较将位列前30名，超过阿根廷，阿根廷人口为4500万。今年比特币挖矿的年碳足迹估计相当于大约20万到30万次往返航班。

从旧金山到纽约。所以这不是AI，但这是一个有趣的事实。但最后一个想法，实际上，现在你提到这一点，我认为AI在某种程度上与比特币有点相似，主要是因为与一般的数据中心相比，尽我所知，大多数数据中心并不进行非常计算密集的工作，对吧？他们

你知道，提供网页，进行逻辑处理。但在AI中，这些巨型模型需要大量计算。随着我们不断前进，越来越多的软件将由AI驱动，毫无疑问，你知道，许多行业的自动驾驶将会有更多这样的庞大模型在云端。绝对，我认为这将是重要的，以避免

低效和可能的，知道的，甚至更多的低效，类似于比特币。对，绝对。好吧，谈到可能排放大量碳的大型模型，我们下一篇来自VentureBeat的文章标题是“华为训练了中文版本的GPT-3”。中文GPT-3来了！

我认为这是，知道的，又一个巨大的作者数量和巨大的参数数量。实际上参数数量差不多，甚至更多，大约2000亿，而不是GPT-3的1750亿参数。它训练的文本量是TPT3的两倍，所以是1.1TB的中文文本，而TPT3是570GB的文本。

好的，这个模型很庞大。它可能会取得重大成就，并且在定性上与GPT-3非常相似。很多数据来自公共数据集，都是从互联网上抓取的。因此，这是一种非常相似的情况，只是在海洋的另一边开发。你对此有什么看法，Andrej？是的。

是的。我是说，这确实很酷。我认为我们太常陷入美国的视野，而没有真正跟踪世界不同地方正在做的事情。嗯，是的，

我们看到中国显然在AI研究方面变得巨大。我认为，在主要会议上，美国与中国论文的比例一直在变化。而且，中国在AI实验室方面有自己的谷歌和Facebook。因此，这并不太意外，但与此同时，

仍然相当令人印象深刻，对吧？因为GPT-3是一个重要的里程碑，而他们在这方面做得更好，参数更多，数据更多，计算更多。你知道，关于1.1TB的中文文本，2048

Ascend 910 AI处理器。我不知道那是什么，但听起来很令人印象深刻。我认为它有30到40GB的内存。所以这是顶级硬件。是的，我认为这指向了一个趋势，即越来越大的模型仍然在持续，这可能有点令人惊讶，因为这能持续多久？对吧。

但到目前为止，似乎我们会达到万亿级别。我是说，我们已经达到了万亿级别，但很快我们会看到越来越多的这些5000亿、1万亿，无论是什么参数模型，这将是有趣的。到那时，我们将看看是否会有定性差异。是的。

是的，但我很好奇，知道的，尽管这是一个非常相似的模型，我认为它可能会以非常不同的方式使用和感知，因为中国以不同的视角看待AI。文章中提到，他们没有像我们对GPT-3那样进行太多的偏见分析，因为这并不是那么重要，希望如此。

因此，文化上，中国对AI的看法似乎比美国对AI的看法更积极。因此，我们将看看这如何影响使用案例及其影响。绝对是的。值得注意的是，在论文中，他们确实进行了很多与GPT-3相似的评估类型，

你知道，广泛的任务和少量样本和零样本性能，他们同样显示这是一个非常适应的模型，可以应用于很多事情。现在，随着OpenAI试图将GPT-3商业化，并且你知道，实际上让人们为这个庞大的模型付费，他们可以做很多事情，看看这里是否会发生类似的事情。

你知道，像GPT-3和这个模型现在是否会成为游戏规则改变者。但接下来不谈巨型神经网络模型，而是一些更小、更本地化的东西，但确实有很大潜力。我们这里的文章，基于一份新闻稿，标题是“农业机器人每小时用激光消灭10万杂草”。

所以这是一篇相当简短的新闻稿类型的文章，讲述了这家公司Carbon Robotics推出了其第三代Atomos读者，这是一款智能农业机器人，能够识别杂草并用高功率激光摧毁它们。这一点很重要，因为这种技术

不会破坏土壤和水。显然，这使得你不需要在杂草上使用农药，这有其自身的影响，同时也使得你不需要支付人工劳动力。相反，你可以使用这种技术。

从高层次来看，它沿着作物行驶。它有12个摄像头扫描地面。然后有一个配备深度学习计算机视觉算法的板载计算机。然后它可以使用二氧化碳激光来击杀植物。

这很有趣，部分原因是这是一个趋势。因此，另一篇来自《卫报》的文章在一周前的标题是“杀手农场机器人用电击消灭杂草”，描述了另一家公司类似的发展。实际上，有数百家公司正在从事这种事情。这是当今机器人技术面临的重大挑战和机遇之一。

AI的发展无疑使这一切变得更加可行，但这仍在继续。是的，Sharon，你怎么看？好吧，我们之前从蓝河机器人那里看到过一些类似的情况。

这继续推出是有道理的。我认为有趣的是，还有一个观点，即我们希望减少农药，因为这是我们意识到的趋势，知道农药对环境不好。如果我们要谈论与气候相关的事情。

因此，我认为这些技术的引入是非常重要的。我觉得这篇文章中称其为“杀手机器人”也很有趣，但它是一个好的杀手机器人，因为它杀死的东西是杂草。因此，它确实是一个杀手机器人，但它杀死的是杂草。希望这使得这一点更可接受。你知道，这是农场的终结者，而不是针对人类的终结者。

确实，确实。正如你所说，这很酷。蓝河实际上，我认为他们大约在2012年或2011年开始。当我在2015年本科毕业时，这是我考虑申请的公司之一。那时他们正在成长，后来被约翰迪尔收购。因此，可以相当安全地假设，这些技术将在未来十年内继续发展和成熟，并变得普遍。考虑到美国在这方面的人工劳动力短缺，尤其是在农业中，如水果采摘或其他任务，这无疑是一个非常有用的领域，农业机器人领域。

我认为有些事情没有被提及，我认为很多人对此并不太了解，关于AI。你知道，大家都知道计算机视觉，或者说人形机器人，但这种事情可能会被忽视。我确实认为这值得欣赏。是的。