We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Move Over Fireworks—Drone Shows Are Taking to the Skies

Move Over Fireworks—Drone Shows Are Taking to the Skies

2025/7/2
logo of podcast Science Quickly

Science Quickly

AI Deep Dive AI Chapters Transcript
People
E
Eduardo Montijano
M
Matt Schwager
R
Rachel Feltman
Topics
Rachel Feltman: 无人机灯光秀作为一种新兴的表演形式,正逐渐取代传统的烟花表演。与烟花相比,无人机灯光秀更加安全、精确,并且对环境的影响更小。然而,制作一场无人机灯光秀需要工程师团队付出巨大的努力,逐帧绘制每个无人机的运动轨迹。因此,开发一种能够自动规划无人机飞行路径的AI技术至关重要。 Matt Schwager: 无人机灯光秀相比烟花表演,在艺术表现上具有更大的灵活性和控制力。工程师可以精确地控制无人机的灯光和运动,从而创造出更加丰富多彩的视觉效果。然而,大规模的无人机灯光秀需要大量的工程专业知识和基础设施,这限制了其普及。我们的研究目标是降低无人机灯光秀的制作门槛,使更多的人能够参与到这种新兴的艺术形式中来。我希望能使用生成式 AI 来造福人类,使机器人能够帮助人们、更好地服务人们、使人们的生活更安全。 Eduardo Montijano: 我们尝试将所有新技术应用到控制成百上千的机器人进行动画展示的问题上。在将图像生成模型转化为无人机控制时,需要考虑无人机的运动和安全约束。无人机运动需要考虑动力学、速度、加速度等约束,以及避免碰撞的安全约束。从研究的角度来看,我们的解决方案已经足够成熟可以应用。这种技术可以应用于任何类型的多机器人系统,包括地面机器人、家务机器人和建筑机器人。我们的目标是将人们通过文本指定的高级命令自动转化为机器人团队的行动计划。

Deep Dive

Shownotes Transcript

阅读研究团队在2024年研讨会上发表的论文: https://link.springer.com/chapter/10.1007/978-3-031-91813-1_6 以及发布的预印本: https://arxiv.org/abs/2408.15899 烟花是如何工作的?以下是爆炸性的科学 https://www.scientificamerican.com/video/the-science-of-fireworks/

每天发现新事物:订阅《科学美国人》并注册我们的每日新闻通讯《今日科学》。

了解更多关于您的广告选择的信息。访问megaphone.fm/adchoices</context> <raw_text>0 使用Venmo借记卡,您可以Venmo的对象不仅仅是您的朋友。您可以通过多种方式使用您的余额。您可以Venmo一切。需要汽油?您可以Venmo支付。零食呢?您也可以Venmo支付。您最喜欢的乐队的商品?您可以Venmo支付。或者他们的下一场演出?您也可以Venmo支付。访问venmo.me/debit了解更多信息。Venmo万事达卡由Bancorp银行发行,并根据万事达国际公司许可发行。该卡可在任何接受万事达卡的地方使用。适用Venmo购买限制。

我是瑞秋·费尔特曼,这是《科学美国人科学速递》。今年的7月4日,一些涌向当地公园和水边的庆祝者们可能不会欣赏到烟花表演的标志性景象和声音。

在某些情况下,这些传统的爆炸物可能会被成群结队的彩色无人机所取代。近年来,无人机灯光秀越来越多地出现,在奥运会甚至一些超级碗中场秀上取代或补充烟花表演。它们令人眼花缭乱,精确,而且比爆炸物安全得多。

除了燃放燃烧装置的明显风险外,烟花表演还会引发环境问题。研究表明,这些大型表演会在接下来的几个小时内对当地空气质量产生显著影响。

但是用无人机取代烟花并非易事。每一个这样的表演都需要一个工程师团队付出艰苦的努力。他们必须逐帧绘制每一架无人机的运动轨迹。今天的嘉宾最近发表了一篇论文,提供了一种人工智能驱动的解决方案。

马特·施瓦格是斯坦福大学航空航天系副教授。爱德华多·蒙特哈诺是西班牙萨拉戈萨大学计算机科学与系统工程系副教授。

非常感谢两位的到来。当然,很荣幸。谢谢。我们不妨从这篇研究的简要概述开始吧?你知道,它是怎么产生的?是什么让你们对无人机群的这个特定方面感兴趣?我一直从事多机器人系统研究有一段时间了。此外,多年来我也一直在与马克合作。

随着所有这些新的AI技术的发展,这些技术已成功应用于其他问题和应用,我们认为,主要与一名学生合作(尽管这项研究还有更多人参与),但在这里我想特别强调巴勃罗·普埃洛,我们决定或讨论了尝试将所有这些新技术应用于控制数百或数千个机器人进行动画显示的问题是多么酷。

说到这些动画显示,与烟花相比,它们解决了哪些问题,又带来了哪些问题,也许你们的论文试图解决这些问题?我认为我们将无人机群的动画显示视为一种更灵活、更富艺术性的娱乐媒介。所以在烟花表演中,对吧,会有巨大的爆炸和闪光,但是

工程师实际上对烟花的确切效果和外观几乎没有控制权,对吧?但是有了无人机,您可以编程灯光,也可以编程无人机的运动。

为了在体育赛事中显示非常清晰的图像,您可以让一个正在进行这项运动的人漂浮在空中,或者在7月4日,您可以拼写出文字,您可以展示美国国旗等等,所以它更灵活,而且你知道,艺术家和工程师对他们想要传达的内容有更多的控制权,但也有一个挑战,那就是无人机群,特别是大型无人机群,需要更多的工程专业知识,

以及相当多的控制和部署基础设施,特别是为了安全地做到这一点。因此,我们的研究目标之一就是基本上使这些大型无人机表演的规划更加自动化。

并让那些没有这种特殊知识的人能够创建他们自己的无人机表演。你能为我们描绘一幅画面吗?目前,举办这样的表演是什么样的?幕后需要什么?对,这些通常由大型工程公司管理,通常有一个工程师团队,专业工程师,

他们确保所有无人机都已正确充电并设有着陆站。他们必须前往将要进行表演的地点,并对场地进行工程设计,规划所有无人机将要飞行的路线和去向,并确保空间畅通无阻。

而我们研究的真正目标是,在无人机表演发生之前,艺术家和工程师会仔细绘制每架无人机的路径。在表演期间,无人机实际上只是按照工程师预先规划的空间点进行飞行。一次一点,一次一架无人机。所以你可以想象,这非常像制作动画电影。它非常费力,非常需要动手操作,并且需要大量的专业知识。

因此,GenSwarms的目标本质上是使用生成式AI来完成您的规划阶段。例如,您可以输入一个高级提示,例如美国国旗,或者一个滑雪者在雪坡上滑雪,我们的算法基本上会为您生成这些航路点集,这些三维空间中的点集。

让无人机沿着这些航路点飞行,从而创造出这种艺术表演的幻觉。所以基本上你输入你想要得到的图像,AI就会告诉无人机去哪里,是什么颜色,所有这些东西。是的,实际上目前我们只输入文本。所以我们输入我们想要看到的文本描述,然后该方法会生成颜色和排列等等。

尽管我认为将我们的方法扩展到您可以上传想要看到的图片或草图也不会太难。当您试图用人工智能控制一群无人机时,会遇到哪些具体的挑战?这些模型的工作方式,它们通过创建图像而流行起来。归根结底,当您给出这个提示时,它们会预测每个像素的颜色。所以这里的想法是,当您想以某种方式将其转换为无人机时,

像素只是一个颜色,它们没有任何运动约束,没有任何碰撞约束。所以当你想把这种让像素看起来像你喜欢的想法转化为让无人机

看起来像你喜欢的想法时。您需要考虑无人机无法从一个位置传送到另一个位置。因此,它们具有一定的动力学特性、速度、加速度以及运动约束,您无法执行任何您想要的运动。您需要在您的算法中考虑这些因素。此外,无人机还具有一些物理特性,例如质量和尺寸,因此它们可能会相互碰撞。因此,您还需要在使用此生成模型的规划算法中包含这些安全约束。

这样无人机的运动也是安全的。我们离实际能够使用您用无人机创建的模型还有多远?

从研究的角度来看,我认为我们的解决方案在某种意义上已经足够成熟,可以应用了。但是,马克之前提到的关于无人机实际部署的所有这些技术挑战,显然作为大学教授,我们没有资源来部署1000架或100架或任何数量的无人机。所以为此,有

从研究到应用之间仍然存在差距,但这更多的是可能与已经在许多地方部署无人机的公司合作的问题。所以我认为集成不会那么困难。这可能只是在拥有实际部署技能的公司内部拥有正确联系的问题。但我认为该算法已经可以部署了。

太酷了。这还能有什么其他的应用?是的,当然艺术展示功能强大且重要,但我们希望我们的机器人能够真正帮助人们在日常生活中,也能帮助那些处于危险中的人们。例如,我们可以想象使用这样的算法进行搜索和救援。如果您有徒步旅行者被困在荒野中的某个地方,并且您需要某种方式部署无人机团队去寻找迷路的徒步旅行者,

这可能是一种可以适应的方法。我们也对诸如探索之类的事情感兴趣,也许在太空应用中,美国宇航局可能会考虑开发这样一个工具来探索小行星或行星体的表面。我们也非常感兴趣,目前我们沿着这条研究道路的下一步是

用于建筑的无人机或其他机器人群。因此,目前我们的算法是,您输入一个提示,无人机将自行组织成一个看起来像您要求的形状。我们现在正在研究的是,您如何输入提示并让无人机实际沉积材料?例如,无人机可以携带小的方形块

它们如何按正确的顺序沉积材料以构建对艺术展示有用或有趣的东西?

因此,您可以想象无人机在偏远地区建造桥梁,人们可能需要越过一些崎岖的地形,或者可能存在紧急情况,可能存在灾难情况,桥梁已被冲毁,您希望无人机自动建造一座临时桥梁,诸如此类。即使我们将此应用于无人机表演,因为艺术成分很漂亮,我想说的是

将此应用于任何类型的多机器人系统都没有限制。从这个意义上说,我们可以使用其他地面机器人、家用机器人、建筑机器人,正如马克提到的那样。所以这里的想法是能够翻译这些由文本指定的、几乎每个人都可以给出这些命令的高级命令,然后自动将其转换为机器人团队实现结果的计划。

这些命令。因此,从这个意义上说,我认为其雄心壮志远远超出了艺术展示的范围。无人机表演与烟花表演的环境影响如何?好吧,我认为在我看来,无人机表演更安全,因为烟花是一种非常易爆的材料,你会听到事故,你需要生产和储存它们。

然后根据我的知识,这并不深入,我想说烟花的残留影响可能比无人机表演更大。归根结底,您可以回收或重复使用这些无人机进行多次表演。在噪音方面,它们可能很安全。

相似之处在于,无人机目前相当吵闹,尽管确实如此,当您从远处观看时,烟花非常烦人,而无人机表演则不然。但是当你在近距离飞行时,

让我告诉你,现在有一架无人机在附近飞行,比烟花更烦人。所以,我想,可能会有支持或反对它们的论点。但如果我必须选择无人机,我会说可重复使用性和爆炸材料方面的安全性是两个主要的巨大优势。那么,鉴于您在论文中提出的所有内容,您如何看待

有了这项新技术,无人机表演的世界将会如何发展?好吧,我认为在问题的艺术方面,其想法是,有了这项技术,现有的无人机表演已经能够开发出复杂而美丽的动画。其想法是这将加快和简化这个相当繁琐和复杂的过程,以便以一种简单的方式扩展到更多数量的机器人。

也许还在测试阶段,决定创建特定图形的适当无人机数量。总之,加快整个创作过程,并有望提供更美丽、更复杂的动画和展示。我认为现在最令人兴奋的研究前沿之一是弄清楚如何使用我们都熟悉的强大的现代生成式AI工具

ChatGPT、图像生成模型等等。如何以有益于人们的方式使用它们,你知道,我和爱德华多作为机器人专家,我认为我们一直在寻找

让机器人帮助人们、更好地为人们服务、使人们的生活更安全的方法。我认为这是一个非常令人兴奋的前沿领域。机器人学中的一个重大挑战是如何协调大型机器人团队的活动?控制单个机器人已经足够困难了,而现在当您拥有一个大型团队时,你知道,有一个持续存在的问题,即少量人类如何告诉一大群机器人他们应该做什么?

我认为这是一个有趣的模型,我们正在使用生成式AI作为桥梁、接口来接近它。

允许一个人或少量人指挥一大群无人机的活动。另一个我想指出的问题是,当混合机器人技术和人工智能时,根据目前的最新技术水平,将是可解释性。如果您想生成图像,您关心的是输出,但为什么这个输出可能不像您考虑机器人的运动时那样重要,