The Future of Visuals: Nvidia's Text-to-Video AI Generation
08:11 Share

探索Nvidia的文本到视频AI生成技术在视觉叙事中的未来，为创造性表达提供新的途径。加入我们，讨论这项技术对媒体制作和消费的变革性影响。

播客工作室网络：⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://PodcastStudio.com/⁠⁠⁠⁠⁠⁠⁠⁠⁠

<raw_text>0 今天，在播客中，我们将讨论人工智能的下一步。我们有ChatGPT正在进行文本生成。我们还有一些中间过程，正在有效地进行图像生成。

现在下一代是视频生成，这项技术就在眼前，最近刚刚宣布并展示了一种新的文本到视频技术。今天在播客中，我们将深入探讨这一点。当前的能力是什么，以及这对整个AI领域的影响是什么。

所以我想说的第一件事是，来自视频多伦多AI实验室的一篇新研究论文和微型网站，名为“使用潜在扩散模型的高分辨率视频合成”发布了。这就是我猜测这篇新研究论文的基础。但本质上，它让我们尝到了即将推出的令人难以置信的视频创作工具。

显然，视频是一个技术公司，主要制造芯片。因此，这些大型AI模型，如OpenAI和其他许多公司，都是在单个芯片上训练他们的AI模型。因此，帮助开发AI技术是每个人的最佳利益。

他们可以利用IT的进步，但我的假设是，他们将创造一些优秀的视频添加视频创作技术，因为这显然会非常资源密集，这将推动所有单个AI训练芯片的销售。这是我的看法。

这真的很有趣，显然是一个令人难以置信的突破。潜在扩散模型（LDMs）本质上是一种AI，可以在不需要真正庞大的计算能力的情况下生成视频，对吧？显然，这需要相对的计算能力，但在过去，这有点疯狂，而现在变得更加可控。

视频表示，它的技术通过建立在文本图像生成器的工作基础上来实现这一点。在这种情况下，稳定的融合模型，他们在潜在空间中添加了一个他们称之为时间维度的东西。听起来很复杂。

但实际上，这一切的本质是，生成的AI可以制作静态图像，你可以在稳定的融合或大多数其他地方生成这些图像，以一种现实的方式移动。然后，我将使用一些超分辨率技术来提升这些图像的质量。这意味着你可以生成一个时长为4.7秒的视频，分辨率为1280x2048。

所以这实际上是相当不错的分辨率。如果你在较低的分辨率下，你也可以制作更长的视频。如果你做像500x1024这样的分辨率，我认为可以制作更长的视频，可能几分钟，或者是两、三、四倍的长度。

所以，我认为我对这一切的直接反应是看到这些，因为我有几个有趣的演示。他们有一个像暴风雨一样的场景，特里尔在海滩上度假，波浪看起来像真空管一样出来。

背景有点滞后，似乎只是附着在他身后的阴影上。这有点搞笑，显然在视频编辑器或图像编辑器中出现了故障。

然后它变成了视频，背景中的管子在移动，但他们有一个像这样的场景，他们有一个词，就像这个，你知道，东西是熊在弹电吉他。所以我认为这显然是一个非常大的进步，因为我们可以看到整个行业的发展方向。

但我认为就目前技术的现状而言，人们会立即使用这个来制作GIF。我认为这是一个重要的事情，对吧？这些是你可以生成的五秒视频，因此这可以立即用于创建GIF。

然后在未来，我显然会震惊，这是否会变得更好，人们能够制作更多更强大、更长的视频。所以你知道，我喜欢你能够在这些视频中使用非常简单的提示。因此，这给我一些类似于你通常得到的东西，只需说，一个暴风兵在海滩上吸尘，砰，它生成了一张图像。

看看，大家，我现在看到的，或者你可以说，一个泰迪熊在弹电吉他，高分辨率4K，就像在中间旅程中，你有像逗号和所有这些额外的东西，你可以做这个东西，所以我认为现在这使得文本到视频技术在印度目前的演示中，真的就像我说的，它最适合缩略图和GIF，以及那些较小的东西，但显然也可以有用。我认为这是我们希望前进的方向的一个非常大的步骤，这将使人们能够生成更长的视频场景。

我认为我们的问题是，我可能需要等得太久，考虑到目前行业的速度。在我们开始看到那些真正复杂和更大的视频出现之前。

所以我认为了解NVIDIA并不是第一个展示一些AI文本到视频生成器的公司是很重要的。最近，谷歌推出了fani，我认为是这样，基本上他们有一个20秒的剪辑视频，可以基于一些较长的提示创建。因此，在他们的演示中，显示的是我认为超过两分钟的内容。

所以谷歌做得稍微长一点。我认为，从我对那件事的看法，我会说质量可能稍微差一点，但我很想看看那会走向何方。我真的很高兴有很多不同的公司在竞争，因为显然，我们不想让一个公司完全垄断市场。

所以我很高兴谷歌和视频，很多这些公司都在努力，我相信我们将开始看到很多酷炫的东西，开始起飞，这帮助创建了文本图像生成器稳定扩散。我上个月也揭示了它的jenie AI视频模型，所以当他们这样做时，他们有一个视频，如果提示是“下午的阳光透过纽约市公寓的窗户”，我观看了这个视频，看起来很像一个GIF。

它看起来有点故障，阴影有点不完美，但真的不疯狂地认为这离我们并不遥远。这个将会更加真实，更加长久。你将能够有一个想法，比如我想要一部星球大战电影，也许詹姆斯·卡梅隆扮演主角，设定在1920年，而不是光剑，他们有枪和酒，达尔瓦，你能够说一些疯狂的事情，然后它将生成视频。