Omniverse 是一个多人实时在线分工协作的数字资产管理平台,使用通用场景描述(USD)连接主流数字资产,实现云原生的实时协作和所见即所得的编辑。它允许导演在拍摄时实时查看绿幕叠加后的效果,减少后期制作的时间和成本。例如,拍摄海上日出场景时,Omniverse 可以通过 AI 生成虚拟场景,避免实际拍摄中的天气不确定性。
生成式 AI 在影视行业中主要用于降本增效,特别是在图片生成领域。例如,MidJourney 和 Stable Diffusion 等技术可以生成高质量的概念海报、宣传物料和分镜头脚本。这些工具可以批量生成大量图片,减少传统美工的工作量。此外,AI 还可以用于生成虚拟场景和数字人,进一步提升制作效率。
LED 屏幕在影视拍摄中逐渐普及是因为其成本大幅下降,且能够实现实时的背景渲染。与传统的绿幕相比,LED 屏幕可以直接叠加虚拟背景,减少后期抠像的工作量,并且能够实现更逼真的光影效果。例如,新版《狮子王》就使用了 LED 屏幕来实时渲染动物的毛发和光影,提升了视觉效果。
AI 技术通过提供便捷的工具,降低了内容创作的门槛,使普通人也能参与创作。例如,生成式 AI 工具如 MidJourney 和 Stable Diffusion 可以让用户通过简单的文字指令生成高质量的图片。此外,NVIDIA 的 Omniverse 平台为个人创作者提供了免费的 GPU 算力和渲染工具,使得复杂的特效制作变得简单易行。
NVIDIA 的 ACE(Avatar Cloud Engine)技术通过扫描真人生成数字孪生,并使用音频到面部的技术(Audio to Face)将语音和表情实时投射到数字人脸上。例如,在 2021 年 NVIDIA GTC 大会上,黄仁勋的 17 秒数字人就是通过 ACE 技术生成的,背景和人物动作都是虚拟的,但看起来非常逼真。
随着 AI 技术的普及,影视行业可能会催生新的岗位,如 Prompt Engineer(提示词工程师),负责优化 AI 生成内容的指令。此外,AI 技术的应用也需要更多专业人员来监督和管理 AI 生成的内容,确保其符合创作意图和道德标准。教育领域也在调整学科设置,以适应 AI 技术的发展需求。
NVIDIA 通过开发者关系(DevRel)和开发者技术(DevTech)团队与开发者保持紧密合作。这些团队负责与开发者沟通,了解他们的需求,并将这些需求反馈给 NVIDIA 的研发团队,确保产品和技术能够满足市场需求。NVIDIA 还通过全球的开发者社区和活动,推动技术的创新和应用。
AI 技术在影视行业中的局限性主要体现在复杂场景的处理上。例如,视频生成领域的技术尚未成熟,生成的视频质量难以达到产业级标准。此外,AI 生成的内容在可控性和细节处理上仍存在不足,如手部细节的生成常常出现错误。因此,AI 技术在影视行业中的应用目前主要集中在图片生成和部分特效制作上。
移动互联网降低分享门槛,生成式 AI 降低创作门槛。
本期《晚点聊》,关注当技术遇上艺术,聊一聊计算机技术和正蓬勃发展的 AI 技术,如何与 M&E,也就是 Media and Entertainment 媒体娱乐产业相互影响、相互塑造。
围绕这个话题,我们邀请了两位嘉宾一起对谈:一位是 NVIDIA 中国区高级技术市场经理施澄秋(Searching),另一位是新片场的董事长兼 CEO 尹兴良(Ethan)。
他们刚好站在技术塑造内容这个链条的两头:NVIDIA 是人工智能计算领导者,同时 NVIDIA 也会开发大量的软件去帮整个生态更好的使用 GPU。NVIDIA 起家就是依靠计算机图形技术,最初也主要是用在游戏和影视行业。
成立于 2012 年的新片场,则是中国最大的高质量短片和视频素材分享平台,此后也进入制片业务,制作了大热 IP 剧集《鬼吹灯》(怒晴湘西、精绝古城、南海归墟等)系列。
内容创作或者说讲故事,是人类文明最早的活动之一。在 AI 技术之前,这个行业已是一个有长链条的技术工业体系。本期节目中,我们回顾了 AI 之前,计算机图形等技术对内容制作的影响与渗透,进一步展开了生成式 AI 浪潮带来的新变化。
如果说移动互联网大大降低了分享内容的门槛,生成式 AI 的发展则将进一步缩短从创意到表达的距离,让更多人有表达自己的方便工具,未来还可能进一步衍生出新的社区与平台。
影视和内容行业是一个万亿级的全球大市场,AI 带来的新一轮变化才刚开始。
时间线传送:
· AI 之前,影视内容工业已高度技术化 02:07 《南海归墟》怎么制作?重特效剧集的基本生产流程 03:45 从前期概念图到特效拍摄、后期制作,计算机技术已在影视多环节降本增效 04:57 LED 拍摄从昂贵到普及,新版《狮子王》重映,GPU 让光影毛发的更精细渲染成为可能 11:16 从千禧年到现在:拍摄、制作的技术变革
· 移动互联网降低了分享门槛,生成式 AI 将降低创作门槛 22:04 打开视频软件,也许你已经看到过大量 AI 生产的短剧海报 28:09 一个实用案例:NVIDIA Omniverse,数字资产在线协作平台如何提高影视拍摄的效率 32:41 制作方视角:不怕技术新,怕找不到熟练使用的人 35:51 生成式对抗网络(GAN)、NeRF (神经辐射场)、ACE 数字人,前沿技术渗透影视行业 39:48 2021 年 NVIDIA GTC 大会中,黄仁勋“数字分身”的台前幕后 48:45 新片场与国内 AI 厂商有多元合作:即提供训练素材,也在测试、使用各家的模型 50:40 渲染器领域的国产替代机会,D5 已被很多中国团队使用 52:55 Maxine 软件,在网络会议场景实现的眼神聚焦和画面校准功能,使得远程交流更加自然流畅 54:22 大型网络会议、户外直播等复杂场景如何实现高质量流程 57:10 NVIDIA 有两个不直接“带货”,却被黄仁勋视为核心的团队:“开发者关系”和“开发者技术” 59:29 Ethan 的 NVIDIA 总部参访感受
· 工具与灵魂:“内心的想法是一切的根源” 01:02:34 AI 的魅力在于降低创作门槛,普通人也能通过科技工具更好表达创意 01:05:25 NVIDIA Omniverse 的创作者比赛,已涌现出许多优秀的非专业创作者 01:06:21 AI 创作需要数字围栏,人类的意图表达更为重要 01:07:46 教育端已出现学科调整,AI 会催生更多新岗位 01:08:48 普通人拥抱 AI 创作,创作热情和想法仍然是最重要的 01:10:06 AI 可以打动人类,但是不会被打动,人类情感仍然是推动内容创作的本源动力
相关链接: 一位 AI 画家的成长历程丨TECH TUESDAY)
附录:本期播客里提及的技术与产品等 M&E Media and Entertainment 的缩写,指的是媒体与娱乐产业。
特效回插 在影视剧的生产链条中,特效镜头常常由协力公司单独制作,后期制作阶段会将这些特效镜头插入到影片中相应的位置。
CG 计算机图形学(Computer Graphics,简称CG)是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学。
Diffusion 模型 这是一种生成式模型,主要用于生成高质量的图像、文本和其他类型的数据。
B-roll 是指在影视制作中用来补充主镜头(A-roll)的辅助视频或图像素材。通常,A-roll 包含主要的叙事内容,比如采访、对话等直接涉及故事主线的画面。而 B-roll 则是用来丰富视觉效果、提供背景信息或增强情感氛围的额外镜头。
NVIDIA Omniverse™ 是一个提供 API、SDK 和服务的平台。借助此平台,开发者可以轻松地将通用场景描述 (OpenUSD)和 RTX 渲染技术集成到现有软件工具和仿真工作流中,以构建 AI 系统。
NVIDIA ACE 即 Avatar Cloud Engine,是一套可帮助开发者利用生成式 AI 创建栩栩如生的虚拟数字人物的技术。
SIGGRAPH 是由 ACM SIGGRAPH(美国计算机协会计算机图形专业组)组织的计算机图形学顶级年度会议。
RAG 即检索增强生成(Retrieval-augmented Generation),简称 RAG。检索增强生成是一种使用从外部来源获取的事实,来提高生成式 AI 模型准确性和可靠性的技术。
登场人物: 施澄秋 Searching,NVIDIA 中国区高级技术市场经理 尹兴良 Ethan,新片场的董事长兼 CEO 程曼祺,《晚点 LatePost》科技报道负责人(即刻:曼祺_火柴Q)
剪辑:阿鲸Hval
**封面:**NVIDIA 创始人兼CEO黄仁勋的“数字分身”Toy Jensen。现在,新的生成式 AI 技术可以让数字人的生成过程更简单、低成本、高效。
图片来源:NVIDIA