DeepLearning.AI GANs for Good Panel + Q&A
50:53 Share

感谢我们常规主持人Sharon，以下是庆祝她教授的新课程GANs的活动摘录。 完整活动请见：https://youtu.be/9d4jmPmTWmc “为了庆祝GANs专业化的推出，我们召集了一组GANs专家。他们将讨论一些当前的项目以及GANs的重要性和未来，并为机器学习从业者提供实用的职业建议。” 订阅：RSS | iTunes | Spotify | Pocket Casts | YouTube 音乐：Kevin MacLeod的Deliberate Thought (incompetech.com)   </context> <raw_text>0 大家好，欢迎收听Let's Talk AI。今天我们为您准备了一些不同的内容。这是一次关于GANs的专题讨论，旨在标志着Coursera上GAN专业化的推出，我希望您能参加，这也是我将教授的内容。

此次专题讨论会聚集了GAN的发明者Ian Goodfellow，NVIDIA机器学习研究主任Anima Anandkumar。NVIDIA构建了惊人的GAN，处于最前沿。我们还邀请了来自伯克利的Alexei Afros，他是一位教授，并且他的实验室也...

他的实验室也生产了一些最惊人的最前沿的GAN，特别是在风格迁移方面，例如将马变成斑马。最后，我们还将有我的导师Andrew Ng与我一起参加，我将主持这次讨论，希望能有一些有趣的讨论，同时也为听众提供一些有见地的建议。那么Sharon，我把时间交给你。

非常感谢，Ryan。如果您在主题演讲中看到的内容引起了您的兴趣或让您感到困惑，这就是专业化的意义所在。您将从GAN的基本知识学习到Anima展示的最前沿和风格GAN。因此，借助Ian和Anima的精彩主题演讲，让我们先让房间里新面孔Alexi和Andrew向我们的观众打个招呼。Alexi？你好。

做得很好，Alexi。也许你可以简单介绍一下自己。来吧，Alexi。你好，我是Alixia。首先，我是...

加州大学伯克利分校的教授，专注于计算机视觉和计算摄影。我一直是GAN的忠实粉丝。我并不常常爱上论文，但这绝对是一次一见钟情。因此，我非常兴奋能成为这个GAN故事的一部分。

- 大家好。感谢来自140个国家和各个时区的所有人加入我们，无论是深夜、早晨还是傍晚。能在这里真是太令人兴奋了。我有幸与Ian认识很长时间。很高兴能与他和Alexi重新联系，我想我第一次见到Alexi时，我们都在攻读博士学位，正好在不同的大学校园参观时相遇。我也非常感激Anima和Sharon的到来，GANs是一个重要的运动。这是一项令人惊叹的技术，坦率地说，在六年前，当Ian发表他的第一篇论文时，它并没有那么成功，但现在由于NVIDIA和世界各地许多其他团队的努力，它真的起飞了。IFUSIC也准备好找到许多令人兴奋的应用。

我被Ian和Anima关于GANs具体应用案例的评论深深打动，GANs不再仅仅是生成您在互联网上看到的酷图片。因此，这些东西真的很有用，并且正在进入人们的牙医办公室。所以我希望今天在线观看的你们中的一些人能够参加GAN专业化，了解这些工具，并帮助构建令人惊叹的事物，从而改善许多人的生活。

谢谢你，Alexi和Andrew。在接下来的30分钟左右，我将向我们的专家小组提问。虽然我会将问题指向特定的人，但我也希望鼓励任何小组成员参与讨论并提供意见。那么首先问Alexi，你能告诉我们你的实验室最近在做什么吗？专业化的学生将花费大量时间学习你和你的学生的工作。

当然。正如我所说，我是GAN的忠实粉丝，所以在GAN领域发生了很多事情。谢谢你，Ian，感谢你提到我们与Gladwell在牙科重建方面的工作。这是与我出色的同事Stella Yu一起完成的。最近，我们一直在认真思考解耦，就像Anima一样，

因为我非常专注于无监督学习。我们一直在研究

在无监督环境中的解耦。我们有几篇关于此的论文，试图使用Hessian惩罚进行解耦，并且还考虑使用对比学习来将纹理与结构分开。我们有几篇非常新的论文。其中一篇是关于用对比学习替代循环GAN中的循环。

这篇论文在ECCV上发表，我们刚刚在NeurIPS上发表了一篇名为“Swapping Out Encoders”的新论文，我们正在以无监督的方式再次分离风格和内容，我们对此感到非常兴奋。除此之外，

我在自监督学习方面工作了很长时间，再次远离——我不喜欢标签，所以我试图远离标签。我也在反对——我也不喜欢数据集，尽管我热爱数据。但我不喜欢它们是静态的。因此，我们一直在专注于——

在线流数据学习。因此，我们有一篇关于测试时训练的论文，我们基本上是在调整、适应流数据的在线方式。因此，我认为这只是开始，我认为这里有很多很酷的方向。是的。

太棒了。我喜欢你的对比学习论文。我们在我们的实验室与Andrew也在研究解耦。因此，这似乎是一个趋势。从某种意义上说，我认为GANs正在进行大量的解耦。即使你只是拿到现成的风格GAN或大GAN。那里已经有很多很酷的解耦，我们只是不太理解其中有多少。因此，我认为这是现在的一个令人兴奋的方向，是的。- 是的，非常如此。这也是目前研究中的一个巨大趋势。说到趋势，Andrew，你对GANs的哪些趋势最感兴趣？

顺便说一下，不确定我是否应该说这个，遗憾的是，我们关于解耦的Neuros提交没有被接受，但没关系。这对每个人来说都是如此。你活着，你继续前进，然后再试一次。我感兴趣的趋势是，我认为在GANs上仍然有很多基础研究正在进行，这很好。显然，技术创新、新模式仍在进行中，这很好。

我看到的是，在技术深度学习世界中，反复出现的模式是，有一种新技术。它在实验室中表现得非常好。这为许多令人兴奋的创造性应用打开了大门。我想大约10、12年前，我们开始看到这种监督深度学习。然后我们看到许多多米诺骨牌倒下。深度学习在语音识别中首次产生重大影响，随后是计算机视觉、ImageNet。然后我在NLP等领域看到了同样的转变。

而GANs在我看来与这些令人惊叹的技术相匹配，现在它表现得如此出色。你会说，哇，这太酷了。但我真的很兴奋能够探索所有将这些技术应用于有用技术的方式。

应用，这实际上是非常困难的。整个AI世界在将研究、概念验证与生产之间架起桥梁方面并不出色。但当Ian谈到注视跟踪时，你将一只眼睛的计算机图形眼映射到另一只眼睛，

事实证明，为了在许多行业和许多问题上广泛应用这一点，我认为还有很多重要的东西需要解决。如果映射不起作用会发生什么？你如何确保不会出现模式崩溃或训练问题？所有这些都是问题，不仅仅是当Ian在键盘上使其正常工作时，而是如何使其系统化，以便行业中的许多团队、成千上万的团队都能使其正常工作。

我还对GANs可能释放的创造力感到兴奋，从Photoshop 2.0到我们操纵图像的所有方式。我没有意识到苹果在使用GANs进行AR方面有如此酷的工作。但我认为所有的创造力，我们需要更多的人理解这些算法，以便他们能够成为创造者，提出更酷的应用。

谢谢你，Andrew。我认为Anima也许也有相同的观点，因为她在NVIDIA和加州理工学院之间度过了她的时间。Anima，你认为在商业中应用GANs面临哪些独特挑战，即使你在NVIDIA并且似乎有无限的GPU供应？

嗯，你知道，在NVIDIA工作真的很令人兴奋，但和其他人一样，当然，我们想为为什么使用GPU做出一个好的案例，对吧？并为人类的利益而使用它。这就是我

非常兴奋的原因，我的NVIDIA同事们一直在努力推动GANs的照片真实感，达到这些现在已经通过图灵测试的高质量图像，无论是StyleGAN，GoGAN，我认为现在甚至可能有超过一百万次下载。

你可以变成一位艺术家，你可以给出你想要绘制的风景的粗略大致的画笔，然后它会将其转化为一幅非常令人印象深刻的图像。然后还更多地进入3D世界，如何在那里进行生成，面临哪些挑战以及如何大规模进行。这是NVIDIA的许多优秀研究人员在研究这些前沿主题的地方。

所以在加州理工学院方面，我感到兴奋的是关注跨学科研究，尤其是与神经科学家如Doris交谈，看看我们如何从大脑的工作中获得灵感。大脑是否有生成模型？显然，这个问题仍然开放且未解答，但我们确实有某种形式的反馈。我们确实有某种形式的对我们周围世界的表征。

当我们看到和感知时，我们是在幻觉中。

以达到实际图像。我们不仅仅是从外部世界获取输入，我们还基于我们的内部表征进行构建，并以反馈的方式进行。因此，我们最近的一些工作是如何将这种反馈添加到任何标准的前馈神经网络架构中。这可以对所有在训练期间未见过的各种干扰更加稳健。

因为这是将其带入现实世界的另一个重要方面。

这些模型必须是稳健的。目前的脆弱性，即使你有少量不可察觉的噪声，也会完全扭曲你的预测，这种情况是无法带入现实世界的。因此，看看我们如何从大脑中的机制中获得灵感，并尝试将其中一些引入神经网络架构，如反馈，这是非常令人兴奋的。

非常酷，非常重要。谈到GANs的实用性，Ian，你能否进一步扩展一下你在主题演讲中提到的使用GANs为善的主题，特别是关于差分隐私或对抗偏见的内容？是的，很多这些领域在研究文献中只受到了一些小的关注，我希望来自这个活动的人能够深入探索。

其中之一是差分隐私。差分隐私背后的想法是，你可以以一种方式训练机器学习模型，使其不会记住训练集中单个示例的个体特征。因此，如果你正在训练的模型是GAN，它可以在不透露任何关于最初输入的真实数据的情况下生成新的数据。

这对医学来说是超级强大的。我们已经看到Casey Green实验室的概念验证，他们实际上在医疗数据上训练了GAN，然后他们能够生成新的虚假医疗数据，可以公开发布，并且有效地是无限量的，特别是因为由于HIPAA等考虑，从不同诊所提取数据非常困难。像差分隐私生成模型这样的东西似乎是解决医学数据稀缺问题的一个很好的方法。

对于许多其他主题，您可能希望使用GAN生成更多数据的原因。如果您想支持一种不常用的语言，生成更多该语言的数据可能会有所帮助。

或者有一家名为Vue.ai的初创公司，允许人们在零售商提供的衣服中可视化自己。传统上，您必须依赖零售商雇佣一个看起来有点像你的人。而现在，您可以使用Vue.ai的GAN生成一个与您相同种族、肤色、发色和体型的人。这在某种意义上使整个模特摄影过程更加包容。

所以我认为有很多不同的事情可以做。这些只是开始触及表面的一些事情。谢谢。我认为Arima之前提到过这一点，关于GANs在现实世界和决策环境中仍然存在差距，以及对它们学习和有效的理解以及它们可能失败的地方。Ian，你想谈谈这个吗？

是的，这也与Andrew所说的关于监督深度学习如何从实验室走向现实世界非常相似。今天GAN的状态让我想起了监督深度学习的状态，也许是2012年左右，训练深度学习系统曾经真的需要一个巫师。在某种程度上，今天的GAN仍然是这样的。

现在深度学习被认为相对可靠，这是因为我们找到了所有这些不错的配方，比如总是使用relu，总是使用动量，也许有一些技术没有根本改变范式，但使其变得更加可靠，比如Atom和ResNets。我希望我们能得到那些可靠性技术，帮助我们在许多应用中应用GAN，而不需要一个GAN巫师。

对我来说，一个有趣的事情，正如Ian所说的，一个有趣的事情是，整个GAN世界存在一个问题，我们没有很好的评估指标。因此，我们可以生成它，或者说，哦，这看起来很棒。实际上，我发现非常有趣的一项工作是Sharon在炒作方面的工作。

展示了使用一些自动评估指标是多么具有挑战性和问题。我认为这增加了对GAN巫师的需求，因为合适的巫师会看着它，他们的眼睛会说，“哦，我得到了，显然是模式崩溃。我会这样做或那样做。”实际上，Sharon，我并不是想让你处于尴尬的境地。我知道你是主持人，但既然你是这个领域的世界专家，你想谈谈这个问题吗？

我认为评估是GANs中的一个大问题，您将在专业化中了解它。但因为这是一个问题，我认为它在很大程度上取决于您的下游任务以及您希望将GAN用于什么。因此，您的GAN可以帮助您的其他AI模型，这很酷。

但然后您可以根据它对您的下游AI模型（如分类、分割等）的帮助程度来评估您的GAN，或者它可能与现实主义有关。我认为我们在环中有人的参与是非常重要的，因为我们人类可能是评估现实主义的金标准。

至于Ian所谈到的民主化GANs，我认为一些非常有趣的工作是NVIDIA团队的工作，开源一些东西，以便我们其他人可以使用它。因此，我访问了NVIDIA网站，查看了Anima的工作。

是的，我很高兴地宣布，就在几天前，我们宣布发布Imagineer。所以所有的，您知道，非常复杂和前沿的GAN模型。我们现在将它们全部放在一个地方。你知道，Mingyu的团队努力工作，

在过去六个月里举办了一次黑客马拉松，并使所有这些处于良好状态，以便每个人都可以使用它。因此，我们希望更多的人在整个课程中查看这一点，并可能采用其中一些模型。

非常酷。谢谢。我对此感到非常兴奋，并且一直在密切关注这方面的推文。也许换个话题，考虑一下我们的观众成员，并考虑他们可以做些什么来准备成为优秀的GAN研究人员或从业者或学生。Alexi，也许首先，什么样的特质使得你实验室中的优秀AI研究人员，以及你在学生身上看到的特征？

嗯，我的实验室是，我很高兴地说，我的学生和我所有的主要特征都是我们都有点疯狂。我认为如果你想做研究，稍微疯狂一点是很重要的。

我认为实际上与任何学科相同，你想要有想象力。你不想专注于短期目标。你不想每三周就发表论文。我认为这全在于拥有某种你真正想做的事情，并努力去实现。我告诉我的学生，

不要因为这些论文而感到压力，您知道，档案上的水龙头是打开的，每天都有这么多论文发布。您知道，在医学中有这样的想法，当他们从医学院毕业时，他们告诉你知识的半衰期的概念。因此，他们说，好吧，您知道，记住，五年后，我们在医学院教给您的知识中有一半将被证明是错误的，对吧？仅仅因为，您知道，科学在不断进步。我认为在机器学习和GANs中，这个数字可能是三个月，对吧？

GANs中的知识半衰期大约是三个月。因此，我不会担心每一篇论文、每一件事、每一个技巧。您知道，没关系。您可以稍等一下，看看它是否真的有效，是否会起飞。

我并不阅读每一篇论文。例如，如果论文中只有面孔，我就不读，因为我们知道面孔是简单的。面孔在20年前就使用主动外观模型工作。因此，他们需要尝试更难的东西。或者如果他们只是有MNIST或CIFAR，我会等到他们在更困难的数据集上尝试。因此，这样可以消除很多闲聊。所以我只是不会担心，也不会感到压力，因为如果你有一个好主意，

就去做吧。它会出现的。绝对会的。我会说我之前被抢先了。我想我曾考虑过在某个时候做一个半监督GAN，看看NVIDIA的情况。

Anima，作为一位女性AI从业者，我和其他人无疑向你寻求建议和灵感。毫无疑问，你为你的学生提供了巨大的支持，并且是许多希望进入AI领域的女性的榜样。你会给正在学习AI的女性和女孩们什么建议？

谢谢你，Sharon。是的，我希望在我们的领域看到更多的多样性和包容性。我认为在过去几年中，人们的意识得到了极大的提高，您知道，大多数人都支持和积极，右？因此，尽管有所有的恶搞和一些消极情绪，我认为积极性在一天结束时占据了主导地位。

这就是为什么我继续发声，并确保我们为社区中的每个人创造一个健康的环境。因此，我想说的是，继续奋斗。如果您看到一个问题，无论是技术问题还是社会问题，都是您关心的事情。

您可能不会看到立即的回报。您不仅要为此而战，还要找到盟友，找到您的支持网络，并学习如何良好沟通，因为无论是研究方面还是其他方面，我们都希望看到社区的变化。我认为在一天结束时，我们需要那个支持网络，我们需要确保我们创造意识。绝对如此。

在商业方面，对于那些关注商业方面的人，作为一位成功的首席执行官、创始人和教授，Andrew，你在管理时间和保持对AI的更新方面有什么秘诀？你会给来自商业方面的观众什么建议，他们应该参加这个专业化？

是的，实际上，在我回答之前，想对Anima表示感谢，她在社会问题上始终如一地发声。我觉得我们生活在一个有很多起伏的世界中。

我想昨晚观看美国总统辩论时，我认为现在比以往任何时候都更重要的是，当我们所有人对某件事情有强烈的看法时，无论是对是错，我们都要发声，因为我认为每个声音都很重要。我认为Nima一直是一个一致的声音。

我认为这很好。我认为Sharon在互联网上发布了一款应用程序，以帮助匿名抗议者，保护他们。我认为Sharon刚刚醒来并说，这是Xuxu Guo，我是一名深度学习研究人员。我想建立这个，因为我可以让世界变得更美好。我认为在座的每一个人，您在网上观看时，您的声音都很重要。永远不要认为，

单独，我们的声音是有限的，但集体而言，我们AI社区是非常强大的。但前提是我们所有人都要对重要的事情发声，以便我们能够将整个世界转向做更多让人们更好生活的事情。因此，回答Sharon的问题，发生了很多事情。

我诚实的知识来源之一是DeepLine.ai发布的The Batch。我们的主编Ted Greenwald组织了一支大型写作团队，试图以非常简洁的形式综合分享最重要的AI新闻。

今天稍后发布的Vag期刊是一个GAN特刊。因此，涵盖了一些我实际上老实说在Ted和他的团队找到这些故事并综合它们之前并不知道的关于GAN的很酷的研究。所以我实际上使用这个。

我也很幸运有朋友。老实说，我个人对GANs的第一手知识来源实际上是Sharon。Sharon告诉我她看到的酷东西。因此，这很有趣。但我发现拥有可以交谈的朋友，一起阅读论文，一起头脑风暴，

这是我保持更新的一个非常重要的部分，因此我鼓励其他人形成一个社区。我们都不应该单独做这件事。因此，交朋友，形成一个社区，与他们合作，因为我们在一起会更好、更强大。

谢谢你。这很有力量。新闻通讯The Batch实际上也有Ian的采访，我希望你们都能查看。我认为这将是一个问题，所有人都可以回答，您如何保持对最新机器学习研究的更新？也许从Ian开始？是的。在苹果，我们实际上有一个叫做Paper Party的活动。

每周一次，我们会让人们聚在一起分享一篇论文。我认为这真的很有力量，因为只有呈现的人需要阅读它。让每个人在讨论小组中阅读一篇论文是很困难的，但一个人可以简洁地向其他人解释它。除此之外，就像Andrew依赖你获取关于GAN的更新一样，我在不同主题领域有朋友，他们让我保持更新。

我实际上阅读的论文很少。我主要与其他人讨论它们。通过像Paper Party这样的活动，这就是我保持更新的方式。太好了。我知道我最喜欢的那种论文小组绝对是没有期望的那种，大家一起阅读论文，这很不错。Anima，你如何保持更新？

是的，我的意思是，一些阅读小组很棒，特别是如果它们涉及到更广泛的社区或来自不同领域的人。这样我们可以查看不同的论文，而不仅仅是狭窄的主题。但大多数时候，我也不阅读论文。我通常也不鼓励我的学生仅仅在档案上阅读论文。因此，我们几乎总是，您知道，大多数时候，这是一个思维过程。我们在说，为什么这个？

说，问题很难，可能可以做些什么新事物，对吧？现在的障碍是什么？然后也许回头看看其他人是否考虑过类似的想法。因此，我鼓励他们首先提出自己的想法，然后再检查一下是否已经有人做过。如果有人做过，那很好。我知道这意味着他们在朝着正确的方向思考。如果没有，那么就有新的主题。

所以我认为在我们看到的论文狂潮中，鼓励更多的创造力和原创思想是非常重要的。非常正确。当我看到Semi Style时，我想，我很高兴NVIDIA做到了这一点。我永远无法做出如此出色的东西。Alexi？

我也没有阅读我想要的那么多论文。我真的依赖我的学生告诉我什么是酷的，什么是有效的。我喜欢阅读旧论文。我感到有点内疚，因为我们阅读的论文越来越少，尤其是因为我在我的论文中投入了如此多的血汗和泪水。你知道，每一篇论文就像介绍。我试图让它变得非常，您知道，托尔斯泰式的。我阅读你的论文。是的。

但这变得越来越困难，因为我知道越来越少的人阅读它们。因此，我认为阅读论文是好的。我只会鼓励你利用时间作为过滤器。阅读旧论文。旧论文仍然很好。实际上，您会在旧论文中发现很多非常酷的东西。因此，等到您意识到这实际上是有效的，然后再回去阅读论文。

这就是我的建议。对于那些经受住时间考验的旧论文，或者您较新的论文，您想分享您在使用GANs进行艺术创作方面的任何工作吗？

感谢我们常规主持人Sharon，以下是庆祝她教授的新课程GANs的活动摘录。 完整活动请见：https://youtu.be/9d4jmPmTWmc “为了庆祝GANs专业化的推出，我们召集了一组GANs专家。他们将讨论一些当前项目以及GANs的重要性和未来，并为机器学习从业者提供实用的职业建议。” 订阅：RSS | iTunes | Spotify | Pocket Casts | YouTube 音乐：Kevin MacLeod的Deliberate Thought (incompetech.com)   </context> <raw_text>0 好吧，实际上，我确实想提到艺术，这与人们谈论Gantz的不同用途有很大的联系。

对我们来说，这真的很惊人。我们推出了Pix2Pix，然后在你知道的情况下，我们把日期和代码放到了网上。然后在几周内，Filizola的一个朋友Christopher Hayes创建了这个非常可爱的小在线应用程序，可以从边缘创建猫。然后，

真正迅速开始的是，人们开始用这个应用程序做疯狂的事情，做一些我们都没有预料到的事情。这是人们在线上做的不同事情，你知道，人们开始在脸上做这些事情，而这，

我们意识到有某种创造性的能量，甚至，Jan为我们做了一个。然后我那位出色的同事，来自Adobe的Aaron Hertzman，他对艺术和技术的这种联系非常感兴趣。他向我指出了一大堆绝对惊人的艺术家

他们正在使用GANs来改善他们的艺术创作。所以Mario Klingbein是第一个真正让我印象深刻的人，我的意思是，这对我来说，

对我来说，这感觉就像我们通过给艺术家一个新工具，一个新画笔，实际上是在做一些好事。事实上，这是我遇到的一位艺术家Elena Sarin，她是一名软件工程师，同时也是一名艺术家。当她了解到GANs时，她说：“哇，我可以把这两件事结合起来。”

我喜欢她所说的。她说，我的水彩画老师曾经说过，让媒介来完成它。

通过这一点，我的草图提供了基础，然后网络做它的事情。我不反抗，我不断调整GAN画笔，对吧？所以这就是GAN的理念，不是计算机创造艺术，而是作为一种画笔来释放艺术家的创造力。这是另一位我很高兴拜访的出色艺术家Scott Eaton。他的工作基本上是

他画草图，然后他基本上使用他自己在工作室拍摄的一些数据运行pix2pix，以创建这些不可能的雕塑。令人惊讶的是，GAN能够很好地捕捉阴影和色调的一致性。然而，它确实是非常

不同和奇怪的东西。因此，最后，我想对Joel Simon的这个精彩网站表示赞赏，它叫Art Breeder。这是一个很棒的尝试

释放你的创造力，规则非常简单，你基本上是在GAN空间中工作。我认为他们使用的是big GAN，并将不同的潜在向量结合在一起。它的力量在于这是一个社区努力，它是可分享的，并且产生了一些非常、非常令人印象深刻和惊人的作品。所以这是，

我认为这对我来说是意想不到的。我想也许Ian也没有预料到这一点，但整个艺术家社区正在参与其中，做一些我们技术人员从未想到的事情。我认为这真是太棒了。

绝对如此。我非常喜欢Elena Sarin的书，使用GANs和插图，以及Art Breeder。我爱Art Breeder。你实际上可以上传自己的照片并进行调整，因为他们基本上已经将其解耦。你可以让自己变得更老或更年轻，看看各种不同的样子。关于Pics2Pics，来自Edges2Cats的第一个模型，

你将在专业化课程中实现并了解它。酷。好吧，我们还有几分钟的时间。在结束小组讨论之前，我想请你们每个人给我们的学习者提供一两句建议，他们正在AI领域建立自己的职业生涯并进入GANs。也许从Andrew开始？当然。也许只是一个例子。你知道，

我很久以前读过CycleGAN的论文，对吧？很酷的结果。这是标志性的将马变成斑马的图片。当我看到那张图片时，我想，哇，这真的很酷。我想，好吧，我想把一张马的照片变成斑马的照片的频率有多高？并不常见。因此，有时人们确实会问，GANs有什么用？

就在本周早些时候，我看到了一篇来自威斯康星大学和NIH（国家卫生研究院）的论文，该论文使用对比CT图像，基本上是带有染料的X光图像，并将其转换为不带染料的X光图像，以供监督学习算法进行医学成像训练。我想，哇，这真的很酷。这个最初发布为将斑马和马变成斑马的东西，听起来有趣且真的很酷，

你知道，它似乎在医学成像中有真正的应用。因此，哦，我们今天也涵盖了这篇论文。但对我来说，创造力的空间如此之大，我认为如果有人想进入GANs，现在是个好时机，因为仍然有很多应用空间，无论是像RR-Reader这样的艺术性应用，还是像

医学成像这样的少量数据监督学习，或者可能还有很多其他人，今天没有人想到或正在研究的东西。因此，我认为有时，正如Alexei刚才所说，有时你有点固执，追逐你的梦想或信念，并继续努力。

直到它有效。也许有一个奇怪的联系。斯坦福大学的第一台GPU服务器是由Ian和他的室友填充的。这帮助推动了很多现在的工作，对吧，NVIDIA

我认为这是因为Ian当时想，我想开发一台GPU服务器，这影响了我当时的团队。我认为GAN提供了一套非常酷的算法，这些算法足够成熟，可以在许多地方使用，但也有很多创造力的空间。所以我希望人们能做到这一点。ANU MAI：Hanuman接下来。

所以Andrew所说的很好。我完全同意。我还会补充，除了也要关注基础知识，对吧？所以在加州理工学院，我教授机器学习的基础知识。从第一原则开始总是好的。如果你现在把这看作是一个极大极小游戏，你知道，博弈论告诉我们什么？即使在简单的情况下，比如两个玩家之间的双线性游戏，已知的是什么，对吧？因此，思考一些这些可能会给你提供直觉，甚至如何最终调整复杂的GANs，对吧？所以我认为拥有良好的基础和一些扎实的原则方法将帮助我们更好地理解这些非常复杂的GANs。希望如此。我的意思是，我们仍然没有完全到达那里，但我鼓励你考虑基础知识。

而Ian呢？我认为在研究、工业或你想做的任何事情中，你真的应该考虑我如何能做一些与其他人不同的事情？如果你追求最明显有前景的事情，你会被抢先，正如Sharon所说。我认为避免在GANs中被抢先的一种方法是尝试打破主要使用GANs进行图像的模式。考虑将GANs用于工业设计、医学、

任何超越仅仅制作光栅网格的事情。当然，其他人迄今为止也这样做了，但这比非常拥挤的图像领域要空旷得多。我认为在那方面冒险将为你的职业带来丰厚的回报。- 我同意。Alexi呢？- 首先，让我对在医学中使用CycleGAN等事物做一点小小的反驳。我认为在医学中，

我认为我们需要非常非常小心，因为每个月，我都会接到医生的电话，告诉我，哦，我们想使用CycleGAN来创建更多的X光数据或更多的MRI数据。从根本上说，人们必须记住，GANs都是关于幻觉内容的。

所以你必须非常非常小心。因此，我只是... 我认为在医学应用中使用GANs做有趣的事情是可能的，但我认为你需要特别特别小心，因为这不是马和斑马。这关乎人类生命。因此，我只是...

在医学领域特别使用GANs时增加一些谨慎。但我认为绝对应该在那个方向上继续研究。至于建议，我认为，特别是如果你在做研究，如果你想成为一名研究人员，

我认为一切都与享受有关。你需要享受你所做的事情，因为如果你知道，成为一名研究人员是困难的，你的论文会被抢先，你的论文会被拒绝。这是艰难的。你知道，这不是一份朝九晚五的工作。你知道，你是24小时的研究人员。因此，你需要享受它。你需要找到你真正热爱的东西，因为否则这就不值得。所以尽量去享受。

我完全同意这一点，尽管在医学方面，我会在几个月内努力证明你是错的。我绝对同意，Yosha。你应该小心。但我认为这也是我们希望机器学习专家在该领域工作的原因之一，因为如果一个只懂医学的人看到一篇关于GANs的论文并说，你知道，给我一些马到斑马的魔法用于MRI。

他们不会理解所有可能出错的事情，而真正的机器学习专家可以理解。因此，这个社区有责任在这些高风险应用中保持谨慎和深思熟虑。

我认为高度合作是非常重要的。这不仅在我们这边，也在医学这边。这使得我们在实验室进行的每一个医学项目都回归到评估。我们非常重视医生的参与，查看GAN生成的图像并说，它是幻觉癌症还是去除了癌症？而且这必须保持那个标签，对吧？才能有用。

因此，找到这些应用，我认为确保有大量的合作和对话正在进行，并从双方学习是非常重要的，当然。

我的意思是，我完全同意这一点，对吧？因此，合作必须完全整合。并不是说，你知道，拿着这个Gantt包去做这个，因为问题是，在医学中，什么是被接受的指标

在许多情况下，甚至这都不存在，对吧？在许多情况下，甚至医生也不同意。我一直在与Andrew Hung合作，他是南加州大学的泌尿学教授。我们还没有进入Gansett。我们正在做理解机器人手术中的手势的第一步，以及如何准确地做到这一点。因此，最终给外科医生反馈他们的表现。

不同的手势和结果是什么。是的，这让我意识到决定什么是手势的复杂性。这个手势有效吗？

对吧。所以我认为我的建议会类似于Lyosha所说的，也许做一些小步骤，对吧？你不必一开始就做GANs，只需做非常简单的监督学习，看看你获得了什么准确性。还要考虑多样性。例如，已经有很多检测皮肤癌的应用程序，但它们大多是在较浅的皮肤上训练的，并且，

可能还有很多其他的虚假因素。我想我看到了一条推文，我认为紫色标记是它所过拟合的，对吧？因此，在数据和使用的数据类型方面要非常小心。

绝对如此。非常感谢小组的每一位。我现在将从我们的YouTube聊天中获取问题。因此，如果你正在观看并且有一些问题，请在那儿发布，我们将根据问题进行解答。

这与Ian所谈论的使用GANs做其他事情有关。考虑一下你可以将GANs用于其他事情。一位观众问，GANs在NLP中是否有应用，我们可以将GANs用于NLP数据增强吗？Ian，你想回答这个吗？

任何人可能对这个话题不太了解，正如Alyosha所说，GAN知识的半衰期通常只有三个月。NLP无疑是一个更难以用GANs处理的领域。我在2017年与首席作者Liam Fetus写了一篇论文，叫做mask GAN填补空白，我们认为我们已经让GANs生成了

更结构化、语法正确且有意义的句子，但概率低于传统的最大似然文本建模。后来，Liam实际上做了一些后续工作，他与其他人展示了mask GAN实际上并不比概率模型好。你可以通过降低传统最大似然模型的熵来获得相同的效果。

因此，生成模型，当然可以在NLP中使用。基本上，我们现在看到的每个NLP模型在某种程度上都是生成模型。GANs特别在那个特定领域似乎更难应用。酷。另一个问题是，GANs可以用于风格迁移吗？是的，我们看到它可以来自Alexei的精彩演示。但它与原始神经风格迁移算法有何相似之处？

Alexei，你想回答这个吗？ALEXEI VARGAS：好的，我认为有两个独立的方向，我会说。一个是我们计算机科学极客所做的可爱事情，比如神经风格迁移和不同类型的图像到图像的转换，就像我们所做的那样。

与此分开的是，使用GANs为艺术家服务的艺术家。请记住，艺术家将使用他们找到的任何东西。他们可以下载Pix2Pix或CycleGAN或Neurostyne。但这并不是最重要的部分。最重要的部分不是技术。最重要的部分是他们用它做什么。有时他们会拿起最愚蠢的老派东西，创造出

惊人的艺术作品。因此，我认为这是一种独立的事情。因此，在神经风格迁移方面，Gattis的论文，我真的很喜欢那篇论文。那是一篇美丽的论文，但那并不是真正的艺术。那只是一种酷炫的，你知道，Instagram滤镜或其他东西，对吧？因为它没有灵魂。因此，是的，

我认为我们作为技术人员可以提供所有这些小工具、小画笔，但我认为我们不能声称比这更多的东西，你知道，算是

酷炫的滤镜，然后我们必须让艺术界看看我们提供的东西，选择他们喜欢的东西，看看他们用它做什么。因此，我会专注于让艺术家决定。他们是专家。他们是那些真正创造出

应该触动你灵魂的东西的人。马到斑马，这很可爱，对吧？但它并没有触动你的灵魂。但例如，Helen所做的东西真的就像我有她的一本书，我只是，是的，这对我来说是有意义的，对吧？我认为这就是我们试图专注于给予艺术家的东西。

是的，我会同意这一点。这个问题可能会指向Anima，随着GPU内存和计算能力的不断增长，你如何看待未来GANs在视频或3D数据中的应用？是的，我认为在数据计算和算法的融合方面，这是一个令人兴奋的时刻，对吧？这就是我喜欢称之为三位一体的东西。

我的意思是，GPU继续变得更好。图形和AI方面的融合也在Nvidia中看到。你可以看到DLSS，这是基于深度学习的超采样。因此，我们在加速图形方面正在迈出小步伐。但问题再次是，传统图形可以做什么，而GANs又能做什么，对吧？我的意思是，你是否应该用GAN替换所有东西，或者也许其中一些仍然可以是...

你知道，固定计算。我认为这就是我们在未来几年将要研究的内容，如何实现真正快速、高效的渲染，不仅仅是2D、3D，还要考虑多模态数据，例如在自动驾驶中同时使用图像和LiDAR。因此，在所有这些情况下，如何加速

这些图像的生成，同时也要关注非常高质量的照片真实设置，最终能够创造出新的形状、新的概念。我认为这将是下一轮，不仅仅是加速现有的东西，而是创造更好的资产。

我认为我们不会创造新的艺术，但至少我们会创造出更多的资产，以便帮助我们完成其他下游任务。谢谢你，Anima。最后一个问题。我将把这个问题指向Andrew，因为你确实对此有所涉及。追求GAN研究或应用GANs与深度伪造相关的伦理问题是什么？我们已经生活在一个政治环境中，所谓的“真实”已经被激烈争论。

你知道，我认为几乎许多AI技术都可以为每个人带来巨大的好处，但也有非常有问题的用例。因此，我认为这取决于社会各界的每一个人，每一个工程师、每一家公司、政府、营利性和非营利性组织，努力去

在天平上施加我们的影响，确保构建的应用使人们的生活更好。我认为我们在确保组织拥有适当的伦理委员会方面还做得不够好。我认为我们在确保个别工程师能够充分授权提出问题并积极辩论这些问题方面也做得不够好，真正拒绝参与我们认为没有推动进展的项目。就我而言，如果我认为它们没有推动世界向前发展，我会停止多个项目。

我已经因为这个原因终止了多个看似有利可图的项目，但我认为这并没有让世界变得更好。我只是基于这个理由停止它们。但我希望看到社会各界的人们能够以更一致的方式做到这一点。我认为我们确实需要的是，当这些问题出现时，每个人都能更多地发声，以便我们能够进行细致的辩论。其中一些事情是困难的。你应该构建一项技术还是不构建？有时实际上并不清楚你是否在让世界变得更好。但我认为让人们有能力辩论这些问题将意味着我们在社会上做出更好的决策。因此，也许我想说，确实要关注这一点。你知道，技术真的很强大。因此，这些伦理问题不仅仅是让其他人担心的事情。我认为这是我们每个人都应该思考和担心的事情，因为这对我们所有人来说都是重要的。

是的，权力越大，责任越大。因此，感谢小组成员的见解和讨论。感谢发言人Anima和Ian今天的加入。对于我们的观众，请继续关注最后10分钟。我现在将为您提供GAN专业化的预览。非常感谢你，Sharon。你真棒。感谢你组织这一切。再见。

非常感谢您收看这个特别片段。我希望您学到了很多，并受到启发，考虑参加Coursera上的GAN专业化课程。我相信如果您审计它，实际上可以免费参加。如果您喜欢这一集和整个节目，请给我们留下评分，下周见。