We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
Machine Learning + Procedural Content Generation with Julian Togelius and Sebastian Risi
2020/8/29
Last Week in AI
J
Julian Togelius
S
Sebastian Risi
Julian Togelius: 程序化内容生成 (PCG) 是一种在游戏开发中广泛应用的技术，用于生成游戏中的各种内容，例如关卡、地形、任务等。它最初是为了解决游戏开发中内存和开发时间的限制而产生的，但现在已经发展成为一种强大的工具，可以用于创建适应玩家行为、内容无限的游戏。PCG 技术在过去几十年中不断完善，现在已经成为游戏开发的标准技术。学术界也开展了大量研究，探索如何扩展 PCG 技术以创造适应玩家的新型游戏。在游戏开发和机器学习训练环境的创建中，都应该使用搜索算法（例如贪婪搜索、随机算法、进化算法等），以优化多个标准并提高生成内容的多样性和质量。强化学习研究人员应该探索更丰富的算法（来自游戏开发和游戏研究），来改进环境变化，而不是仅仅使用简单的随机化方法。为了学习复杂的、普遍适用的行为，拥有合适的任务至关重要，而这些任务应该通过算法与解决方案共同生成，类似于地球上生命进化过程中的物种共同进化。可以使用机器学习方法学习现有内容（例如关卡）的表示，然后在该表示中使用搜索算法生成新的内容。可以使用强化学习训练关卡生成器，但需要采取措施防止过拟合，例如限制训练集长度和随机化起始位置。目前 PCG 系统还无法真正以开放式的方式创建内容，即使是像 Poet 这样的优秀系统，其生成内容也受到编码方式的限制。PCG 中的一个主要挑战是如何处理数据稀缺问题，尤其是在游戏内容中，需要考虑功能性约束，即生成的內容必须是可玩的。一种可能的解决方法是预训练，即先在一个大型数据集上预训练关卡生成器，然后在少量特定游戏数据上微调，以学习该游戏的风格和功能约束。
Sebastian Risi: PCG 和机器学习领域此前发展相对独立，但现在两者开始融合，相互促进。机器学习技术可以用于改进 PCG 算法，而 PCG 可以帮助解决机器学习中的过拟合问题。深度强化学习在游戏中的应用存在过拟合问题，即使是细微的改变也会导致模型失效，而 PCG 可以通过生成多种多样的环境来解决这个问题，从而训练出更通用的策略。一个很有前景的研究方向是同时生成学习环境和智能体，例如 Uber AI Labs 的 Poet 项目，该项目同时生成机器人二维环境和控制器，让环境难度随着智能体能力的提升而逐渐增加。AI 技术可以用于从现有内容中学习，例如使用数据驱动编码或潜在变量进化方法，从已有的关卡中学习，生成不同但相似的关卡。目前 PCG 系统还无法真正以开放式的方式创建内容，其生成内容也受到编码方式的限制。未来可能会出现更多利用机器学习技术设计的新型游戏，以及能够快速适应玩家行为的AI技术，例如元学习和结合进化算法的强化学习。
Deep Dive
Procedural content generation (PCG) is a technique in game development that involves generating game content algorithmically. The paper discusses how PCG can benefit machine learning by providing diverse learning environments and how machine learning can enhance PCG.
Shownotes Transcript