人工智能击败顶级电竞选手！DeepMind推AlphaStar Unplugged 通过离线学习掌握《星际争霸 II》玩法

文章概要:

游戏成为AI评估的试金石: 游戏一直是评估人工智能系统能力的重要场所，星际争霸II作为复杂的实时战略游戏，推动了AI在复杂性应用中的发展。

离线RL方法的革命性引入: AlphaStar Unplugged通过离线RL方法，在固定数据集上进行学习，首次打败顶级职业星际争霸选手，突破了在线RL在复杂游戏中的难题。

建立复杂环境RL基准: 通过AlphaStar Unplugged，构建了一个离线RL基准，使用固定数据集、新颖评估指标和基准代理，推动了大规模离线强化学习的研究，展示了连接模拟和实际应用之间的潜力。

DeepMind的研究人员近期推出了一项具有重大意义的成果:AlphaStar Unplugged。这一创新性研究通过实现离线强化学习，成功解决了星际争霸II这一实时策略游戏的巨大挑战，在人工智能领域迈出了重要一步。

长期以来，游戏一直是评估人工智能系统能力的重要试验场。随着人工智能技术的发展，研究人员开始寻找更复杂的游戏来评估与现实世界挑战相关的智能方面。星际争霸II，作为一款具有复杂性的实时战略游戏，成为了人工智能研究的巨大挑战，同时也促使AI技术在处理复杂问题上迈出更大的一步。

项目地址：https://github.com/deepmind/alphastar

与之前在其他游戏中取得的成就相比，这次的突破是基于离线强化学习（RL）的方法，这意味着AI代理在固定数据集上进行学习，而不需要与环境实时交互。星际争霸的复杂性使得在线RL方法难以应对，但这项研究成功地克服了这个挑战。通过AlphaStar程序，AI代理不仅击败了顶级职业选手，还在游戏玩法上达到了媲美人类的水平。

这一突破的核心在于建立了一个具有挑战性的离线RL基准。通过利用星际争霸II的海量人类玩家回放数据集，代理可以在不直接与游戏环境交互的情况下进行训练和评估。这一基准通过固定数据集和明确规则，引入了新颖的评估指标，为各种方法之间的公平比较提供了平台。研究团队还提供了一系列经过调整的基准代理，作为实验的起点。

通过AlphaStar Unplugged，研究人员不仅提供了这一突破性的方法，还认识到构建有效的星际争霸II代理所需的巨大努力。他们提供了经过精心调整的行为克隆代理，为论文中介绍的所有代理提供了基础。

总体而言，DeepMind的AlphaStar Unplugged引入了一个前所未有的离线RL基准，为解决复杂问题提供了新途径。通过利用星际争霸II这个复杂环境，这项研究为强化学习中的方法改进和性能度量设定了基准，同时也强调了离线RL在模拟与实际应用之间的潜力，为复杂环境下的代理训练提供了更安全、更实际的方法。这一成果将有望推动大规模离线强化学习研究取得更大进展。