学会在最佳应对策略迭代中进行无媒体外交

2020-06-16 09:03:24

下载PDF摘要:深度强化学习(RL)的最新进展已经在许多双人零和游戏中取得了相当大的进步,如围棋、扑克和星际争霸。这类游戏的纯对抗性本质允许RL方法在概念上的简单和原则性的应用。然而,现实世界的设置是多智能体的,智能体交互是共同兴趣和竞争方面的复杂混合物。我们来看一款名为“外交”(Diplomacy)的7人棋盘游戏,这款游戏旨在突出多人互动带来的困境。它还具有组合动作空间大、动作同时进行等特点,这对RL算法提出了挑战。我们提出了一种简单而有效的近似最佳响应算子,用于处理较大的组合动作空间和同时动作。我们还介绍了一族近似实际博弈的策略迭代方法。有了这些方法,我们成功地将RL应用到外交中:我们的代理如何令人信服地超越了以前的最先进水平,博弈论均衡分析表明,新的过程产生了持续的改进。