計算機科学：マルチエージェント強化学習を用いてスタークラフト2のグランドマスターレベルに到達
Nature 575, 7782 doi: 10.1038/s41586-019-1724-z
実世界の多くのアプリケーションでは、人工エージェントには複雑な環境において他のエージェントとの競合や協調が求められる。スタークラフト（StarCraft）は最も難易度の高いプロeスポーツの1つとして象徴的な地位を保ち続けており、その高い複雑性とマルチエージェントチャレンジという点で実世界と関連性があることから、人工知能研究では、実世界アプリケーションという目標への足掛かりとして重要な挑戦の場となっている。過去10年間にわたって開催されてきた数多くの大会において、最強のエージェントは、スタークラフトの重要な側面を単純化したり、超人的な能力を利用したり、手作りのサブシステムを採用したりしてゲームに取り組んできた。しかし、これらの強みをもってしても、スタークラフトのトッププレイヤーたちが持つ総合的なスキルに匹敵するレベルに近づけたエージェントはまだ存在しない。そこで我々は、原理的に他の複雑なドメインにも応用可能な汎用性のある学習法を用いて、こうしたスタークラフトの課題に取り組むことにした。この手法は、継続的な適応戦略とカウンター戦略（それぞれがディープニューラルネットワークで表される）の多様なリーグ内で、人間とエージェントの両方からのゲームデータを用いるマルチエージェント強化学習アルゴリズムである。我々は、独自のエージェント「アルファスター（AlphaStar）」を、スタークラフト2の完全版で人間のプレイヤー相手に行った一連のオンライン対戦を通して評価した。その結果、アルファスターは、スタークラフトの3種族全てにおいてグランドマスターレベルに達し、公式にランキングされた99.8％の人間プレイヤーよりも上位にランクインした。
