コンピューター科学：まず戻り、次に探索する
Nature 590, 7847 doi: 10.1038/s41586-020-03157-9
強化学習は、高レベル報酬関数のみを規定することによって複雑な逐次決定問題を自律的に解決すると期待されている。しかしよくあることだが、単純で直観的な報酬によって得られるフィードバックがまばらで欺瞞的な場合には、強化学習アルゴリズムは苦戦する。こうした落とし穴を回避するには、徹底的な環境探索が必要である。しかし、それができるアルゴリズムの作成は、依然としてこの分野の中心的課題の1つとなっている。今回我々は、効果的な探索が妨げられるのは主に、アルゴリズムが以前訪れた状態に到達する方法を忘れること［デタッチメント（detachment）］と、探索する前の元の状態にまず戻ることができないこと［ディレールメント(derailment)］に起因すると仮定した。我々は、有望な状態を明確に「記憶する」とともに意図的に探索する前にそうした状態に戻るという単純な原理を通して、これらの2つの課題に直接対処するアルゴリズムの一群であるGo-Exploreを提示する。Go-Exploreは、アタリ（Atari）のこれまで未攻略だったゲームを全て攻略し、全てのハード探索ゲームの最高水準を上回り、最も難しいゲームである「モンテスマの復讐（Montezuma’s Revenge）」と「ピットフォール（Pitfall）」では桁違いの向上が見られた。我々はまた、報酬がまばらなピックアンドプレース・ロボティクスのタスクにおいて、Go-Exploreの実用的な可能性も実証する。さらに我々は、ゴール条件付き方策の追加によってGo-Exploreの探索効率をさらに向上でき、訓練全体を通して確率性を扱えるようになることを示す。Go-Exploreによって大幅な性能向上が得られたことで、状態を記憶し、その状態に戻り、そこから探索するという単純な原理が、探索に対する強力かつ一般的な手法であることが示唆された。この知見は、真に知的な学習エージェントの作成に不可欠であると証明される可能性がある。
