人工知能：深層強化学習を介した人間レベルの制御
Nature 518, 7540 doi: 10.1038/nature14236
強化学習の理論は、エージェントがある環境の制御を最適化する仕組みについて、動物行動の心理学的・神経科学的な考察に深く根差した規範的な説明を示してくれる。しかし、実世界の複雑さに近い状況で強化学習をうまく使うためには、エージェントは難題に直面する。高次元的な知覚入力から、環境についての効率的な表現を抽出し、それらを使って過去の経験を新たな状況に対して一般化しなくてはならない。意外にも、ヒトなどの動物はこの問題を、強化学習と階層的な知覚処理システムを、うまく調和をとりながら組み合わせて解決しているようであり、前者の証拠として、ドーパミン作動性ニューロンが発する一過性信号と時間差強化学習アルゴリズムとの間の注目すべき平行性を示す豊富な神経データがある。強化学習エージェントは、これまでにもさまざまな分野で成功を収めてはいるが、それらは有用な特徴を手作りできる分野や、全体を見通せる低次元の状態空間を持つ分野に限られていた。今回我々は深層神経ネットワークのトレーニングにおける最新の進歩を利用して、新しい人工知能エージェントを開発し、「ディープQネットワーク」と名付けた。これは、エンドツーエンドの強化学習を用いて、高次元知覚入力からうまい攻略法を直接学習できる。我々はこのエージェントを、古典的なAtari 2600のゲームという能力を試される分野でテストしてみた。ディープQネットワークのエージェントは、画像のピクセルと得点を入力として受け取るだけで、同一のアルゴリズムとネットワーク構造とハイパーパラメーターを用いながら、従来の全てのアルゴリズムに勝る成績を収めた上、49種のゲーム全てでプロのゲームテスターに匹敵するレベルを達成した。この研究は、高次元知覚入力と行動の間の溝を埋め、多様な難課題に優れた学習能力を発揮する初の人工エージェントを生み出した。
