計算論的神経科学：人工エージェントにおけるグリッド様表現を用いたベクトルベースのナビゲーション
Nature 557, 7705 doi: 10.1038/s41586-018-0102-6
ディープニューラルネットワークは、対象物の認識から囲碁のような複雑なゲームに至るまで、目覚しい成功を収めてきた。しかし、ナビゲーションは人工エージェントの大きな難題であり続けており、強化学習によって訓練されたディープニューラルネットワークも、嗅内皮質のグリッド細胞によって支えられる哺乳類の空間行動の熟達度にかなわない。グリッド細胞は、空間を符号化する際に、測定基準として機能する複数のスケールの周期性表現を提供すると考えられており、自己の移動の積分（経路積分）と、目的地への最短経路の計画（ベクトルベースのナビゲーション）に重要である。今回我々は、グリッド細胞の計算機能を利用して、哺乳類に似たナビゲーション能力を持つ深層強化学習エージェントの開発を始めた。まず、回帰ネットワークを訓練して経路積分を行わせたところ、グリッド細胞や他の種類の嗅内皮質細胞に似た表現が出現した。次に我々は、この表現が、難易度が高くて馴染みのない可変的な環境の中で目的地を見つけ出すための有効な基盤をエージェントに提供し、深層強化学習を通じてナビゲーションの主要な目的を最適化したことを示す。グリッド様表現を備えたエージェントの性能は、ネットワーク内のグリッド様単位から導出されたベクトルベースのナビゲーションに必要な測定量を備えていることにより、熟達した人間や比較用エージェントよりも優れていた。さらに、グリッド様表現は、エージェントが、哺乳類が行うのに似た近道探索行動をとることをも可能にした。発生するグリッド様表現はユークリッド空間座標と関連するベクトル演算機能をエージェントに付与し、熟達したナビゲーションの基盤を提供する。従って、我々の結果はグリッド細胞がベクトルベースのナビゲーションに重要だとする神経科学理論を裏付けており、ベクトルベースのナビゲーションを経路ベースの戦略と組み合わせることで、困難な環境内でのナビゲーションを助けられることを実証している。
