神経科学：ドーパミンに基づく強化学習での価値に関する分布型コード

ドーパミンの報酬予測誤差理論は、提唱以来、多くの経験的事象を説明し、脳内での報酬と価値の表現を理解するための統一的な枠組みを提供してきた。現在では標準的となったこの理論によれば、報酬の予測は単一のスカラー量で表現され、これによって確率論的な結果の期待値、すなわちその平均値についての学習が後押しされる。本論文では、分布型強化学習についての最近の人工知能研究に着想を得た、ドーパミンに基づく強化学習説を提案する。我々は、脳は、可能性のある将来の報酬を単一の平均値ではなく確率分布として表現しており、これによって将来の複数の結果が、同時かつ並行して効率的に表現されると仮定した。そして、この仮説が意味する一連の経験的予測について、マウスの腹側被蓋野における単一ユニット記録を用いて検証した。今回の知見は、分布型強化学習が神経系で実現されていることを示す強力な証拠となる。

目次へ戻る