神経科学：脳で行われる多時間スケールの強化学習
Nature 642, 8068 doi: 10.1038/s41586-025-08929-9
複雑な環境の中で栄えるには、動物であれ人工エージェントであれ、適応的に行動することを学習して適応度と報酬を最大化しなくてはならない。こうした適応行動は強化学習を通じて学習され得る。強化学習はアルゴリズムの一種で、人工エージェントの訓練に用いられ、中脳ドーパミンニューロンの発火パターンをうまく説明できることが示されている。従来の強化学習では、将来の報酬は時間がたつほど価値が下がる（割り引かれる）と仮定されている。この割引は通常、単一の時間スケールで指数関数的に行われ、これを報酬割引率と呼ぶ。本研究で我々は、実際の生物の強化学習では、複数の時間スケールが併存する可能性を検証した。我々はまず、複数の時間スケールで学習する強化学習エージェントは、明らかな計算上の利点があることを示した。次に、2つの異なる行動課題を遂行中のマウスからドーパミンニューロンの活動を記録し、個々のドーパミンニューロンは、異なる報酬割引率を用いて報酬予測誤差を計算していることを明らかにした。今回のモデルで、手掛かり誘導性の一過的応答とドーパミン傾斜として知られるより遅い時間スケールのゆらぎ現象の両方における時間的割引の不均一性を説明できる。重要な点は、2つの全く異なる行動課題で得られた個々のニューロンの報酬割引率が相関していることであり、これは報酬割引率が細胞特有の性質であることを示している。今回の結果は、ドーパミンニューロンの機能的不均一性の解釈に新たなパラダイムを提供し、より効率的な強化学習アルゴリズムの開発に向けた新たな道を開くものである。また、ヒトや動物が多くの場面で非指数関数的な報酬割引を行っていることが経験的に知られているが、今回の発見は、このメカニズムを考える上で重要な知見を提供する。
