Article
神経科学：ドーパミンニューロンにおける将来の報酬の多次元分布マップ
Nature 642, 8068 doi: 10.1038/s41586-025-09089-6
中脳ドーパミンニューロン（DAN）は、報酬予測の誤差を信号化して、これを受ける回路に期待された報酬について教示している。しかしDANは、時間的に割引された将来の期待報酬の平均を学習するアルゴリズムである、時間差分（TD）強化学習（RL）の基盤を提供し、経験した報酬量と遅延の分布に関する有用な情報は破棄すると考えられている。本論文で我々は、将来の報酬の時間と規模にわたる共同分布を学習する分布RLの多次元版である、時間–規模RL（TMRL）を提示する。我々はまた、行動中のマウスで光遺伝学的に特定したDANの神経活動において、TMRL様の演算を示す特徴を見いだした。具体的に我々は、時間的割引と報酬規模の調整の両方に、DAN全体にわたって相当な規模のばらつきがあることを示す。これらの特徴によって、報酬予測手掛かりに対するDAN集団応答からわずか450 msでの、将来の報酬の二次元確率的マップの算出が可能になった。また、この符号に由来する報酬の時間予測は、期待行動と相関しており、いつ行動すべきかの決定を下すのに、類似の情報が使われていることが示唆された。さらに、採餌環境での行動をシミュレートすることによって、動的な報酬景観と内的状態に直面した際の、報酬の時間と規模を共に示す確率分布の有用性が浮き彫りになった。これらの知見は、報酬に関する豊かな確率的情報が学習されてDANに伝達されることを示しており、TDアルゴリズムの単純な時間局所的拡張で、報酬情報がどのように獲得され、計算されるかを説明できることを示唆している。
