Article
神経科学：分布型強化学習のための線条体内の拮抗的回路
Nature 639, 8055 doi: 10.1038/s41586-024-08488-5
従来の強化学習（RL）のアルゴリズムは報酬の平均値を学習対象としてきたが、対象を報酬の確率分布に拡大した分布型RLが広範な課題で成績を大きく向上させることが、最近の機械学習の研究で報告されている。中脳辺縁系のドーパミンニューロンは、線条体での報酬平均値の情報を更新することで、哺乳類脳がRLを行う基盤を形成すると考えられている。しかし、この回路のニューロンが報酬の分布に関する情報を符号化しているかどうか、そして符号化がどのように行われているのかは、ほとんど分かっていない。今回我々は、この問題を明らかにするため、高密度プローブ（Neuropixels）を用い、古典的条件付け課題を遂行中のマウスから線条体の活動を記録した。その際、報酬平均値、報酬の分散、報酬を予測する刺激の種類を別々に操作した。その結果、従来のRLアルゴリズムとは異なり、線条体で報酬価値の分散の符号化が行われていることが分かった。ドーパミン入力を継続的に遮断すると、線条体のこうした分布表現は擾乱されるが、報酬の平均値の表現には影響がなかった。また、2光子カルシウム画像化と光遺伝学的操作によって、線条体中型有棘ニューロンの2つの主要型であるD1型ニューロンとD2型ニューロンが、それぞれ報酬分布の右と左の端を優先的に符号化していることが明らかになった。我々はこれらの知見を基に、D1型とD2型のニューロン間の拮抗的作用を組み込んだ、新しい分布型RLの計算論的モデルを提唱する。
