【神経科学】脳活動の記録から対話をリアルタイムに解読する

質問の聞き取りと質問への回答に関連する脳活動をリアルタイムに復号化して、音声表記を生成するニューラルデコーダー（神経復号化システム）について報告する論文が、今週掲載される。

脳の皮質には、知覚された発話の表現が符号化されたニューロンが活動する領域と生成された発話の表現が符号化されたニューロンが活動する領域がそれぞれ存在している。この脳活動のデータを復号化できることは複数の以前の研究で実証されているが、それらの研究の主眼は、聞き取り課題での脳活動の復号化と発話課題での脳活動の復号化を別々に行うことにあった。

今回、Edward Changたちの研究グループは、質問と回答からなる対話を模倣した実験で、知覚された発話と生成された発話を脳活動から復号化した。今回の研究では、被験者（てんかんの治療を受けている3人の患者）に、質問を聞かせてからあらかじめ用意された回答を読み上げる課題を一定回数行わせて、その際の被験者の脳皮質活動を記録した。その後、これらのデータは、発話検出モデルと発話解読モデルの訓練に役立てられた。次にそれぞれの被験者に質問を聞かせてから被験者が選んだ答えを読み上げさせる課題を一定回数行わせた。

Changたちは、この対話の際に記録された神経シグナルのみを用いて、被験者が質問を聞いているところなのか、回答を読み上げているところなのかを検出し、何が聞こえているのか、または何を話しているのかを推定した。また、Changたちは、質問の内容を解読することで、この情報を用いて回答内容の解読精度を高めることができた（これは、用意された回答の中に特定の質問に対してのみ適切なものが含まれていたことによる）。知覚された発話と生成された発話の解読精度は、それぞれ最大61％と76％だった。

負傷や神経変性疾患のために発話能力を失った者が利用できるようになるには、さらなる研究によって想起された発話から回答を解読できるようにする必要があると考えられる。

doi: 10.1038/s41467-019-10994-4

「注目の論文」一覧へ戻る