【神経科学】脳活動の記録から対話をリアルタイムに解読する
Nature Communications
2019年7月31日
Neuroscience: Decoding dialogue from brain activity in real time
質問の聞き取りと質問への回答に関連する脳活動をリアルタイムに復号化して、音声表記を生成するニューラルデコーダー(神経復号化システム)について報告する論文が、今週掲載される。
脳の皮質には、知覚された発話の表現が符号化されたニューロンが活動する領域と生成された発話の表現が符号化されたニューロンが活動する領域がそれぞれ存在している。この脳活動のデータを復号化できることは複数の以前の研究で実証されているが、それらの研究の主眼は、聞き取り課題での脳活動の復号化と発話課題での脳活動の復号化を別々に行うことにあった。
今回、Edward Changたちの研究グループは、質問と回答からなる対話を模倣した実験で、知覚された発話と生成された発話を脳活動から復号化した。今回の研究では、被験者(てんかんの治療を受けている3人の患者)に、質問を聞かせてからあらかじめ用意された回答を読み上げる課題を一定回数行わせて、その際の被験者の脳皮質活動を記録した。その後、これらのデータは、発話検出モデルと発話解読モデルの訓練に役立てられた。次にそれぞれの被験者に質問を聞かせてから被験者が選んだ答えを読み上げさせる課題を一定回数行わせた。
Changたちは、この対話の際に記録された神経シグナルのみを用いて、被験者が質問を聞いているところなのか、回答を読み上げているところなのかを検出し、何が聞こえているのか、または何を話しているのかを推定した。また、Changたちは、質問の内容を解読することで、この情報を用いて回答内容の解読精度を高めることができた(これは、用意された回答の中に特定の質問に対してのみ適切なものが含まれていたことによる)。知覚された発話と生成された発話の解読精度は、それぞれ最大61%と76%だった。
負傷や神経変性疾患のために発話能力を失った者が利用できるようになるには、さらなる研究によって想起された発話から回答を解読できるようにする必要があると考えられる。
doi: 10.1038/s41467-019-10994-4
注目の論文
-
6月24日
スポーツ科学:首の歪みを測定する新しいウエアラブルセンサーで脳震盪の疑いを判定できるかもしれないScientific Reports
-
6月23日
科学コミュニティー:科学論文に著者と明記される女性研究者が男性研究者より少ないNature
-
6月17日
健康技術:スマホを利用した費用対効果の高い中耳機能検査法の開発Communications Medicine
-
6月16日
運動によって誘導される分子が食欲を抑制するNature
-
6月16日
がん:がんにおけるゲノムの構造変異の特徴Nature
-
6月10日
動物:イヌがヒトの最良の友になるまでの過程を解明する遺伝的手掛かりScientific Reports