神経科学：脳の活動を文章に翻訳する

神経活動を解読し、高い精度で文章に翻訳する機械翻訳アルゴリズムについて報告する論文が、Nature Neuroscience に掲載される。

ブレイン・マシン・インターフェースを用いて神経活動から発話を解読する試みは、あまり成功を収めておらず、その精度は、自然な発話と比べて相当低い状態が続いている。これまでに発表されたブレイン・マシン・インターフェースは、発話された言葉の断片しか解読できず、発話されたフレーズを構成する単語の40％も解読できなかった。

今回、Joseph Makinたちの研究チームは、機械翻訳の最近の進歩を調べた上で、機械翻訳の手法を用いて、回帰型ニューラルネットワークの訓練を行い、神経信号を文章に直接マッピングした。今回の研究では、発作モニタリングのために頭蓋内に電極を設置された4人の参加者による実験が行われ、参加者に文章を音読させて、その際の神経活動が電極によって記録された。この神経活動の記録は、回帰型ニューラルネットワークに入力され、発話の反復的特徴（母音、子音、口の部分への命令など）に関連している可能性の高い、規則的に発生する神経特徴の表現が生成された。次に、別の回帰型ニューラルネットワークが、この表現を単語ごとに解読して、文章を作成した。また、Makinたちは、発話の解読に大きく寄与する脳領域が、発話の産出と知覚にも関与していることを発見した。

この機械翻訳の手法で、1人の患者の神経活動から発話された文章が解読され、その際のエラー率は、プロ級の発話の転写に近かった。さらに、1人の神経活動と発話による訓練を行った上で、別の参加者で訓練した回帰型ニューラルネットワークを用いた場合には、解読結果が改善した。この結果は、この方法を他人に転用できる可能性を示唆している。しかし、この一連のシステムの能力をさらに詳しく調べて、今回の研究で設定された言語の制限条件を緩和しても解読できるようにするためには、さらなる研究が必要となる。

doi: 10.1038/s41593-020-0608-8

「注目の論文」一覧へ戻る