Research press release



Neuroscience: Decoding brain activity to speak your mind



今回、Edward Changたちの研究グループは、研究参加者の顎、喉頭、唇、舌の動きに関連した脳活動信号を用いて、その人の音声を合成する方法を開発した。Changたちはまず、5人の参加者に数百の文章を大声で読ませ、その時の大脳皮質活動を記録した。次にChangたちは、この記録を用いて、声道の個々の動きを引き起こす脳活動信号を復号化するシステムを設計し、それによって声道の動きから音声を合成した。101の文章を用いた検証試験では、この合成音声の聞き手は、音声を容易に識別でき、文字に起こすことができた。


なお、同時掲載のNews & ViewsにおいてChethan PandarinathとYahia Ali は、Changたちは説得力のある原理証明を行ったが、発話のための脳-コンピューターインターフェースを臨床的に使用できるまでには解決すべき課題が数多く残っているという見解を示している。

A decoder, which can transform brain activity into speech, is presented in a study published in this week’s Nature.

Many patients with neurological conditions that result in the loss of speech rely on communication devices that use brain-computer interfaces or nonverbal movements of the head or eyes to control a cursor to select letters to spell out words. However, this process is much slower than the normal rate of human speech.

Edward Chang and colleagues developed a method to synthesize a person’s speech using the brain signals that are related to the movements of their jaw, larynx, lips and tongue. First, they recorded cortical activity from the brains of five participants as they spoke several hundred sentences aloud. Using these recordings, the authors designed a system that is capable of decoding the brain signals responsible for individual movements of the vocal tract. They were then able to synthesize speech from the decoded movements. In trials of 101 sentences, listeners could readily identify and transcribe the synthesized speech.

In separate tests, one participant was asked to speak sentences and then mime them - making the same articulatory movements, without sound. Although synthesis performance of mimed speech was inferior to that of audible speech, the authors conclude it is possible to decode features of speech that are never audibly spoken.

In an accompanying News & Views article, Chethan Pandarinath and Yahia Ali comment that although the authors have achieved a compelling proof-of-concept, many challenges remain before this can become a clinically viable speech brain-computer interface.

doi: 10.1038/s41586-019-1119-1

「Nature 関連誌注目のハイライト」は、ネイチャー広報部門が報道関係者向けに作成したリリースを翻訳したものです。より正確かつ詳細な情報が必要な場合には、必ず原著論文をご覧ください。

メールマガジンリストの「Nature 関連誌今週のハイライト」にチェックをいれていただきますと、毎週最新のNature 関連誌のハイライトを皆様にお届けいたします。