【神経科学】脳活動信号を解読して失われた言葉を取り戻す
Nature
脳活動を音声に変換する解読装置について報告する論文が、今週掲載される。
神経疾患によって発話能力を失った患者の多くは、脳-コンピューターインターフェース、または頭部や眼の非言語的動きによってカーソルを制御して文字を選び、単語を表示するコミュニーケーション装置を利用している。しかし、この意思伝達プロセスは、通常の人間の発話速度よりかなり遅い。
今回、Edward Changたちの研究グループは、研究参加者の顎、喉頭、唇、舌の動きに関連した脳活動信号を用いて、その人の音声を合成する方法を開発した。Changたちはまず、5人の参加者に数百の文章を大声で読ませ、その時の大脳皮質活動を記録した。次にChangたちは、この記録を用いて、声道の個々の動きを引き起こす脳活動信号を復号化するシステムを設計し、それによって声道の動きから音声を合成した。101の文章を用いた検証試験では、この合成音声の聞き手は、音声を容易に識別でき、文字に起こすことができた。
別の検証試験では、1人の参加者に文章を音読させてから、同じ文章の口パク、つまり声に出さずに同じ調音運動を行わせた。Changたちはその結果、口パクによる音声合成性能は、可聴音声による音声合成性能より劣っていたが、声に出さない発話の特徴を解読することは可能だと結論付けている。
なお、同時掲載のNews & ViewsにおいてChethan PandarinathとYahia Ali は、Changたちは説得力のある原理証明を行ったが、発話のための脳-コンピューターインターフェースを臨床的に使用できるまでには解決すべき課題が数多く残っているという見解を示している。
A decoder, which can transform brain activity into speech, is presented in a study published in this week’s Nature.
Many patients with neurological conditions that result in the loss of speech rely on communication devices that use brain-computer interfaces or nonverbal movements of the head or eyes to control a cursor to select letters to spell out words. However, this process is much slower than the normal rate of human speech.
Edward Chang and colleagues developed a method to synthesize a person’s speech using the brain signals that are related to the movements of their jaw, larynx, lips and tongue. First, they recorded cortical activity from the brains of five participants as they spoke several hundred sentences aloud. Using these recordings, the authors designed a system that is capable of decoding the brain signals responsible for individual movements of the vocal tract. They were then able to synthesize speech from the decoded movements. In trials of 101 sentences, listeners could readily identify and transcribe the synthesized speech.
In separate tests, one participant was asked to speak sentences and then mime them - making the same articulatory movements, without sound. Although synthesis performance of mimed speech was inferior to that of audible speech, the authors conclude it is possible to decode features of speech that are never audibly spoken.
In an accompanying News & Views article, Chethan Pandarinath and Yahia Ali comment that although the authors have achieved a compelling proof-of-concept, many challenges remain before this can become a clinically viable speech brain-computer interface.
doi: 10.1038/s41586-019-1119-1
「Nature 関連誌注目のハイライト」は、ネイチャー広報部門が報道関係者向けに作成したリリースを翻訳したものです。より正確かつ詳細な情報が必要な場合には、必ず原著論文をご覧ください。
