「聞こえた音、思い出した音」を脳波から音で再現する技術を開発

東京工業大学 科学技術創成研究院の吉村 奈津江　准教授（ＪＳＴ　さきがけ研究者 兼務）、明石 航　大学院生（研究当時）、神原 裕行　助教、緒方 洋輔　特任助教（研究当時）、小池 康晴　教授、ルドビコ・ミナチ　特定准教授は、頭皮で記録された脳波信号（ＥＥＧ）から音声を直接再構築するために有望な手法を開発した。

参加者が２つの母音「ア」と「イ」を視聴後に思い出したときに記録されたＥＥＧを用いて、聞かせた音源のパラメータを畳み込みニューラルネットワーク（ＣＮＮ）によって推定した。推定されたパラメータを用いて復元した母音の音声は非常に明瞭で、実際に視聴した者とは別の参加者が音声の弁別を行ったところ、８５パーセントを超える認識率を示す音声だった。さらに、音源パラメータの推定のためにＣＮＮが抽出した脳波の特徴は、何の音かを特定するために使われる脳内の聴覚経路（Ｗｈａｔストリーム）に含まれる領域であり、この手法の脳科学的妥当性も示された。

この抽出された特徴を調べることで、音声を聞いている時とそれを想起している時の脳活動領域の違いがさらに示唆された。この手法はその人がどのように聞こえているか、聞こえていないのか、を客観的に把握し、さらに脳のどこを使っているのかを調べられる可能性があるため、ＥＥＧを利用した脳内の聴覚・音声・言語処理の評価が可能になる効果が期待される。

本研究は、国際科学誌「Ａｄｖａｎｃｅｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ」に２０２１年１月７日（ドイツ時間）に掲載された。