脳波から脳の情報を読み取り、心や身体の状態を可視化する

脳と機械をつなぐ「ブレイン・マシン・インタフェース（Brain machine Interface：BMI）」と呼ばれる技術の開発が世界中で行われている。BMIには、脳の神経活動を信号に変換して機械に提示する機能があり、この脳情報から思考や感情などを類推して応用する研究がさかんだ。吉村さんは、脳の情報を本人にフィードバックするのにBMIを使うことを考えた。知覚や運動に関する脳情報を読み取り、それを客観的にモニタリングできるようにして、健康管理、医療、さらには、運動の習得をサポートしようと技術開発を進めている。

脳の情報を読み取る方法にはさまざまなものがあるが、大きくは、外科手術によって頭蓋の下に電極を埋め込んで電気信号を計測する侵襲型と、頭の外から脳波や脳磁場などを計測する非侵襲型に分けられる。吉村さんは「誰もが手軽に使える手法を確立したい」という思いから、ユーザーの負担が少ない非侵襲型で、計測に大がかりな装置を必要としない脳波を採用している。ただし、脳波は頭皮を通して検出するため、ノイズが混ざりやすく、精度に欠けるという問題がある。吉村さんは、機械学習の技術を取り入れることで、脳波のこうした問題を克服し、2021年には、その人が“聞こえている音”や“思い浮かべた音”を、脳波から再現することに成功した。

「音声情報を脳から読み出し、聞き取りやすい音として再現する研究は、ほかでも行われていますが、私たちの技術の特徴は、脳波から直接音を推定するということです」と吉村さんはいう。あらかじめ『この波形ならア』『この波形ならイ』というようにコンピュータに学習させて、その中から一致する答えを導き出すのではなく、波形そのものからどんな音かを推定するというのだ。そのため、日本語以外の音やはっきりしない音なども、脳波から推定して再現することができる。たとえば、既存の聴覚検査では、難聴の人が実際にどのように聞こえているかは知ることができないが、この技術を使えば、難聴の人の聞こえ方を第三者が音として知ることができるようになる。現時点では、まだ推定できる音の数が少ないが、音のバリエーションを増やす研究を継続しているという。

さらにもう一つ、この技術の強みとなる特徴がある。「機械学習の中でも深層学習になるとコンピュータが抽象化された情報を学習する場合が多いため、導き出された答えの根拠はわかりません。つまり、中身はブラックボックスのことが多いです。しかし、私たちが使っている機械学習のモデルは、中身を解析することで、脳のどこで音を聞いたり思い出したりしているかを知ることができます。『どのように聞こえているか』だけでなく、『なぜそのように聞こえているか』まで明らかにしたいというのが、私のこだわりといえます」。

この技術は、難聴の人だけでなく、筋萎縮性側索硬化症（ALS）の患者さんのコミュニケーションをサポートすることにも役立つと期待される。ALSの患者さんは、症状が進行すると身体がまったく動かせなくなり、意思表示が困難になるが、この技術を使えば、話しかけた声が聞こえているか、また、それが言葉として認識されているかを、使われている脳領域から判断することができる。こうした応用に向けて、医療分野の研究者との共同研究も進めている。

さきがけでは、音声認識のほか、運動に関する研究も行ってきた。高齢になると運動機能が低下してちょっとした段差でつまずきやすくなり、転倒をきっかけに寝たきり状態になってしまうことも少なくない。運動機能の低下は、筋力だけでなく脳機能が衰えることも原因だ。そこで、吉村さんは、脳波から運動機能に関連する特徴を可視化する技術や、脳機能を鍛えるバーチャルリアリティ（VR）のゲームアプリを開発している。

また、米国・カリフォルニア大学サンディエゴ校、東京工芸大学、愛知工業大学、東京都市大学と共同で、ジャグリングの練習をしているときの脳波と体の動きを測定し、高度な運動技能を獲得する際の脳のしくみを解明するというユニークな研究も行っている。この研究は新しい運動技能を効率的に習得するためのシステムの開発につながる可能性がある。

「私が目指しているのは、誰もが自分で脳波を用いて健康管理ができるツールを開発することです。自分では把握しにくい心や身体の変化に未病の段階で気づき、脳や身体を鍛えていつまでも健康を維持できるようにサポートするものをつくりたいと考えています。ただ、脳波計が高価であることや、頭皮に導電性のジェルをつける必要があるなど、製品化して多くの人に使ってもらうには、まだハードルがあります。脳波計メーカーをはじめ、私たちの研究に興味をもたれた企業や研究者の方がいたら、ぜひお声がけいただきたいと思います」。

ムービーのAI生成音声・脳計測画像の出典：https://www.youtube.com/watch?v=71kquj51IWs