成果概要
身体的能力と知覚能力の拡張による身体の制約からの解放[3] IoB コア技術
2023年度までの進捗状況
1. 概要
高精度な脳信号を安全に長期間安定して計測できることは、すべてのBMI開発のコアとなる技術要素です。特に我我がめざす高精度のBMIの開発には、侵襲的な計測手法を、安全かつ安定して運用できることが重要となります。IoBコア技術では、ユーザーが希望すれば、安全な外科的手術によって日常生活における能力拡張を実現できるBMI技術を目指し、人や動物を対象にした計測・解読技術の研究開発を行っています（図１）。
動物を用いて侵襲的BMIの開発を行い、ヒトへ応用します。特に、AIを使って想起や意図内容を推定し、思いを言葉にし、脳へ情報を入力する技術を開発します。
これまでに、マーモセットやサルの脳に電極を留置して高精度に長期間安定して神経活動を記録し操作する技術を開発しました。また、動物のコミュニケーションを脳信号から解読することに成功しました。さらに、ヒトが意図した画像を画面に提示したり、意図した言葉を脳信号から解読し、アバターに発声させることにも成功しました。IoBミドルウェア開発グループと共同して、侵襲的脳信号にAI技術を活用した脳解読技術を開発しています。
2. これまでの主な成果
【霊長類の大脳皮質から多様な脳情報の抽出に成功】
東京工業大学の小松三佐子特任准教授らのグループは、音声コミュニケーションを行う霊長類であるマーモセットを対象にして、動物が人のようにオンラインでコミュニケーションを取ることができるシステムの開発に取り組んでいます。これまでに、マーモセットの広域皮質脳波の無線計測システムを立ち上げ、他個体との音声コミュニケーション中の発話・行動・神経活動を計測し、行動カテゴリと発声の種類という異なる情報の読み取りに成功しました。
(Komatsu et al, BCI Meeting, 2023より改変)
【人が意図した画像や言葉を出力するBMIを開発】
大阪大学栁澤琢史教授らのグループにより、患者さんの頭蓋内脳波を用いて、ヒトが画像を想起することで、意図した画像を画面に提示するBMIが開発されました（図３）。今後、IoBミドルウェアグループと共同で、多様な概念を抽出して意思伝達する技術へ応用します。
また、UCSF Edward Chang教授らのグループにより、患者さんの皮質脳波から、患者さんが意図した文章を推定し、アバターに発声させる研究が進められています。同グループは、病気で発話が難しい患者さんの脳に電極を留置し、皮質脳波を計測しました。患者さんが発声を意図した際の皮質脳波をAIが解読することで、毎分78単語の速さで文章が生成され、これをアバターが発声することに成功しました。（図４）。この成果はBMIによる意思伝達が実用的レベルになったことを示しています。
(Fukuma et al.,Comm.Biol., 2022より改変)
3. 今後の展開
- 安定した侵襲脳計測・刺激手法の構築を目指し、マカクサルでの脳-筋肉電極埋め込み技術の長期安定性についての検証を開始し、長期の皮質脳波計測を実行します。
- 患者さんから計測された皮質脳波から、想起や内的言語に対応した情報を推定し音声や画像を生成する手法を構築します。
- マーモセット用のXR空間にマルチモーダルデコーダを接続し、リアルタイムコミュニケーションを実現します。