成果概要
身体的能力と知覚能力の拡張による身体の制約からの解放3. IoBコア技術
２０２２年度までの進捗状況
１．概要
安全に脳活動を計測できることは、すべてのBMI開発のコアとなる技術要素です。特にIoBがめざす高精度のBMIの開発には、脳に電極を刺入するといった侵襲的な計測手法を、安全かつ安定して運用できることが重要となります。IoBコア技術では、ユーザーが希望すれば、安全な外科的手術によって日常生活における能力拡張を実現できるBMI技術を目指し、人や動物を対象にした計測・解読技術の研究開発を行っています(図１)。
動物を用いて侵襲的BMIの開発を行い、ヒトへ応用します。特に、AIを使って想起や意図内容を推定し、思いを言葉にしたり、脳へ情報を入力する技術を開発します。
これまでに、マーモセットやサルの脳に電極を刺入して高精度に神経活動を記録し操作する技術を開発しました。長期間安定した神経活動計測を得ることで、動物のコミュニケーションを脳信号から解読することに成功しました。また、ヒトが想起した内容を画面にて提示することにも成功しています。IoBミドルウェア開発グループと共同して、侵襲的脳信号にAI技術を活用した脳解読技術を開発し、AI支援型Trusted BMI－CAを構築しています。
２．２０２２年度までの成果
【霊長類の大脳皮質からマルチモーダル情報の抽出に成功】
東京工業大学の小松三佐子特任准教授らのグループは、音声コミュニケーションを行う霊長類であるマーモセットを対象にして、動物が人のようにオンラインでコミュニケーションを取ることができるシステムの開発に取り組んでいます。これまでに小松グループは、マーモセットの広域皮質脳波の無線計測システムを立ち上げ、他個体との音声コミュニケーション中の発話・行動・神経活動を計測することに成功しました。２０２２年度はそれらのデータから行動カテゴリと発声の種類という異なる情報の読み取りに成功し、連合野と呼ばれる大脳皮質高次の領野がどちらの情報の読み取りにも共通して寄与していることを発見しました。本研究はこれまで単一モダリティで開発されてきたBMIのマルチモーダルへの拡張の可能性を示しています。これらの成果はBMIの国際学会で報告されました。
図２ マーモセット広域皮質脳波無線計測と解読
【人が思い描いた画像を画面に表示することに成功】
大阪大学栁澤琢史教授らのグループにより、患者さんの頭蓋内脳波を安定的に計測する技術の構築が進められています。同グループはこの手法を用い、ヒトの大脳皮質の視覚に関連した領域から高精度な頭蓋内脳波を計測し、ヒトが画像を想起することで、意図した画像を画面に提示できることを示し専門誌にて報告しました。これはヒトの意図を想起や概念として抽出して伝達する新しいBMIとなります。特に、ヒトの想起内容を推定するために、word2vecと呼ばれる手法を使い、単語をベクトルに変換することで、概念をベクトル化して、頭蓋内脳波から推定しました（図３）。今後、IoBミドルウェアグループと共同で、多様な概念を抽出して伝達する技術を開発します。
３．今後の展開
- 安定した侵襲脳計測・刺激手法の構築を目指し、マカクサルでの脳-筋肉電極埋め込み技術の長期安定性についての検証を開始し、長期の皮質脳波計測を実行します。
- 患者さんから計測された皮質脳波から、想起や内的言語に対応した情報を推定し音声や画像を生成する手法を構築します。
- マーモセット用のXR空間にマルチモーダルデコーダを接続し、そこでのリアルタイムコミュニケーションの実現を目指します。