このテーマでは、さまざまなデバイスを活用して脳活動から思考や精神状態を抽出する技術を開発し、アプリとして社会実装することで、ブレイン・マシン・インターフェース（BMI）技術の普及を目標としています。具体的には、ヘッドフォンのようなガジェット型脳波センサーや、携帯電話のカメラ映像などを組み合わせて、日常環境で思考や精神状態を短時間抽出できるアルゴリズムを開発しています。これらを用いて、自分では意識できない日々の体調変化を見える化して自己調節を可能にするアプリケーションや、自分の意図が外部表出できない状態や状況にある利用者の意思伝達を支援するアプリケーションを作成することで、BMI技術を社会に普及させることを目指します。

アバターのコントロール

牛場らのグループではさらに、ヘッドフォン型脳波センサーを使ってユーザーの運動意図を読み取って、メタバース空間ゲームFortnite内のアバターを「念じて操作」する技術を開発しています。脳波にはさまざまな理由で多様なノイズが混入しますが、それぞれのノイズに特化した「ノイズ認識AI」を用意して、計測信号の中からノイズを取り除く「ノイズクレンジング技術」を開発。このほかにも、Fortnite空間のなかの障害物を識別し、衝突を回避するようにアバター操作を補助してくれる「AIアシスト機能」や、アバター操作に必要な脳波の出し方が脳内で自然と強化されていくように、タイミングよくサウンドやビジュアルのエフェクトを生成する「脳機能強化AI」を開発。こうした複数のAIを組み合わせた「コンポジットAI」によって、さまざまな障害物があるFortnite環境内のアバターを思い通りにスイスイ動かせる技術を生み出しました。今後、AIを活用したIoBインターフェースは散策、情報検索、対話といった日常生活を支える技術としての応用を進めます。
”ありありとした自分自身”という感覚を伴ってアバターをコントロールするためには、アバターに自らの身体性や所有感覚を宿すことが重要です。渡邉克己らのグループでは、アバターに対する自己を投影するための条件分析を進めています。また、時々刻々と変化するこうした感覚を定量的、客観的に数値化する検査法の開発にも取り組んでいます。

アバターを通じた脳のモニタリングとトレーニング

脳の制約からくる困りごとは、音楽家・音楽愛好家の間で広く共有されています。トレーニングを重ねた結果獲得した技能が頭打ち状態になることを「天井効果」といいますが、この状態に至ったとしてもなお、脳には伸びしろが残されていることを明らかにしました。具体的には、古屋らのグループは外骨格ロボットを使って指を高速に動かすことで高速動作感覚を脳にインプットすると、ロボット脱着後の運指技能が高まることを発見しました。この成果は国内外で大きな反響を呼び、論文が掲載されたScience Robotics誌では表紙カバーを飾りました（図2）。

社会実装の取り組み

研究成果の一部は、ミュージック・エクセレンス・プロジェクト・アカデミー（国内）でのトライアル、ハノーファー音楽大学、ミュンヘン音楽大学でのトライアル（海外）、大学発スタートアップ株式会社LIFESCAPESを通じた事業化など、着実な社会還元を進めています。

得られた研究成果の知財化、技術標準化を推進することで利用価値を高め、学理の探究と社会実装を調和させた急進的イノベーションを進めます。