成果概要
最終更新日：
身体的能力と知覚能力の拡張による身体の制約からの解放[2] IoB ミドルウェア開発
2025年度までの進捗状況
1. 概要
本研究開発項目では、脳情報を AI・CA・ロボット・VR 空間へ接続する IoB ミドルウェアの構築を通じて、「AI 支援型 Trusted BMI-CA*」の実現を目指しています。特に、意思伝達に困難のある方々の課題解決に向けて、研究を3つの柱で推進しています。第一は、脳波からの発話解読や抽象概念の伝達、脳活動の理論構築といった「脳情報の高次デコーディングと数理基盤の確立」です。第二は、複数人が脳波でロボットを協調して操る「BMIを介した協調インタラクション技術」の開発です。そして第三は、「VR技術を用いた実世界・仮想空間におけるインタラクションの拡張」です。
*AI支援型Trusted BMI-CA：AIの機械学習によって、異種BMIの組み合わせに応じて、利用者が頭に思い浮かべた言葉や行動を高精度に解読できるCybernetic Avatar(CA)
2. これまでの主な成果
脳情報の共有と統合のための数理基盤技術の開発
世界最大規模の発話時脳波データベース「JapanEEG」（1,000時間超）を公開しました。このデータにより非侵襲脳波において、大規模なデータを用いることで予測精度が向上するというスケーリング則を発見し、発話解読精度を従来規模の2.5%から48%へと飛躍的に向上させることに成功しました。ウェアラブルEEGを用いた無音発話解読システムも実装し閉じ込め症候群（LIS）患者においてもオンライン精度26.5%を達成しコミュニケーション支援の実用化へ大きく前進しました。
脳内情報表現の解読と数理基盤技術の開発
複数の非ヒト霊長類から長期神経データを収集し、高次視覚野で世界最大規模（512ch）のデータベースを構築しました。このデータと生成AIを活用し、言語化が困難な脳内の視覚的イメージを高精細に再構成することに成功しました。また、脳情報通信の課題である「個人差」を定量化する計算理論を論文発表したほか、多様なアバター表情をリアルに生成する技術で特許を取得するなど、CAプラットフォーム開発で顕著な成果を上げています。
脳状態遷移コストの定量化と最適制御のための数理基盤技術の開発
神経ダイナミクスのモデル化や制御性推定に向けた新たな理論的フレームワークを構築・検証しました。特に、脳刺激（TMS）に対する脳波応答から脳活動の制御性を直接計算する手法を提案し、6条件の脳状態の弁別が可能であることを実証しました。また、隠れた動的モードを再励起させるための最適な刺激入力設計の理論も確立し、神経状態の最適制御に向けた道筋を示しました。
マルチエージェントの協調制御と理論構築
複数人による脳波を用いたロボット協調操作システムを高度化し、複雑な条件を組み合わせた実験が可能なベンチマークソフト「M4Bench」を開発・公開しました。さらに、車椅子のユーザー2名が視線と脳波を用いてロボットを協調操作し、キッチンで食事準備を行う「Assistive Kitchen」環境を構築しました（図１）。
遠隔操作から完全自動化までの異なる自律度が与える影響について50名規模で定量分析し、成果を発表しました。
脳情報を用いたコミュニケーション技術の開発
鼻梁部の骨・皮膚伝導と音響計測を融合し、環境騒音に極めて強い極低音量発話（囁き声）の認識システムを確立し、HCI分野のACM CHI 2026に採択されました。また、マルチモーダルAIを活用し、熟練者の視線等をAIと共有して音声ガイダンスを与える実世界エージェントを開発しました。さらに、遠視（老眼）を再現する液体レンズ眼鏡を開発し、Augmented Humans 2026でBest paper honorable mention awardを受賞するなど、多角的な社会実装を進めています。
脳情報を用いた技能獲得技術の開発
視覚情報に頼らず、足圧データのみからユーザーの3次元姿勢を推定し、VR空間のアバターをリアルタイムに制御する革新的な手法を提案・実装しました。VR空間における時間歪曲学習において、映像速度変化時の速度順応性を脳波を用いて定量的・客観的に解析することに成功し、技能獲得における効率的なアプローチが科学的に立証されました。