成果概要
身体的能力と知覚能力の拡張による身体の制約からの解放[2] IoB ミドルウェア開発
2024年度までの進捗状況
1. 概要
「AI支援型Trusted BMI-CAの構築*」を目指し、意思伝達に困難のある方々のための次世代コミュニケーション技術を、6つのチームが協力して開発しています。2024年度は、研究を3つの柱で推進し、大きな成果を上げました。第一の柱は、脳波からの発話解読や抽象概念の伝達、脳活動の理論構築といった「脳情報の高次デコーディングと数理基盤の確立」です（笹井、林、大泉チーム）。第二に、複数人が脳波でロボットを協調して操る「BMIを介した協調インタラクション技術」を開発しました（Kaiチーム）。そして第三に、遠隔脳同期や身体センサー、VR技術を用いて身体の制約を解放する「実世界・仮想空間におけるインタラクションの拡張」を進めました（暦本、小池チーム）。
*AI支援型Trusted BMI-CA：AIの機械学習によって、異種BMIの組み合わせに応じて、利用者が頭に思い浮かべた言葉や行動を高精度に解読できるCybernetic Avatar（CA）
2. これまでの主な成果
2.1 脳情報の高次デコーディングと数理基盤の確立
笹井チームは、大規模な脳波データとAIにより発話解読精度を飛躍的に向上させ、患者の無声発話認識において54.5%という高い精度を達成しました。林チームは、言語化が困難な抽象的概念をAIを介して伝達する「Xコミュニケーション」の基礎を確立しました。大泉チームは、脳活動の制御コストを定量化する画期的な数理理論を構築し、その成果が権威ある学術誌「Physical Review X」に掲載されました。
2.2 BMIを介した複数人協調インタラクション技術の開発
Kaiチームは、複数の人間がBMIを通じて協調的にロボットを操作する技術を実現しました。2人の人間が脳波を使って協働でタスクを実行可能なシステムを開発し、人間とロボットの新しい協調作業の形を提示しました。
2.3 実世界・仮想空間におけるインタラクション拡張
暦本チームは、遠隔での脳同期現象の解明に世界で初めて成功しました。 物理的に離れた場所にいる人々の脳活動が、通信遅延が450ミリ秒以下であれば、同期することを実証しました。また、喉の振動を利用した「サイレントスピーチ」技術や、視線情報とAIを組み合わせた「GazeLLM」システムも開発しました（図２）。
小池チームは、足圧センサーから3次元姿勢を推定する革新的システムを開発しました。荷物搬送時の危険姿勢を高い精度で判別し、リアルタイムで警告を発するシステムを実現しました。さらに、VR空間での時空間歪曲技術を用いて、ゴルフスイングなどの運動技能習得を効率化する新手法も開発しました（図３）。
3. 今後の展開
これらの研究成果は、将来的に発話障害や運動障害を持つ方々の生活の質向上に貢献する可能性を秘めています。ただし、実用化に向けては、まだ多くの課題が残されています。脳波を用いた発話解読システムについては、現在の54.5%という患者での認識精度をさらに向上させる必要があります。また、個人差への対応や、日常生活での使いやすさについても検討が必要です。協調作業システムや足圧センサーによる姿勢警告システム、遠隔脳同期技術は、現在は実験室レベルでの実証段階にあり、実際の作業現場での有効性検証が今後の課題となります。また、プライバシーや倫理的な観点からの検討も重要となります。
2025年度は、これらの技術的課題の解決に取り組むとともに、安全性や倫理面での検討を慎重に進めます。また、医療機関や企業との連携を通じて、実用化に向けた基礎的な検証を開始する予定です。これらの技術が社会に受け入れられ、必要とする方々に届けられるよう研究開発を進めてまいります。