成果概要

最終更新日:

身体的能力と知覚能力の拡張による身体の制約からの解放[1] IoBインターフェース開発(IoB:Internet of Brains)

2025年度までの進捗状況

1. 概要

BMI技術は「日常に溶け込むパートナー」へ
これまではヘッドフォン型脳波センサーなど「身に着けるデバイス」を中心に開発を進めてきましたが、2025年度はさらに一歩進み、カメラ画像やマイク音、椅子の座圧といった「意識せずに計測できる日常の情報(非接触・非侵襲表面情報)」から、ヒトの高度な技能、心の状態(情動)、さらには「自分を自分だと感じる感覚(自己主体感)」を読み解く技術を確立しました。特別な装置を意識することなく、AIがそっと寄り添い、ピアニストの超絶技巧をサポートしたり、心の不調をケアしたり、メタバース空間での分身(アバター)との一体感を高めたりする様な、BMI技術が空気のように当たり前に存在する社会の実現に向けた一歩を踏み出しました。

2. これまでの主な成果

「無意識のコツ」を可視化し、技能の向上を実現:

2025年度にScience Robotics誌の表紙を飾った外骨格ロボットの成果をさらに発展させ、カメラやマイクだけで演奏者の「筋活動」や「視線」を捉えるAIを開発しました。熟練ピアニストの視線の動きを初心者に可視化して提示することで、まるで熟練者が隣で指導しているかのような「技能転写」を実現しました。また、心臓の拍動と動作のタイミングを分析し、最適な状態で演奏を開始できるよう導くバイオフィードバックシステムを開発。500名規模の実験でその効果を実証しました。さらに、音楽家の指の動きを阻害する「ジストニア」に対し、ウェアラブル脳波計を用いた独自の訓練法を確立(図1)。約7割の患者の方々に症状緩和の兆しが見られ、特許出願に至りました。

図1
図1 ヘッドフォン型脳波計を活用したジストニア向けニューロフィードバックシステムの構想図
「心の揺らぎ」を時間と集団の視点で捉える:

身体の動きや呼吸から、本人さえ気づかない「気分の変化」を読み取る研究が大きく進展しました。たとえば、トラウマケアへの新アプローチに関しては、恐怖記憶が時間の経過とともに脳内でどう変化するかを解明し、トップジャーナルNature Communicationsへの掲載に至りました。これを基に、一瞬の感情だけでなく「時間の流れ」に合わせた心のケアが可能になることが期待されます(図2)。

図2
図2 恐怖記憶の脳内変化の理解とニューロフィードバックシステムの構想図

また、集団の空気を読む技術に関しては、人の動き(動線)などから、その場の「集団の情動」をAIで推定する技術を開発。社会的なコミュニケーション支援への応用が期待されています。

「アバターを自分の身体にする」条件を解明(自己意識の探究):

メタバース空間などで、複数のアバターを複数の人で操作する未来を見据えた研究を実施しました。最大20名が同時に操作できる環境を構築し、多人数で一つの動きを作り出す際の「自分が操作している感覚(自己主体感)」の正体を科学的に解明しました。フェイクアバター(ときおり不自然な動きをするトリックを組み込んだアバター)を開発し、動きの不自然さを見抜く心理物理学的な手法を提案して、より自然で違和感のないアバター開発の指針を作りました。

社会実装の取り組み

研究成果の一部は、ミュージック・エクセレンス・プロジェクト・アカデミー(国内)でのトライアル、ハノーファー音楽大学でのトライアル(海外)、大学発スタートアップ株式会社LIFESCAPESを通じた事業化など、着実な社会還元を進めています。