この項目では、さまざまなデバイスを活用して脳活動から思考や精神状態を抽出する技術を開発し、アプリとして社会実装することで、ブレイン・マシン・インターフェース（BMI）技術の普及を目標としています。具体的には、ヘッドフォンのようなガジェット型脳波センサーや、携帯電話のカメラ映像などを組み合わせて、日常環境で思考や精神状態を短時間抽出できるアルゴリズムを開発しています。これらを用いて、自分では意識できない日々の体調変化を見える化して自己調節を可能にするアプリケーションや、自分の意図が外部表出できない状態や状況にある利用者の意思伝達を支援するアプリケーションを作成することで、BMI技術を社会に普及させることを目指します。

最近ではさらに、Fortnite内の環境をSemantic Segmentation技術を使って認識するAIや、ユーザーがおこなっている一連の行動の流れや文脈を認識するAIを組み合わせて「コンポジットAI」を構成し、脳波から汲み取った行動意図から人間の合理的かつ複雑な行動パターンを生成する技術の開発を進めました。これにより、さまざまな障害物があるFortnite環境内を思い通りにスイスイ動かせる技術や、X（旧Twitter）の「いいね！」ボタンを思い通りにプッシュする技術のプロトタイピングを行いました。AIを活用したIoBインターフェースは今後、散策、情報検索、対話といった日常生活を支える技術としての応用を進めます。

アバターを通じた脳のモニタリングとトレーニング

脳の制約からくる困りごとは、音楽家・音楽愛好家の間で広く共有されています。日によってパフォーマンスが安定しない、運動記憶が定着しにくい、過剰訓練によって疾患兆候が悪化する…。こうした課題の解決に向け、昨年度に開発を進めた民生マイクによる演奏時音響の分析や民生カメラによる手指姿勢の分析と見える化アプリのミュージック・エクセレンス・プロジェクト・アカデミー（国内）での評価や、ハノーファー音大、ミュンヘン音大（海外）との共同研究を進めました。また、音楽演奏中の脳波計測を実施し、演奏の質を左右する皮質活動の特徴を複数捉えることができました。今後は脳波フィードバックによる脳状態の自己調節によってパフォーマンスに変化が生じるか検討します。初期的な検討では既に、運動を開始する前の脳状態を自己調節することで動き出しが迅速化するなどの結果が得られていますが、倫理的な側面も含めて丁寧な議論を進めていきます。また、実験トラウマ記憶を対象に、記憶定着の正常化を図る認知行動アプリ要素技術の有効性についても検証を進め、脳波計測やMRI計測を通じて脳内機構の解明をすすめています。

今年度は、世界トップレベルの学術論文の出版、国際共同研究活動の実施、技術標準化ができました。今後は産学連携活動をアドオンしながら急進的イノベーションを進めて、「誰もが夢を追求できる社会」の実現を目指します。