アバターのコントロール

脳性麻痺や神経筋難病の当事者と中高生たちがこの脳波センサーを使って、人気ゲーム「Fortnite」内のアバターをコントロールしてタイムを競い合う「BMIブレインピック」を開催し、大好評を得ました（YouTubeで公開後、3ヶ月で日米合わせて3.3万回視聴を達成）。

最近ではさらに、人が無意識のうちにしてしまう「クセ」、たとえば、進みたい方向に体を傾けたり視線を向けたりしている様子をセンサーで読み取って、アバターのBMIコントロール精度を高めることに成功しました。また、アバターの周囲にある障害物をAIに認識させて、フルオートで衝突回避する技術も組み合わせることに成功しました。「思い通りにスイスイ動かせる」IoBインターフェースは今後、メタバースだけでなく実環境への応用も考えています。

アバターを通じた脳のモニタリングとトレーニング

脳の制約からくる困りごとは、音楽家・音楽愛好家の間で広く共有されています。日によってパフォーマンスが安定しない、運動記憶が定着しにくい、過剰訓練によって疾患兆候が亢進する…。こうした課題の解決に向け、民生マイクで収録した演奏時音響の分析や民生カメラによる手指姿勢の分析と見える化アプリを開発しました。国内ではミュージック・エクセレンス・プロジェクト・アカデミーでの試用を開始し、ハノーファー音大、ミュンヘン音大との共同研究も計画中です。また、トラウマ記憶に悩む当事者を対象に、記憶定着の正常化を図る認知行動アプリも開発し、検証を進めています。
さらに私たちは、精神疾患兆候のある当事者を対象に、機能的磁気共鳴画像、歩容データ、診断データの多次元大規模データベースの整備を進め、歩き方から心身のコンディションを推し量る技術を構築しました。脳波計測が困難な歩行中でも、綺麗に脳活動成分を分析することができるようになってきました。