成果概要
身体的能力と知覚能力の拡張による身体の制約からの解放[2] IoBミドルウェア開発
2023年度までの進捗状況
1. 概要
身体の不自由な方々が望む通りの支援を受けられるAI支援型 Trusted BMI-CA*の構築のためには、脳や身体からCAへ情報を伝達する技術の開発が必要です。また、伝達された情報に基づいてユーザーの望む通りの支援を行えるようなCAの技術開発も欠かせません。「IoBミドルウェア開発」はこれらの「脳とCAの間の通信技術」の開発に向けて、機械学習や情報理論などの数理的手法を用いて取り組んでいます。
「IoBミドルウェア開発」では、発話意図を読み取って意思疎通を代替する技術から、想起したイメージや身体操作、認知的な負荷や疲労といった言語での伝達が行いにくい情報のコミュニケーションまで、多様な通信ニーズを支援するBMI技術の開発を目指しています。
2. これまでの主な成果
BMIは多種多様なユーザーによる利用が想定されています。幅広く利用を促進するためには、簡便で安全な方法で脳活動を計測する必要があります。このような状況から、非侵襲的な脳活動の計測方法である脳波計がよく利用されます。脳波計は利用が簡便で被験者にとっての負担が少なく、実生活での応用が期待されております。しかし現在の技術では、解読できる脳情報が限られているという実用上の問題があります。この問題の解決のために、最先端のAIによるBMIの機能拡張に取り組んでいます。
株式会社アラヤの笹井・Arulkumaranグループは、多様なタスク遂行が可能である大規模言語モデルに着目し、限られた脳情報だけでE-mailの返信を行うことができるBMIシステムを構築しました。また同グループは、言語入力でロボットアームの操作が可能なAIモデルを活用して、脳活動から解読された言葉でロボットアームを操作し、タスクを遂行することができるBMIの開発も進めております。実際にこのBMIを利用して、遠隔地のロボットアームを操作し、テーブル上の物体を所望の位置に移動させたり、引き出しを開け、調理器具を収納し、引き出しを締める、という多段階の制御にも達成しております。これからは解読可能な脳情報の量を増やすことで、より複雑なロボットアーム制御を、ユーザーの細かな制御を介さずに可能なBMIシステムの構築を目指しております。
BMIへの利用が期待されている脳波計ですが、混入するノイズが多く、現時点での技術では静的な条件で計測することが必須となっております。これに対して東京大学の暦本グループは、脳活動計測に拠らず、カメラを用いて、口唇の動きから発話を解読するシステムを開発しました。このシステムは発声する必要がないので、発声に困難を抱える方や、公共の場所など発声がふさわしくない場面においての利活用が期待されています。またBMI技術が発展した先には、テレパシーのような、脳と脳との情報伝送の実現の可能性も見えてくるかもしれません。これに対して東京大学の大泉グループは最適輸送と呼ばれる方法を用いることで理論的な解決を目指しています。この技術の開発はまだ基礎的な段階ですが、今後は動物実験などを通して実証の可能性の検討が期待されています。
3. 今後の展開
BMIはモノとヒトとをつなぐ通信技術として社会実装されることが期待されています。そのためにはこれまでの成果で示したような、ユーザーに負担をかけない計測技術とそれによって得られるデータの最大限の利活用が求められます。今後はこれまでに得られたデータを用いて、より実用性の高い手法を開発していくとともに、データを蓄積することでより安定的に高精度で脳情報を解読する技術の構築を目指していきます。