成果概要
最終更新日：
多様なこころを脳と身体性機能に基づいてつなぐ「自在ホンヤク機」の開発[3] 「自在ホンヤク機」のシステム開発
2025年度までの進捗状況
1. 概要
ムーンショット目標9は、人々が自分のこころをマネージメントしたり、円滑にコミュニケーションしたりできる社会の実現を目指しています。「自在ホンヤク機」プロジェクトでは、先端科学技術を用いてコミュニケーションを支援する技術の開発を目指します。
研究開発項目3では、「自在ホンヤク機」の中心機能、特に、我々の日常的コミュニケーションを支援する上で必要な要素機能を開発します。
「自在ホンヤク機」は、ユーザの脳活動や生理シグナル等からこころの状態を解釈する「解釈機」と、それを相手にわかりやすい形で伝える「表現機」から成ります。
「自在ホンヤク機」が我々の日常的コミュニケーションを支援できるためには、解釈機も表現機も、個性や文脈における多様性を反映する必要があります。研究開発項目3はその開発に取り組みます。
2. これまでの主な成果
- 様々な生体信号を統合してユーザのこころの状態を可視化するフレームワークを構築
- 他者と心地よく会話できるXR会話システムを開発
- 自分の感情に自然に気づくことができるAIエージェントによる支援システムを開発
- 音声の特徴から話し手の感情の高精度な推定に成功
- 姿勢や視線などの非言語的な特徴の自動抽出と、それらに基づいたASD者/定型発達者の判別に成功
成果１では、生体信号（表情･発話･心拍･脳波等）に基づきユーザのこころの状態をリアルタイムで可視化するシステムを構築しました。
成果2では、ユーザの特性に合わせて見た目や表情の豊かさなどを自由に変更することで心地よい会話環境を提供するXR会話システムを開発しました。
成果3では、ユーザの表情から感情を推定してAIエージェントに反映させることで、自分の感情を知るのが難しい特性があっても、自然に気づくことができる支援システム（Mirroring Agent）を開発しました。
成果4では、音声の様々な特徴から性別と感情を推定するモデルを構築し、性別98.4%、感情77.0%という高精度の弁別率を達成しました。
成果5では、姿勢や視線などの非言語的な行動の特徴を自動的に抽出し（姿勢：396個、視線：117個）、自閉スペクトラム症（ASD）者と定型発達者を高精度な判別に成功しました。さらに、顔を見る割合や視線の遷移など、ASDに特徴的な行動指標の抽出に成功しました。
3. 今後の展開
今後は、生体データを用いた「こころの状態」の定量化技術（研究開発項目1、2の成果）を組み込んでいくとともに、発達障害当事者を主な対象とした性能評価（研究開発項目4）を順次進めることで、「自在ホンヤク機」のプロトタイプ作成を目指します。
（東京大学：長井志江･稲見昌彦･齋藤寛人
東京都立大学：保前文高、東北大学：張山昌論）