成果概要
多様なこころを脳と身体性機能に基づいてつなぐ「自在ホンヤク機」の開発3. 「自在ホンヤク機」のシステム開発
２０２２年度までの進捗状況
１．概要
ムーンショット目標9は、人々が自分のこころをマネージメントしたり、円滑にコミュニケーションしたりできる社会の実現を目指しています。「自在ホンヤク機」プロジェクトでは、先端科学技術を用いてコミュニケーションを支援する技術の開発を目指します。
研究開発テーマ3では、「自在ホンヤク機」の中心機能、特に我々の日常的コミュニケーションを支援する上で必要な要素機能を開発します。
「自在ホンヤク機」は、ユーザの脳活動や生理シグナル等からこころの状態を解釈する「解釈機」と、それを相手にわかりやすい形で伝える「表現機」からなります。
「自在ホンヤク機」が我々の日常的コミュニケーションを支援できるためには、解釈機も表現機も、個性や文脈における多様性を反映する必要があります。研究開発テーマ3はその開発に取り組みます。
２．２０２２年度までの成果
- 幼児と養育者の生理シグナルから養育者のストレスを予測することに成功
- 非接触・高応答性の温覚提示ディスプレイを開発
- 非装着型の行動計測インタフェースを開発
- 発声状況ごとの声の違いの数量的分析に成功
成果1では、3〜4歳児とその養育者（計51組）を対象として、心電図を用いて養育者の育児ストレスの大きさを予測することに成功しました。本人（養育者）だけでなくコミュニケーション相手（幼児）の生理シグナルを用いることで、こころの状態の予測精度が高まりました。
（画像提供：長井志江特任教授（東京大学））
成果2では、赤外線による熱量を高速に制御することで、非接触性と応答性を両立した「温覚提示ディスプレイ」を開発しました。これは、会話のシチュエーションに合わせた温かさの提示によるコミュニケーションの促進や、会話相手のこころの状態の可視化に有用な技術です。
出典: https://doi.org/10.1145/3532721.3535569
成果3では、床の上にタイル状に自由に配置可能な力覚センサを使うことで、ユーザにデバイスを装着せずに位置・姿勢・動きを計測できるインタフェースを開発しました。これは、カメラ等では取得しにくいヒトの生活行動とその意図を推定するのに有用な技術です。
成果4では、振幅変調（音声信号の強弱の時間的変化）を指標として使って、発話の条件や内容による声の音声的性質の変化を分析しました。私たちは、相手や状況に合わせて、声の出し方を意図的に変えることがあります。この成果は、ユーザの意図を反映した音声出力や、相手が理解しやすい音声出力の開発にとって有用です。
３．今後の展開
引き続き、「自在ホンヤク機」の構成要素として、個性や文脈を反映できる解釈機・表現機の開発を進めます。
これと平行して、生体データ（研究開発テーマ1、2）を用いた「こころの状態」の定量化技術の開発や、発達障害当事者を主な対象とした性能評価（研究開発テーマ4）を順次進めて、「自在ホンヤク機」のプロトタイプ作成を目指します。
（東京大学・長井志江、稲見昌彦、齋藤寛人
東京都立大学・保前文高）