成果概要
多様なこころを脳と身体性機能に基づいてつなぐ「自在ホンヤク機」の開発[3] 「自在ホンヤク機」のシステム開発
2024年度までの進捗状況
1. 概要
ムーンショット目標9は、人々が自分のこころをマネージメントしたり、円滑にコミュニケーションしたりできる社会の実現を目指しています。「自在ホンヤク機」プロジェクトでは、先端科学技術を用いてコミュニケーションを支援する技術の開発を目指します。
研究開発項目3では、「自在ホンヤク機」の中心機能、特に我々の日常的コミュニケーションを支援する上で必要な要素機能を開発します。
「自在ホンヤク機」は、ユーザの脳活動や生理シグナル等からこころの状態を解釈する「解釈機」と、それを相手にわかりやすい形で伝える「表現機」からなります。
「自在ホンヤク機」が我々の日常的コミュニケーションを支援できるためには、解釈機も表現機も、個性や文脈における多様性を反映する必要があります。研究開発項目3はその開発に取り組みます。
2. これまでの主な成果
- 快適な環境で他者と会話できるVRシステムを開発
- 他者の視覚を共有するシステムを開発
- 生体信号からユーザのこころの状態を可視化するフレームワークを構築
- 話者の感情を知る手掛かりになりうる音声指標を発見
- 大規模言語モデルを用いた会話の特徴の定量化手法を開発
成果１では、見た目や表情の豊かさなどを自由に変更することで快適な会話環境を提供するVR会話システムを開発し、ASD当事者へのデモンストレーションを行いました。参加者からの体験的フィードバックを生かして、「自在ホンヤク機」のプロトタイプ開発を進めます。
（画像提供：稲見昌彦（東京大学））
成果2では、ヘッドマウントディスプレイを利用して、他者の視点からものを見る体験を可能にするシステム「Lived Montage」を開発し、ワークショップを行いました。視界の共有はコミュニケーション支援の機能として有用で、他者と同じモノを見たときや心拍のタイミングでの視界共有が、ユーザのこころの状態に大きく影響することが分かってきています。
（画像提供：齊藤寛人（東京大学））
成果3では、生体信号（表情・発話・心拍・脳波）に基づいて、ユーザのこころの状態を2次元平面上に可視化するフレームワークを構築しました。これは、「自在ホンヤク機」のプロトタイプ開発につながる成果です。
成果4では、音声の強弱の時間的変化が、話者の感情を察するための手掛かりの1つになりうることを、音声データの解析によって示しました。この成果は、他者の言葉をよりよく理解するためのデバイス開発に有用です。
成果5では、大規模言語モデルを用いた会話の特徴の定量化手法を開発し、抽出した特徴量を用いてASD者と定型発達者を判別すAIモデルを構築しました。これは、個性や文脈の多様性を反映した解釈機の開発に有用です。
3. 今後の展開
今後は、生体データを用いた「こころの状態」の定量化技術（研究開発項目1、2の成果）を組み込んでいくとともに、発達障害当事者を主な対象とした性能評価（研究開発項目4）を順次進めることで、「自在ホンヤク機」のプロトタイプ作成を目指します。
（東京大学・長井志江、稲見昌彦、齋藤寛人
東京都立大学・保前文高、東北大学・張山昌論）