成果概要
多様なこころを脳と身体性機能に基づいてつなぐ「自在ホンヤク機」の開発[3] 「自在ホンヤク機」のシステム開発
2023年度までの進捗状況
1. 概要
ムーンショット目標9は、人々が自分のこころをマネージメントしたり、円滑にコミュニケーションしたりできる社会の実現を目指しています。「自在ホンヤク機」プロジェクトでは、先端科学技術を用いてコミュニケーションを支援する技術の開発を目指します。
研究開発項目3では、「自在ホンヤク機」の中心機能、特に我々の日常的コミュニケーションを支援する上で必要な要素機能を開発します。

「自在ホンヤク機」は、ユーザの脳活動や生理シグナル等からこころの状態を解釈する「解釈機」と、それを相手にわかりやすい形で伝える「表現機」からなります。
「自在ホンヤク機」が我々の日常的コミュニケーションを支援できるためには、解釈機も表現機も、個性や文脈における多様性を反映する必要があります。研究開発項目3はその開発に取り組みます。
2. これまでの主な成果
- 様々な質感を生み出す触覚提示装置を開発
- 他者の視覚を共有するシステムを開発
- 音声からこころの状態を読み取る計算論モデルを開発
- 不明瞭な音声の理解には話者の顔情報が重要であることを実験的に検証
- 会話の自然さを評価する手法を考案
成果1では、様々な振動のパラメータを自在に調整することで、指先で感じる物質が揺れ動くような質感を表現する新しいデバイスを開発しました。他者との触覚インタラクションなど、コミュケーションを支援する要素技術として期待されます。実際に、発達障害当事者を対象としたユーザ体験評価(研究開発項目4)の準備を進めています。

(画像提供:稲見昌彦教授(東京大学))
成果2では、ヘッドマウントディスプレイを利用して、他者の視点からものを見る体験を可能にするシステムを開発しました。視界の共有はコミュニケーション支援の機能として有用だと考えられ、他者と同じモノを見たときや心拍のタイミングなど、どのようなときの視界共有がユーザのこころの状態に影響をもたらすかの検証を進めています。

(画像提供:齊藤寛人助教(東京大学))
成果3では、音声から情動を推定する計算論モデルを開発し、乳児と養育者の音声データから2者間の情動の変化に調和した動きがあることを示しました。これは、多様なユーザを対象にした解釈機の開発に有用です。
成果4では、聞き取りにくい音声は、話者の顔を見ながらの聞くとより正確に理解できることを実験的に示しました。この成果は、他者の言葉をよりよく理解するためのデバイス開発に有用です。
成果5では、大規模言語モデル(GPT)を用いて、会話の連続性を評価する新しい手法を考案しました。これは、個性や文脈の多様性を反映した解釈機の開発に有用です。
3. 今後の展開
引き続き、「自在ホンヤク機」の構成要素として、個性や文脈を反映できる解釈機・表現機の開発を進めます。
平行して、生体データ(研究開発項目1、2)を用いた「こころの状態」の定量化技術の開発や、発達障害当事者を主な対象とした性能評価(研究開発項目4)を順次進めて、「自在ホンヤク機」のプロトタイプ作成を目指します。
(東京大学・長井志江、稲見昌彦、齋藤寛人
東京都立大学・保前文高、東北大学・張山昌論)