成果概要
AIoTによる普遍的感情状態空間の構築とこころの好不調検知技術の開発[1] AIoTによるヒト感情状態空間の構築
2023年度までの進捗状況
1. 概要
本研究開発項目では、ウェアラブルデバイス等のIoTデバイスで取得する日常生活下での様々な感情と多次元生体情報（音声、連続身体活動量、心拍数、呼吸数等や計測時状況）を用いて、クラウド上で感情状態を客観的に推定するAIoT（AI×IoT）を開発します。本項目は、下記の3つの研究項目からなります。
- ① 多次元生体情報による感情推定技術の開発と臨床医学的妥当性評価
- 概要：ウェアラブルデバイス等のIoTデバイスで取得する日常生活下での様々な感情と多次元生体情報（音声、連続身体活動量、心拍数、呼吸数等や計測時状況）を用いて、クラウド上で感情状態を客観的に推定する臨床医学的妥当性を有する技術を開発します。
- ② 疾患患者を対象とした生体信号・感情計測
- 概要：ヒト感情状態空間の構築および、その臨床医学的妥当性の検証を行うために、患者を対象とした研究推進データの取得を行います。
- ③ Translational IoTクラウドシステムの開発
- 概要：大規模にヒトと動物（マウス・ラット）のリアルワールドでの生体情報を連続的かつ実時間で取得可能なクラウドシステムを構築します。
2. これまでの主な成果
ヒト感情状態推定技術の開発においては、既存の研究推進基盤データを用いて、日常生活下で記録された感情スコアを同時計測された生体信号から推定する機械学習モデルの構築を行いました（図１）。
［2022年度までの主な成果］
- 自発的身体活動データから、4つの感情（抑うつ気分、不安感、肯定的気分、否定的気分）スコアを約20%の誤差で推定
- 音声データから、9つの感情（（「はつらつとした」、「嬉しい」、「楽しい」、「暗い」、「嫌な」、「沈んだ」、「気がかりな」、「不安な」、「心配な」））を一致相関係数において平均値0.55、最大値で0.61の精度で推定
［2023年度の主な成果］
身体活動に基づく4つの感情（抑うつ気分、肯定的気分、否定的気分、不安）の高低の2クラス分類で、個人適合化手法を導入することで、正解率、再現性、適合率、F1-scoreの全てにおいて7割を超える推定精度を実現しました。また、9つの感情（「はつらつとした」、「嬉しい」、「楽しい」、「暗い」、「嫌な」、「沈んだ」、「気がかりな」、「不安な」、「心配な」）の主観的スコアを上記とは異なる個人適合化手法を組合わせた機械学習モデルで推定した結果、身体活動データから一致相関係数で平均0.48の精度を実現しました。さらに、マルチモーダル機械学習モデルを構築し、複数生体信号（音声と身体活動）を活用することで推定精度を向上させることに成功しました。
一方、ヒトと動物との共通計測基盤システムの構築では、これまで「さりげない」センシングを目指したリング型デバイスの開発と連携を実施してきました（図２）。本年度、既存IoTクラウドシステムとの連携・実装が完了し、さらにシステムの検証およびサービス事業への展開を見据えた、介護付き有料老人ホームの認知症フロアの入居者を対象とした、バイタル・ストレス・睡眠等のさりげないセンシングに基づく見守りの実証実験を行いました。
また、本システムの動物計測への拡張開発として、マウス用のセンサのプロトタイプを作成し、その検証を実施しました。
3. 今後の展開
- 臨床データ（気分障害患者、不安症患者、失感情症群）の収集を継続して行い、それらを感情推定モデルの構築に利用することで、臨床医学的妥当性を有するモデルの構築へと展開します。
- 動物IoTセンシングに向けた動物用デバイスの開発を実施します。
（中村 亨: 大阪大学、山本 義春: 東京大学
吉内 一浩: 東京大学）