成果概要
AIoTによる普遍的感情状態空間の構築とこころの好不調検知技術の開発[1] AIoTによるヒト感情状態空間の構築
2024年度までの進捗状況
1. 概要
本研究開発項目では、ウェアラブルデバイス等のIoTデバイスで取得する日常生活下での様々な感情と多次元生体情報（音声、連続身体活動量、心拍数、呼吸数等や計測時状況）を用いて、クラウド上で感情状態を客観的に推定するAIoT（AI×IoT）を開発します（図）。本項目は、下記の3つの研究項目からなります。
① 多次元生体情報による感情推定技術の開発と臨床医学的妥当性評価
概要：ウェアラブルデバイス等のIoTデバイスで取得する日常生活下での様々な感情と多次元生体情報（音声、連続身体活動量、心拍数、呼吸数等や計測時状況）を用いて、クラウド上で感情状態を客観的に推定する臨床医学的妥当性を有する技術を開発します。
② 疾患患者を対象とした生体信号・感情計測
概要：ヒト感情状態空間の構築および、その臨床医学的妥当性の検証を行うために、患者を対象とした研究推進データの取得を行います。
③ Translational IoTクラウドシステムの開発
概要：大規模にヒトと動物（マウス・ラット）のリアルワールドでの生体情報を連続的かつ実時間で取得可能なクラウドシステムを構築します。
2. これまでの主な成果
ヒト感情状態推定技術の開発においては、既存の研究推進基盤データを用いて、日常生活下で記録された感情スコアを同時計測された生体信号から推定する機械学習モデルの構築を行いました（図１）。
［2023年度までの主な成果］
- 自発的身体活動データから、4つの感情（抑うつ気分、不安感、肯定的気分、否定的気分）スコアを約20%の誤差で推定
- 自発的身体活動データから、4つの感情（抑うつ気分、肯定的気分、否定的気分、不安）の高低を7割以上の精度で推定
- 音声データから、9つの感情（「はつらつとした」、「嬉しい」、「楽しい」、「暗い」、「嫌な」、「沈んだ」、「気がかりな」、「不安な」、「心配な」）を一致相関係数において平均値0.55、最大値で0.61の精度で推定
- マルチモーダル機械学習モデルを構築し、複数生体信号（音声と身体活動）を活用することで感情推定の精度向上を実現
- 「さりげない」センシングを目指したリング型デバイスと独自開発したIoTクラウドシステムとの連携を実現。介護付き有料老人ホームの認知症フロアの入居者を対象としたPoC（Proof of Concept：概念実証）を実施
- IoTクラウドシステムを動物用にも拡張し、マウス用ウェアラブルセンサを開発
［2024年度の主な成果］
日本語音声コーパス（声優100名が9種類の感情状態を模擬した音声データ）を用いて、音声感情推定モデルを構築し、感情推定の精度や多言語データへの適用可能性、また感情間の幾何学的な関係性について検討しました。さらに、患者の音声データを活用して、不安や抑うつなど6種類の感情・症状を推定できるモデルを開発し、予備的な結果ではありますが、一致相関係数で0.451～0.554の性能を達成しました。また、健常者を対象として、身体活動および音声データから感情を推定するモデルを構築し、その成果を学術論文として公表しました。加えて、主に失感情症を含む心身症や精神疾患患者のIoT計測データを用いた内的状態の推定モデルの開発にも着手しています。これらの成果は、生体信号に基づいてリアルワールド環境下で複数の感情状態を推定する技術として、国際的にも優位性を持つものです。また、「さりげないセンシング」技術や動物用デバイスを統合したIoTクラウドシステムも完成し、現在はその実証と社会実装に向けて拡張を進めています。
一方、ヒト感情状態空間の構築およびその臨床医学的妥当性の検証を目的として、気分障害患者11名、不安症患者3名、失感情症群28名の合計42名から4週間の追加データを取得しました。これにより、当初予定していた2週間の調査期間に換算すると、合計104名相当のデータ量を確保できました。
3. 今後の展開
ウェアラブルデバイス等のIoT機器を用いて日常生活下で取得される多様な感情および複数の生体信号（音声、連続的身体活動量、心拍数、呼吸数、計測時の状況等）から、日内の感情状態およびその変動を客観的に推定できる、臨床医学的に妥当なAIoT技術の確立を目指します。さらに、この技術を実際のビジネス展開につなげていきます。
（中村 亨: 大阪大学、山本 義春: 東京大学
吉内 一浩: 東京大学）