成果概要
AIoTによる普遍的感情状態空間の構築とこころの好不調検知技術の開発1. AIoTによるヒト感情状態空間の構築
２０２２年度までの進捗状況
１．概要
本研究開発テーマでは、ウェアラブルデバイス等のIoTデバイスで取得する日常生活下での様々な感情と多次元生体情報（音声、連続身体活動量、心拍数、呼吸数等や計測時状況）を用いて、クラウド上で感情状態を客観的に推定するAIoT（AI×IoT）を開発します（図）。本テーマは、下記の3つの研究項目からなります。
- ① 多次元生体情報による感情推定技術の開発と臨床医学的妥当性評価
概要：ウェアラブルデバイス等のIoTデバイスで取得する日常生活下での様々な感情と多次元生体情報（音声、連続身体活動量、心拍数、呼吸数等や計測時状況）を用いて、クラウド上で感情状態を客観的に推定する臨床医学的妥当性を有する技術を開発します。 - ② 疾患患者を対象とした生体信号・感情計測
概要：ヒト感情状態空間の構築および、その臨床医学的妥当性の検証を行うために、患者を対象とした研究推進データの取得を行います。 - ③ Translational IoTクラウドシステムの開発
概要：大規模にヒトと動物（マウス・ラット）のリアルワールドでの生体情報を連続的かつ実時間で取得可能なクラウドシステムを構築します。
２．２０２２年度までの成果
ヒト感情状態推定技術の開発においては、研究推進基盤データのデータクレンジングを行い、それを用いて、日常生活下で記録された感情スコアを推定する機械学習モデルの構築を行いました。
自発的身体活動時系列データに基づく感情推定では、その局所統計量等を入力とし、抑うつ気分、不安感、肯定的気分、否定的気分の4つの感情状態を同時に推定するマルチタスク学習モデルを構築しました（約300人、7,000記録）。その結果、感情スコアを平均絶対値誤差0.2（約20％の誤差；感情スコアは［0,1］に規格化）で推定することに成功しました。さらに、ネットワークの一部を個人に最適化させることにより（転移学習）、推定精度が向上することを確認しました。
また、発話データに基づく感情推定では、調査に使用した質問紙（Depression and Anxiety Mood Scale）を構成する9つの感情（「はつらつとした」、「嬉しい」、「楽しい」、「暗い」、「嫌な」、「沈んだ」、「気がかりな」、「不安な」、「心配な」）を同時に推定するマルチタスク学習モデルを構築しました。10秒間の発話データ（約2万記録）から抽出した高次元特徴量を入力信号とし、またネットワーク構造に個人適合化層を導入することで、9つの感情を一致相関係数において平均値0.55、最大値で0.61の精度で推定することに成功しました。
これらの結果は、様々な要因が統制された環境下（実験室など）で取得されたデータに基づき構築されたモデルの最高精度に匹敵するもので、日常生活下でのデータから同精度の推定を実現できた点において意義深いと考えます。
一方、構築モデルの臨床医学的妥当性検証のための患者を対象とした研究推進データを取得するために、研究計画立案を行い、倫理委員会への申請を行いました。
ヒトと動物との共通計測基盤システムの構築を目的とした研究項目では、リング型デバイスのファームウェア開発（加速度と光電脈波信号処理）と既存IoTクラウドシステムとの連携に向けた開発（API連携とモデム型ゲートウェイ連携の2種類の連携）を開始しました。また、リング型デバイスのマウスへの転用可能性を検証するための実験を行い、その知見に基づき動物用プロトタイプの作成に取り掛かりました。
３．今後の展開
- 複数生体信号を利用したマルチモーダル学習モデルの構築や特徴量の再検討を行い、ヒト感情推定モデルの精度向上を図ります。
- 臨床例のデータ収集を行い、それらを感情推定モデルの構築に利用することで、臨床医学的妥当性を有するモデルの構築へと展開します。
- 既存クラウドシステムとリング型デバイスとの連携については、引き続き開発・改修を実施します。
- 動物IoTセンシングに向けた動物用デバイスの開発を実施します。
（中村 亨: 大阪大学、山本 義春: 東京大学
吉内 一浩: 東京大学）