岡ノ谷情動情報プロジェクト

okanoya_portrait

研究総括　岡ノ谷一夫
（東京大学大学院総合文化研究科　教授）
研究期間：2008年～2013年

人間の情動を未開拓の情報資源として捉え、情動情報の性質を解明するのが本研究の目的です。電子メールなどさまざまなコミュニケーションツールが開発され生活と仕事の利便性に寄与している一方で、その利便性ゆえに深刻なコミュニケーション不全が起こっています。これは、心の状態を表す情動情報の伝達が不充分であることに起因していると考えられます。本プロジェクトでは、心理・生理・表出・他者という４つの指標を同時に計測し、また、それらの時間的変化を、大規模データ処理の技術を利用して予測することを目指しました。結果、対面場面における自己と他者の情動推定が表出と生理の２指標から可能なこと、主観的怒りの発生には循環器系の状態遷移が関わり、脳波の左右不均衡性と心拍数から検出可能なこと、情動価の推定が情動刺激弁別の強化学習で可能であり対応する脳部位が特定できること等の成果を得ました。また、乳幼児・動物を用いて情動の発達と進化についての知見を得ました。本プロジェクトは、人間の情動情報を知識として活用する基盤技術の創出に資します。

fig1

研究成果集

１）情動の伝達と推定に関する発見と開発

対面・非対面場面の比較から、オンラインコミュニケーションでは非言語情報の消失により、情動の理解に困難が生じることを実証した。オンラインコミュニケーション場面で欠落する情動を自動的に補完するために、対面コミュニケーションにおける情動の伝達に利用される表情・音声などの情報と、コミュニケーション場面で喚起される情動体験を反映する自律神経系反応の情報を利用して、対話中の話者の情動を推定するために最適な特徴量について検討を行い、情動の推定値を３次元空間上にプロットするプログラムを開発した。

論文

Arimoto, Y., & Okanoya, K. (2015). Multimodal features for automatic emotion estimation during face-to-face conversation. Journal of the Phonetic Society of Japan. (invited; submitted)
Arimoto, Y., & Okanoya, K. (2015). Mutual emotional understanding in a face-to-face communication environments. Acoustical Science and Technology. (in press)
Arimoto, Y., & Okanoya, K. (2014). Emotional synchrony and covariation of behavioral/　physiological reactions between interlocutors. In Proceedings of the 17th Oriental COCOSDA (International Committee for the Co-ordination and Standardization of Speech Databases and Assessment Techniques) Conference 2014 (pp. 100-105).
Arimoto, Y., & Okanoya, K. (2013). Individual differences of emotional expression in speaker’s behavioral and autonomic responses. In Proceedings of interspeech 2013 (pp. 1011-1015).

２）怒りの構成要素と状態遷移の発見

怒りという基本情動を複数の指標で同時に測定することで、これまで一元的にしか捉えられなかった怒り情動は、複数の要素の組み合わせであることを示した。怒りは攻撃性と不快の２つの要素が合成されたもので、それらを中枢神経系の反応と自律神経系の反応とに分解して捉えられることがわかった。これを応用し、実時間で怒りが検出できる装置を開発した。また、怒りの攻撃性と不快感がどのような時間的変遷をたどり生起するのか、多様な指標を同時測定し、その質的に異なる測定値をSVM全状態検索によって分析することで怒りの時間的な状態遷移を記述した。

論文

Kubo, K., Okanoya, K., & Kawai, N. (2012). Apology isn’t good enough: An apology suppresses an approach motivation but not the physiological and psychological anger. PLoS ONE, 7, e33006.*
久保賢太・賀　洪深・川合伸幸. (2014). 怒り状態の心理・生理反応. 心理学評論, 57, 1, 27-44

３）情動価の予測法と遷移パターンの発見

実験参加者の選択行動について確率的に情動刺激を対応させ、選択結果に強化学習を適用することで、刺激が持つ情動価の時間的な変化を予測する方法を開発した。また、情動の認知が情動刺激の提示順や社会的文脈の影響を受けること、その影響が言語処理と関連することを発見した。

心理・生理・表出・他者のそれぞれの指標について、時間的文脈に応じた情動状態の変化に規則性が存在することが示唆された。これらの観察は、本プロジェクトで仮定する、情動状態遷移規則の存在を示唆しており、１）、２）の研究と合わせて、情動の経時的符号化を実現するために重要な基盤的知見になると考えられる。

論文

Katahira, K., Fujimura, T., Matsuda, Y., Okanoya, K., & Okada, M. (under review) Individual differences in heart rate variability are associated with the avoidance of negative emotional events, Biological Psychology.
Katahira, K., Fujimura, T., Okanoya, K., & Okada, M. (2011). Decision-Making Based on Emotional Images. Frontiers in Psychology, 2, 311. doi:10.3389/fpsyg.2011.00311
Katahira, K., Matsuda, Y., Fujimura, T., Ueno, K., Asamizuya, T., Suzuki, C, Cheng, K., Okanoya, K., & Okada, M., (2015). Neural basis of decision-making guided by emotional outcomes, Journal of Neurophysiology, doi: 10.1152/jn.00564.2014
Fujimura, T., & Okanoya, K. (2012). Heart rate variability predicts emotional flexibility in response to positive stimuli. Psychology, 3, 578-582. doi: 10.4236/psych.2012.38086
Fujimura, T., & Okanoya, K. (2013). Event-related potentials elicited by pre-attentive emotional changes in temporal context. PLoS One, 8, e63703. doi: 10.1371/journal.pone.0063703
Fujimura, T., Katahira, K., & Okanoya, K.(2013）. Contextual modulation of physiological and psychological responses triggered by emotional stimuli. Frontiers in Psychology, 4, 212.