音声模倣・共感発達

音声模倣ならびに共感発達の研究

音声模倣

初期コミュニケーションにおける音声模倣発達は，対人環境における認知発達の重要な要素です．まず，発話ロボット（図１）を用いてロボットと人の相互模倣インタラクションを実現することを通じ，発話に関する人の子どもの発達過程の構成的モデルを提案しました [Miura2007] [三浦2006] [Miura2006] [Miura2006] [三浦2007] [Miura2007]．これを通じ，親による模倣の不完全性に起因して，その模倣が子どもの発話をより自然なものに誘導する働きがあることを議論しました．一方より自然な親子間相互作用においては，マザリーズの例にもあるように，発声の基本周波数（ピッチ）を変化させられることが重要です．そこで，ロボットの改良に着手し，ヒトの声帯のメカニズムに相同な構造を導入することでピッチを変化させることができるロボットを試作した（図２）．試作したロボットには，発話しようとしていることが人に感じられやすくなるよう構音運動を視覚的に強調するデザインが施されており，２００８年度グッドデザイン賞を受賞しました．
またこれに並行して，模倣による誘導効果について，より詳細なモデル化を実施しました．モデルは，人が模倣する際には，自身の知覚範疇と運動範疇および発声器官のダイナミクスによるバイアス（知覚・運動マグネットバイアス）を受けることに加え，模倣されることを期待することによる知覚音声の憶測によるバイアス(自己鏡映バイアス)を受けるというものです．計算機シミュレーションにより，その誘導効果を検証しました [Ishihara2009] [石原2007] [石原2007] [Ishihara2008] [石原2008]．また，親に模倣される頻度が高くない場合を想定し，効率的な模倣学習モデルについても検討しました [三浦2008] [Miura2008] [三浦2008]．

図１発話のしくみ

図２構音を視覚的に強調した発話ロボット

さらに，乳児の母音獲得過程を親子間の相互模倣過程としてモデル化する試みを展開しました．具体的には，親の知覚・運動マグネットバイアスと auto-mirroring バイアスを考慮した相互模倣モデルに，乳児の加齢に伴う構音能力の向上を考慮し，またこれに伴い，乳児の発話音の分布領域に関する親の期待が拡大していくことを新たに考慮することで改善した計算機シミュレーションを実施しました（図３）．その結果，親の発話音声が通常よりも拡大した形で産出される現象が観察され，発達心理学で報告されているマザリーズと呼ばれる現象との対応（図４）を議論することができました [Ishihara2009]．また，本相互模倣モデルの一連の研究で仮定されている親の自己鏡映バイアスについて，日本人の大人を対象とした被験者実験により，その蓋然性について検証しました．具体的には，コンピュータが発する短い合成音声を被験者に真似をさせる実験において，一方の群にだけ，コンピュータが被験者の声を真似することがある，と教示することで，模倣を期待させ，その結果被験者が発する模倣音の傾向が変化するかどうかを計測し，自己鏡映バイアスが相互模倣において存在しうることを実験的に確認することができました [若狭2010] [石原2008] [石原2010] [石原2010]．
また，試作した構音動作を視覚的に強調した発話ロボットを人とターンテイキングをさせる実験を実施し，タイミングという観点に着目し，人の発話インタラクションにおいては，自己の発話と，自己と他者の発話の認知が相互作用する構造を持つことを実験的に確認しました．これは，相手に対する応答の認知が，自身の応答の仕方に影響すること，またその逆に関連しており，前述の自己鏡映バイアスと類似の情報処理構造に起因していると考えられ，その蓋然性を傍証するものと考えられます．

図３再現された母音獲得過程（乳児の母音カテゴリが適正な形に収斂していく）

図４再現された養育者の発話特性（図３の中期）と従来研究で報告されている養育者の母音拡大マザリーズ(Kuhl et al． ‘97)との比較

擬音語・擬態語の獲得モデル

身体運動からの対人相互作用に向けて，自身の身体動作に根ざす原始言語獲得に関して，擬音・擬態語を獲得する多種感覚統合モデルを提案しました．これは自身の動作に対応する擬音・擬態語を，冗長な教示音声からリズムの同期を基に探索し対応付けるモデルで，妥当性をロボット実験により確かめました [杉山2007] [杉山2008]．

図５擬音語・擬態語獲得モデル

図６獲得した擬態語と動作

コミュニケーション・直感的親行動による情動マッピングの獲得

養育者は子どもに対して意識せず「直感的親行動 (intuitive parenting)」と呼ばれる行動を行ってしまうと言われています．直感的親行動とは，養育者が自分自身の経験と幼児の経験を対応づけるように幼児を促し，その経験の感じ方，表現の仕方などを実況解説的に教える行動です．直感的親行動を受けることによって，幼児はその経験から得た状態と表現するべき人間の表情の関連性を強固にすると考えられます．私たちは，ロボットにダイナミクスを持つ情動モデルを組込み，養育者が幼児に行う直感的親行動を基にして，変化した情動状態とそのとき表出されている他者の表情との結合を強める学習モデルを提案しました．学習後，ロボットは内部状態空間中で基本的な表情の範疇を見出すことが可能となり，入力された表情から情動状態を推測し，推測した人間の情動状態によって人間に同調した表情の表出が可能となりました [Watanabe2007] [Watanabe2006] [Wawtanabe2007]．

図７直感的親行動の状況

図８直感的親行動モデルの動作

初期コミュニケーション行動（イナイナイバー）の獲得

共感発達の研究では乳幼児の最初期のコミュニケーションのモデル化を行いました．発達心理学では，乳児は４ヶ月ごろを境として養育者が与える規則性のある行動に敏感になり，この時期に乳児は自分の母親のタイミングや相互作用における相対的な随伴性への調律を発達させ始めると言われています．本研究では，そのような直感的親行動によるコミュニケーションの一つとして「イナイイナイバー」をとりあげ，その遊びが成立するための赤ちゃんに必須の条件を考慮して赤ちゃんの認知発達のモデル化を行いました．モデルでは，報酬予測に関わるドーパミンニューロンの機能と，海馬と扁桃体の相互作用に関する脳科学の知見を取り入れ，赤ちゃんロボットが情動に基づいて養育者の行動を記憶し，その記憶の報酬に基づいて養育者の行動を予測するモデルを提案しました．このモデルをバーチャルなロボットに実装し，実際に養育者に見立てた研究者と相互作用をさせる実験を行いました．その結果，赤ちゃんロボットは記憶モジュールが機能しない段階では，養育者の行動に対して驚きを示す覚醒レベルがあがるのみであるが，記憶モジュールが機能して，養育者の行動を記憶するようになると，その記憶をもとに養育者の行動を予測し，予測と実際の比較から親の「イナイイナイバー」によって快の情動が現れること確かめました．本モデルは４ヶ月頃の養育者との相互作用における赤ちゃんの情動変化のメカニズムについて示唆を与えるものです [大井手2007] [荻野2007] [Ogino2007] [荻野2008]．

図９初期コミュニケーション獲得モデル

図１０いないないばあ

図１１いないないばあ実験の様子

アイコンタクトの獲得（自閉症療育モデル）

自閉症児は他者の目への注意が弱いためにコミュニケーションが取りづらいと言われ，セラピーでは目に注意が向くような訓練が行われる．
この仮定をモデル化するため，アイコンタクトを獲得する学習モデルを提案した．
モデルはコミュニケーションにおいて報酬予測が最も正確にできる情報を抽出することを目的として学習することによりアイコンタクトを獲得します．
システムは大きく分けて画像処理システムと学習システムからなります．
画像処理システムでは，カメラから得られた画像に基づいてボトムアップとトップダウンの二つのプロセスにより注意点候補が抽出され，ロボットが注意すべき場所が計算されます．ボトムアッププロセスでは画像の顕著性，トップダウンプロセスでは学習システムで学習された画像特徴量を検出して，それぞれ注意点の候補が選択されます．
学習システムでは，ロボットが報酬を得たときに，その前後の画像群を記憶し，それらの画像群を識別する画像特徴量を学習します．
本モデルをバーチャルなロボットに実装して，実際に人間とインタラクションすることにより，ロボットの注意がしだいに顔から目に移っていく結果を得ました．
これは自閉症時のセラピーで見られる特徴と良く似ています [渡辺2008] [渡辺2008] [Watanabe2008]．

図１２アイコンタクト獲得モデル

図１３モデルによるアイコンタクトの獲得

やり取り遊びにおけるルール獲得モデル

親と子が行う「やり取り遊び」に注目し，身体的インタラクションによるコミュニケーションのモデルを提案しました．人間のやり取り遊びは，子からの視点から「観察」「模倣」「規則理解」「やり取り変化」のフェーズに分かれ発展しているとの報告があり，この模倣と規則性の発見という情報処理を統計的な情報量のやり取りとして定式化し，計算論的にモデル化しました．このモデルを動作させ被験者とやりとりをさせたところ，明示的に切り替え信号を与えているわけではないにも関わらず，観察から模倣の段階，さらに規則的やり取りへと連続的に発展していきました [栗山2007] [栗山2008] [Kuriyama2008]．

図１４親と子のやり取り遊び発展シナリオ[Rome-Flanders95]

図１５やり取り遊びのルール形成とシナリオ

図１６やり取り遊びシミュレーションの様子

図１７やり取り遊び実験の結果