成果概要
身体的共創を生み出すサイバネティック・アバター技術と社会基盤の開発2. 経験の並列化と融合的認知行動技術 （経験共有研究グループ）
２０２２年度までの進捗状況
１．概要
自分の身体経験を並列化し
異なる時空間を同時に
知覚し行動できる身体
サイバネティック・アバター（ＣＡ）により、１人が１つの身体を持つ前提を超えて、複数の身体を通じて並列的な身体経験を得る技術を確立するため、身体の主体感と自己の連続性を保ちながら、複数の身体感覚の融合的な知覚を通じて、ＣＡ間の自在な移動を可能とする認知行動技術を開発します。運動や感覚のみならず情動の保存と追体験も可能にする技術を開発し、人々がＣＡを通じて得た経験を互いに共有できるようにすることで、目標１が目指す「身体、空間、時間の制約からの解放」に貢献します。
身体の並列化における融合的行為主体感生成技術の開発
笠原 俊一（ソニーコンピュータサイエンス研究所）
身体共創行動技術への適応を可能にする脳可塑性機序の解明
柴田 和久（理化学研究所）
生体情報計測に基づく情動のデジタル化と経験の圧縮技術の開発
Kai Kunze（慶應義塾大学ＫＭＤ）
２．２０２２年度までの成果
- (1) ２人を相手に卓球対戦できる並列化ＣＡシステム「Parallel Ping-Pong」を開発
- (2) 複数ＣＡ身体並列操作の高速切替手法の開発
- (3) 複数ＣＡ身体を同時に使いこなすためのＣＡ運動学習並列化手法の実現
- (4) 連続的に顔を変化させるMorphing IdentityシステムによりＣＡ上での顔アイデンティの境界を明らかに
- (5) 情動を計測し共有するFrisson Wavesを開発
１人の利用者が複数の身体を通じて並列的な身体経験を得る技術を確立するために(1)では卓球を題材とした並列化ＣＡを開発しました。利用者は２体のＣＡに同時に接続し、ＣＡの自律制御によるアシストと２体のＣＡの視点映像を融合して利用者に提示することで、１人の利用者による２体のＣＡの同時操作を実現しました。この成果を基に(2)では、複数ＣＡ操作を視線情報に基づき高速に切り換えるためのインタフェース技術を開発し、４つの空間で並列に視線によるCAを操作するタスクにおいて、達成時間の短縮化を実現しました。
(3)では、複数身体を同時に使いこなすための並列運動学習を、バーチャル空間におけるＣＡ身体を用いて検証し、ＣＡ身体に３人称視点を用いることで、異なる運動特性を並列的に学習できることを発見しました。
(4)では、複数人が複数のCAに動的に入れ替わり操作をするときの顔の連続性を保ちながらＣＡに表示される顔を違和感なく変化させるため、機械学習を用いた滑らかな顔映像変容システムを開発しました。日本科学未来館での長期展示を通じた公開実験から、CA顔表現の設計に必要となる自己と他者との境界を明らかにしました。
(5)では、生体情報計測に基づく情動推定技術と、温度提示に基づく情動誘起技術を開発し、音楽演奏を題材として、複数人の間での情動も含む経験共有を実現しました。
３．今後の展開
複数のＣＡを円滑に操作するためのインタフェース技術開発と、人の脳が並列化された身体感覚に適応し、並列行動・並列認知を遂行できる仕組み理解のための基礎的な脳科学研究を両輪で取り組みます。情動共有技術については、人の自律神経系に関連する生体信号を計測・分析し、情動情報に基づく経験の圧縮や伝送の実現を目指します。