成果概要
身体的共創を生み出すサイバネティック・アバター技術と社会基盤の開発[2] 経験の並列化と融合的認知行動技術（経験共有研究グループ）
２０２３年度までの進捗状況
１．概要
自分の身体経験を並列化し
異なる時空間を同時に
知覚し行動できる身体
サイバネティック・アバター（ＣＡ）により、１人が１つの身体を持つ前提を超えて、複数の身体を通じて並列的な身体経験を得る技術を確立するため、身体の主体感と自己の連続性を保ちながら、複数の身体感覚の融合的な知覚を通じて、ＣＡ間の自在な移動を可能とする認知行動技術を開発します。運動や感覚のみならず情動の保存と追体験も可能にする技術を開発し、人々がＣＡを通じて得た経験を互いに共有できるようにすることで、目標１が目指す「身体、空間、時間の制約からの解放」に貢献します。
身体の並列化における融合的行為主体感生成技術の開発
笠原 俊一（ソニーコンピュータサイエンス研究所）
身体共創行動技術への適応を可能にする脳可塑性機序の解明
柴田 和久（理化学研究所）
生体情報計測に基づく情動のデジタル化と経験の圧縮技術の開発
Kai Kunze（慶應義塾大学ＫＭＤ）
２．これまでの主な成果
- (1) ２人を相手に卓球対戦できる並列化ＣＡシステム「Parallel Ping-Pong」を開発
- (2) 複数ＣＡ身体並列操作の高速切替手法の開発
- (3) 複数ＣＡ身体を同時に使いこなすためのＣＡ運動学習並列化手法の実現
- (4) 人間の速度を超える素早い動作が可能なハンドエグゾスケルトン（外骨格）の開発
- (5) 生体情報計測と感覚提示デバイスによる情動共有技術を開発
１人の利用者が複数の身体を通じて並列的な身体経験を得る体験検証のために(1)では卓球を題材とした並列化ＣＡを開発しました。利用者は２体のＣＡに同時に接続し、ＣＡのAIアシストと２体のＣＡ視点映像を融合して観測することで、１人の利用者による２体のＣＡの同時操作を実現しました。この成果を基に(2)では、複数ＣＡ操作を視線情報に基づき高速に切り換えるインタフェース技術を開発し、複数空間で操作するタスクにて、達成時間の短縮化を実現しました。
(3)では、複数身体を同時に使いこなすための並列運動学習を、バーチャルＣＡを用いて検証し、ＣＡ身体に視点変換を用いることで、異なる運動特性を並列的に学習できることを発見しました。
(4)では、人間の反応速度や動作速度を大幅に超えるハンドエグゾスケルトン（外骨格）を開発しました。この技術により、ユーザーは自分の意志で動かしていると感じながら、非常に速く正確に動く事ができます。人間の自然な反応速度を超えた新しい体験、作業効率や体験の質を大幅に向上させることを目指しています。
(5)では、生体情報計測に基づく情動推定技術と、感覚提示に基づく情動誘起技術を開発し、音楽演奏やダンスパフォーマンス等において、演者や聴衆間での情動を含んだ経験共有を実現しました。
３．今後の展開
１人が１つの身体を持つ前提を超えて、複数のＣＡを駆使する。人間が本来持つ反応時間や判断・運動速度を超えた活動を実現する。これらを実現するために、ＣＡインタフェース技術開発と、基礎的な脳科学研究を両輪で取り組み、人間の持つ限界を超えるＣＡによって能力や身体を拡張する超身体の実現を目指します。