稲見自在化身体プロジェクト

研究総括　稲見昌彦
（東京大学先端科学技術研究センター　教授）
研究期間：2017年10月～2023年3月
グラント番号：JPMJER1701

IoT、人工知能（AI）、バーチャルリアリティ（VR）など情報技術は目覚ましく発展しています。これまで、人間は自然環境を物理的に構造化することで農地や都市を形成し、情報的に構造化することで情報環境を構築してきました。しかしながら、物理的あるいは情報的な環境の飛躍的な進展に対し、その環境の中で生活する主体である人間自身の身体は変化していません。

稲見自在化身体プロジェクトでは超スマート社会に適応可能な「自在化身体」を構築する技術基盤を確立することを目指します。「自在化」と位置づけられる技術開発は、人間がロボットやAIと「人機一体」となり、自己主体感を保持したまま行動することを支援し、人間の行動の可能性を大幅に広げると考えられます。

自在化身体を実現するために、身体・行動のシステム的な理解に基づき、VR・ヒューマンアシスティブロボット・ウェアラブルコンピューティング・脳情報デコーディング・機械学習などを用いて、人間と情報環境との関係性を柔軟に設計する「身体性編集」に関する基礎的知見の解明と設計指針を確立します。さらに、設計した自在化身体およびそれがもたらす心と社会の変容を、実社会とバーチャル社会において検証します。

fig1

研究グループ

・自在化身体構築グループ
・バーチャル身体構築グループ
・認知心理・行動理解グループ
・システム知能・神経機構グループ
・自在化身体調査研究グループ

研究および研究成果概要

本プロジェクトは、大きく五つの方向で展開を図ってきました。（1）自在化身体のコンセプトに基づいた個々の研究の深耕、（2）「自在化」という新たな研究コンセプトの創出、（3）領域横断的な人材の輩出、（4）研究成果の社会実装、（5）文化への影響を含む社会に対するインパクト、である。それぞれの方向で開始当初の想定通り、あるいはそれ以上の成果を収めたと考えています。
（1）についてはプロジェクトが進むにつれ、グループ間の連携が進み、広範な観点から研究を導くことができました。
（2）に関しては、本プロジェクトが起点となって、研究目標としての「自在化」のコンセプトをロボットやVRなどの研究コミュニティに広めることができました。
（3）については、本プロジェクトの特徴である領域間の融合を戦略的に推し進める研究体制のもと、多くの博士学生、研究生を育成することができました。
（4）の社会実装では、多数の民間企業との共同研究に加えて、本プロジェクトの成果からスタートアップ企業3社が誕生しました。概念実証的な取り組みを皮切りに、開発した技術の実用化が順次進む見込みです。
（5）の代表例は、舞台芸術との融合を図ったイベント「自在化コレクション」や、世界各国での公開を目指して現在制作中の映像作品です。いずれも、自在化身体がもたらす社会像を万人にわかりやすく発信する試みであり、前者に対しては技術に興味の薄い層からも大きな反響がありました。

研究成果集

1．自在化身体・自在化技術の構築

個人の能力拡張の視点として、装着型ロボットアームを用いた新たな四肢（MetaArms）、大きさ・構造・位置の異なる複数のロボットへの変身技術（Transfantome）、せん断刺激による触覚提示デバイス（TorsionCrowds）といった特許性のあるデバイスの開発に成功しました。また、個人にとどまらず複数人が協調したり個人が複数に分かれて行動できる分散協調の視点では、着脱型身体（Detachable Body）、遠隔二人羽織ロボット（Fusion）や身体近傍空間の拡張身体（Human Coincident Robot）などの成果を発表し、これらに関しても特許出願や実証実験のフェーズに達しました。また、バーチャル環境の複数のアバタと感覚と運動を同期することにより分身を実現した条件において、複数の身体に対して身体所有感・行為主体感が生じるのかについて、検証を行いました。さらにはVR環境下における余剰肢ロボットアームの身体化に関する研究を行うなど、メタバースの発展を視野に入れたバーチャル環境における自在化身体の研究成果が生まれました。
このように研究初期においては、おもに物理世界を主体とし、個人の腕部に着目した自在化身体の構築から探索的に研究開発を開始しましたが、プロジェクト後半では分散協調への展開や情報世界との連結に向けた動きに発展しました。
また自在化技術の社会受容性や表現の可能性を探索するために、外部のデザイナーと連携し、自由な取り外し・交換が可能な人工身体部位である「自在肢」や「自在顔」を開発しました。

特許出願

遠隔操作システム，ムハマドヤメンサライジ，稲見昌彦，佐々木智也，南澤孝太，松村礼央，特願2018-124364，PCT/JP2019/025781
画像インタフェース装置，画像操作装置，操作対象物操作装置，操作対象物操作システム，操作対象物提示方法および操作対象物提示プログラム，稲見昌彦，泉原厚史，岡本直樹，檜山敦，佐々木智也，荻野将拓，JPWO2020235541A1，PCT/JP2020/019706
力覚提示装置及び力覚提示方法，堀江新，稲見昌彦，特願2019-163973，PCT/JP2020/032185

主要論文

Masahiko Inami, Daisuke Uriu, Zendai Kashino, Shigeo Yoshida, Hiroto Saito, Azumi Maekawa, and Michiteru Kitazaki. “Cyborgs, Human Augmentation, Cybernetics, and JIZAI Body”, Augmented Humans 2022 , pp. 230-242, 2022.
Nahoko Yamamura, Daisuke Uriu, Mitsuru Muramatsu, Yusuke Kamiyama, Zendai Kashino, Shin Sakamoto, Naoki Tanaka, Toma Tanigawa, Akiyoshi Onishi, Shigeo Yoshida, Shunji Yamanaka, and Masahiko Inami. “Social Digital Cyborgs: The Collaborative Design Process of JIZAI ARMS”, Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI ‘23) , 2023.
Reiji Miura, Shunichi Kasahara, Michiteru Kitazaki, Adrien Verhulst, Masahiko Inami, Maki Sugimoto. “MultiSoma: Motor and Gaze Analysis on Distributed Embodiment With Synchronized Behavior and Perception”, Frontiers in Computer Science , Vol. 4, 2022.
Ken Arai, Hiroto Saito, Masaaki Fukuoka, Sachiyo Ueda, Maki Sugimoto, Michiteru Kitazaki, and Masahiko Inami. “Embodiment of Supernumerary Robotic Limbs in Virtual Reality”, Scientific Reports , Vol. 12, Article 9769, 2022.
Yukiko Iwasaki, Kozo Ando, Shuhei Iizuka, Michiteru Kitazaki, Hiroyasu Iwata. “Detachable Body: The Impact of Binocular Disparity and Vibrotactile Feedback in Co-Presence Tasks”, IEEE Robotics and Automation Letters , Vol. 5, No. 2, pp. 3477-3484, 2020.

自在化身体のコンセプトに基づいた研究事例

自在肢（左）Human Coincident Robot（右）

2．自在化状態の解明

自在化状態の原理・機構の解明を目指し、脳神経科学および認知心理学の知見から自在化身体を理解する研究を行いました。具体的には、独立制御された第6の指の身体化に関する研究や道具の身体化に認知科学的知見に基づくロボット制御に関する研究など、インパクトのある成果として結実しました。これらの成果に基づきNull-space activityを用いた余剰身体部位の制御および身体化と、その脳神経科学的知見の獲得という、身体の自在化の機序の解明を目指した研究として展開中です。これら脳神経科学や認知ロボティクスの知見は、他グループにおける自在化身体の設計や制御、認知心理学的なVR実験に大きな貢献をもたらしました。
認知心理学の面からは、VR空間でのバーチャル身体に物理的身体の操作をどこまでリマッピングできるかという可能性を探りました。自在化身体という概念の下で、身体性の編集がどのような条件で生起されるか、心理的にどのような影響が生じるかといった疑問に応える術は、プロジェクト発足時には確立されていませんでした。本テーマは研究初期においては心理指標の検討からはじめ、実験環境構築から実験計画まで基盤的なところから準備を進める必要がありましたが、昨今はその甲斐あって、VRを用いた心理実験によるリマッピングの検証や、複数人で一つのVR身体を操る際のふるまいの変化などを捉える成果を得るに至りました。

主要論文

Kohei Umezawa, Yuta Suzuki, Gowrishankar Ganesh, Yoichi Miyawaki. “Bodily ownership of an independent supernumerary limb: an exploratory study”, Scientific reports , Vol. 12, Article 2339, 2022.
Takayoshi Hagiwara, Gowrishankar Ganesh, Maki Sugimoto, Masahiko Inami, Michiteru Kitazaki. “Individuals prioritize the reach straightness and hand jerk of a shared avatar over their own”, iScience , Vol. 23, No. 12, 2020.
Harin Hapuarachchi, Takayoshi Hagiwara, Gowrishankar Ganesh, Michiteru Kitazaki. “Effect of connection induced upper body movements on embodiment towards a limb controlled by another during virtual co-embodiment”, PLoS One , Vol. 18, 2023.

第六の指

共有身体と結合身体アバター

3．2.を考慮した1.の社会実装と社会・文化・倫理的課題の検討

本プロジェクトでは基礎研究のみならず、それらを社会的理解につなげ、産業的価値に繋げる社会実装の調査研究に着手するグループも立ち上げ、推進しました。そこで、サイエンスコミュニケーションや企業との共同研究、ジザイエを始めとしたERATO発スタートアップの起業など、自在化社会の実現に向けた活動を推進しました。特に、COVID-19に端を発する社会構造の変化への対応について追加的研究を展開し、自在化身体の知見を用いて、物理的な接触を減らしつつも実質的なコミュニケーションを豊かにするための実用可能な技術を発表しました。また、自在化技術をメタバース空間内で体験可能にするVirtual Living Labプロジェクトは、アバターの身体をソーシャルVRプラットフォーム”VRChat”内で自在に編集可能な環境を構築しました。さらに今後、ソーシャルVRプラットフォームと連携することで、より多くのユーザーに体験を提供することで社会構造や人間行動の最適化を行うための環境設計指針を得る予定である。
このように本プロジェクトは、物理・情報空間、身体と知覚・認知の融合を扱うシステムを多様に設計可能にする研究開発を通じて成果を発表し、多様なアプローチでの社会実装やCOVID-19対策を踏まえた活動を通して基礎研究に付加価値を与えることにも成功しました。

主要論文・書籍

稲見昌彦，北崎充晃，宮脇陽一，ゴウリシャンカー・ガネッシュ，岩田浩康，杉本麻樹，笠原俊一，瓜生大輔． “『自在化身体論』～超感覚・超身体・変身・分身・合体が織りなす人類の未来～”, NTS , ISBN: 978-4-86043-685-8（紙媒体）, ISBN: 978-4-86043-686-5（電子媒体）, 2021.
Masahiko Inami. “Theory of JIZAI Body: Towards mastery over the extended self”, Springer Nature (Accepted).
Theophilus Teo, Kuniharu Sakurada, Masaaki Fukuoka, Maki Sugimoto. “Techniques for using VRChat to Replace On-site Experiments”, IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct) , pp. 249-253, 2022.