ポイント
- 胸に装着した小型超魚眼カメラ１台のみで撮影可能なモーションキャプチャ技術の開発に成功。
- 深層学習により利用者の身体形状を推定、同時に一人称視点映像の合成も可能。
- 運動範囲の広いモーションキャプチャシステムとして、スポーツ科学、医療、アニメーション制作などへの応用を期待。
東京工業大学 情報理工学院 情報工学系の小池 英樹 教授らの研究グループは、胸装着型の小型超魚眼カメラで撮影した映像を深層学習ネットワークで学習することで、利用者の身体形状を正確に推定するモーションキャプチャ技術を開発した。さらに、身体形状と同時に頭部の向きを推定し、一人称視点映像を合成することを可能にした。
従来の光学式モーションキャプチャでは、複数台の高性能カメラを部屋の天井や壁に固定し、利用者はマーカー付きスーツを着用して計測する必要があるため、利用者の運動範囲は狭い空間内に制限された。また、一人称視点映像の合成には頭部にカメラを別途装着する必要があった。今回開発した手法では、運動範囲の制限がないため、スポーツ科学、医療、アニメーション制作などの分野でのモーションキャプチャの利便性が高まると期待される。さらに、使用機材が小型カメラ１台のみであるため、コストダウンも可能である。
今回の成果は、東京工業大学の他、米国カーネギーメロン大学 ロボティクスインスティテュートのＫｒｉｓ Ｍ． Ｋｉｔａｎｉ 教授との共同研究によるもので、２０２０年１０月２１日（米国時間）に国際会議「Ｔｈｅ ３３ｒｄ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＵＩＳＴ２０２０）」で発表される。
本研究成果は、以下の事業・研究領域・研究課題によって得られた。
科学技術振興機構（ＪＳＴ） 戦略的創造研究推進事業 チーム型研究（ＣＲＥＳＴ）
| 研究領域 | 人間と情報環境の共生インタラクション基盤技術の創出と展開 （研究総括：間瀬 健二（名古屋大学 大学院情報学研究科 教授）） |
|---|---|
| 研究課題名 | 技能獲得メカニズムの原理解明および獲得支援システムへの展開 |
| 研究代表者 | 小池 英樹（東京工業大学 情報理工学院 教授） |
| 研究期間 | 平成２９年１０月～令和５年３月 |
＜プレスリリース資料＞
- 本文 ＰＤＦ（４９６ＫＢ）
＜論文タイトル＞
- “MonoEye: Multimodal Human Motion Capture System Using A Single Ultra-Wide Fisheye Camera”
＜お問い合わせ先＞
-
＜研究に関すること＞
小池 英樹（コイケ ヒデキ）
東京工業大学 情報理工学院 情報工学系 教授
Tel：03-5734-3526 Fax：03-5734-3526
E-mail：koike
c.titech.ac.jp
-
＜ＪＳＴ事業に関すること＞
舘澤 博子（タテサワ ヒロコ）
科学技術振興機構 戦略研究推進部 ＩＣＴグループ
Tel：03-3512-3526 Fax：03-3222-2064
E-mail：crestjst.go.jp -
＜報道担当＞
東京工業大学 総務部 広報課
Tel：03-5734-2975 Fax：03-5734-3661
E-mail：mediajim.titech.ac.jp科学技術振興機構 広報課
〒102-8666 東京都千代田区四番町５番地３
Tel：03-5214-8404 Fax：03-5214-8432
E-mail：jstkohojst.go.jp