熟練者の動きをデータ化し、高度な技能の効率的な獲得を支援する

もともとスポーツや音楽が好きだという小池さん。今回のCRESTの研究テーマは、趣味で携わっていた競技スキーがアイデアの元となった。「競技スキーの指導では、選手が滑っている様子をビデオで撮影し、あとでその映像を確認しながら『ここがよかった』『ここが悪かった』などと振り返ります。こうしたやり方を見て、情報技術が発達しているにもかかわらず、それがちゃんと使われていないことにもどかしさを感じました。私は長年、画像処理による情報の視覚化や、人とコンピュータをつなぐヒューマン・コンピュータ・インタラクションの研究をしてきたので、もっと効率的に技能を向上させる方法を提案できるのではないかと考えたのです」。

小池さんたちがまず開発したのは、どこでも簡単に全身の動きを3次元で認識できるモーションキャプチャ技術だ。人やモノの動きをデジタルデータ化するモーションキャプチャは、映画やゲームなどに使われているが、既存の方法では、利用者はマーカー付きのスーツを着用し、複数のカメラが設置された専用のスタジオで撮影する必要がある。マーカー付きスーツを着用せずにカメラ1台でキャプチャできる簡易装置もあるが、室内の限られた空間でしか使えない。一方、小池さんたちが開発した方法では、1台の小さな超魚眼カメラを胸に装着するだけで、体の動きや顔の向きをキャプチャすることができる。カメラが人についていくため、使用場所の制限がない。

「超魚眼カメラで撮った映像には、カメラを装着している本人の手や足や顔が少しだけ映り込みます。この映像に対してディープラーニングを適用することで、全身のポーズや顔の向きを推定することができるのです。1台のカメラを胸につけるだけでいいので、スキー場のような広大な空間を動き回る場面でも使えますし、コストを抑えられるのも特徴です」。

最近は、手首にカメラをつけて指の細かな動きをキャプチャする技術も開発している。「基本的なしくみは同じです。カメラには指は映りませんが、手の甲は映ります。指を動かすと手の甲も動きますよね。手の甲の動きから、ディープラーニングにより指の動きを推定するのです」。腕時計型の端末にカメラを内蔵することで、指を動かすだけで家電やスマートフォンを操作できるようになるなど、この技術は日常生活への応用も期待できる。さらに精度が上がれば、一流のピアニストや熟練外科医の指の動きをデータ化するのにも役立つだろう。

では、モーションキャプチャでデータ化した熟練者の動きをどのように他の人にフィードバックするのだろうか。そのために小池さんたちが開発したのは、リアルタイムで動きを視覚化するシステムだ。その代表例として、競技スキーの練習用シミュレーターと連動させたシステムがある。シミュレーターの正面の大画面に、先を滑る熟練者と追いかける練習者の動きを同時に表示するもので、練習者は、熟練者と自分の動きのずれをリアルタイムで把握し、自分の動きを修正することができる。また、ゴルフのスイングをしたときのクラブヘッドの軌道をリアルタイムで床に映しだすシステムも開発した。その場で自分のスイングの軌道を確認し、修正することで、効率的にスイングを上達させることができる。

一方、動きを直接フィードバックするため、手指を強制的に動かすグローブも開発した。このグローブは人工筋肉のチューブが張り巡らされたもので、ロボットの一種だが軽くて柔らかく、手指の動きをほとんど妨げない。熟練者がピアノを弾いたときの指の動きをデータ化し、このグローブに送れば、練習者の指が勝手に動き、熟練者の指の動かし方を身につけられる。実際にピアノの練習に応用したところ、面白いことがわかったという。「グローブをして強制的に指を速く動かしたあとに、グローブをはずして弾いてもらうと、グローブをする前よりも速く指を動かせるようになっていたのです。このグローブで自分の限界を突破できる可能性も見いだされました」。

CRESTが始まってわずか5年の間に次々と画期的な技術を開発している小池さん。こうした技術は、さまざまな分野の技能の獲得や伝承に応用できると期待される。今後はどのような展開を思い描いているのだろうか。「まずやりたいのは、技能のデータベースづくりですね。1台のカメラだけでどこでもモーションキャプチャできる技術は世界的にも例がありません。ぜひ日本のカメラメーカーなどと連携して実用化を進め、あらゆる技能のデータを集積していきたいと思っています。また、スポーツや音楽などの分野では、高度な技能をもつ人が、それに見合った対価を得られていないという現状がありますので、特定の技能のデータを使う際には、その技能の持ち主に対価を支払うようなしくみができたらと考えています。これは現在すでに進めているところです」。

また、小池さんは医療分野との連携にも意欲を見せている。「手術手技の伝承はぜひ取り組みたいテーマです。これもすでにスタートしており、脳神経外科医が行う顕微鏡縫合術の練習システムを開発しました。いずれは“神の手”と呼ばれるようなスーパードクターの手の動きをデータ化し、若手医師の手術練習システムや手術ロボットの開発につなげたいと考えています」。