JSTトップ > 事業成果 > 目の前の3D映像に触れる 触った感覚も伝わる分身ロボットの実現へ

情報通信技術

目の前の3D映像に触れる

触った感覚も伝わる分身ロボットの実現へ

舘(たち) 暲(すすむ)
舘 暲たち すすむ(東京大学 名誉教授)
CREST
高度メディア社会の生活情報技術
「テレイグジスタンスを用いる相互コミュニケーションシステム」研究代表者(H12-H18)
CREST
共生社会に向けた人間調和型情報技術の構築
「さわれる人間調和型情報環境の構築と活用」研究代表者(H21-27)
ACCEL
「触原色に立脚した身体性メディア技術の基盤構築と応用展開」研究代表者(H26-H31)

3Dディスプレイの普及と課題

近年、バーチャルリアリティ(VR)やロボット技術の普及により、人と情報メディアとの関係性は、これまでの視聴覚による受動的な情報伝達から、身体を介在した、より能動的な視聴覚体験へと進化しつつある。

人が日常的に得る体験は「触る」「持つ」「歩く・走る」「触れ合う」など、視聴覚のみならず全身の運動や皮膚感覚を伴う身体的経験である。こうした経験を記録・伝送・再生できるプラットフォームがあればロボットやVR空間を介した遠隔体験や遠隔就労、また新たな体験コンテンツの創造が可能になる。

こうした技術課題を解決する画期的な情報メディア技術が発表された。舘暲名誉教授らの研究グループが開発したテレイグジスタンスシステム「TELESAR V(テレサファイブ)」と、裸眼3Dディスプレイ「Hapto MIRAGE(ハプトミラージュ)」である。

TELESAR Vは、人と同期して同じ動作をするアバター(分身)ロボットと、ロボットの視覚・聴覚・触覚を人に伝送するコックピットにより構成される。遠隔地にあるロボットを介して、まるで自分自身がそこにいるかのような感覚で人とふれあい、モノを操り、その接触状態やつかんだときの感覚を伝える。

このようなシステムはテレイグジスタンスと呼ばれる、舘教授が長年にわたって提唱してきた概念を具現化したものだ。高い臨場感を持って自分がいる空間とは別の空間を体験可能にするだけではなく、自己の存在感をも伝達できる、双方向のコミュニケーション技術だ。

画像:TELESAR V:左側の人は右側のロボットを自分の新しい身体として利用できる。自分の動きに連動して動くロボットのカメラやマイクからの視聴覚情報を頭部搭載型ディスプレイ(HMD)やヘッドホンで得ると同時にロボットの指がとらえた触覚を得ることでテレイグジスタンス感覚を得ている。
TELESAR V:左側の人は右側のロボットを自分の新しい身体として利用できる。自分の動きに連動して動くロボットのカメラやマイクからの視聴覚情報を頭部搭載型ディスプレイ(HMD)やヘッドホンで得ると同時にロボットの指がとらえた触覚を得ることでテレイグジスタンス感覚を得ている。
画像:TELESAR Vを用いた作業の例。
TELESAR Vを用いた作業の例。

「さわれる情報環境」の実現を目指して

舘教授らのグループは2009年以来、「さわれる情報環境」の実現を目指し、3D映像に手で触れて操作できるディスプレイの開発を進めてきた。

ユーザーが3D映像に触れるようにするには、ユーザーのいる現実空間と3D映像間に物理的障害がないように3Dディスプレイを構成する必要がある。従来は間にガラス面があるため、映像に直接触ることができず、異なる位置で操作を行うことになってしまう。頭部搭載型ディスプレイ(HMD:Head–Mounted Display)で映像を提示する方法もあるが、ユーザーが周囲の実環境から遮断されて、現実空間と情報空間の間に乖離が生じる。

そこで2010年、舘教授らは多視点裸眼立体ディスプレイ「RePro3D」を開発。これにより従来のディスプレイの3課題「裸眼で多視点の立体映像」、「実空間にデジタル情報を重ね合わせる」、「見た場所を見たままにさわれる触覚提示」を実現した。HaptoMIRAGEは、これに新たな映像提示方式を加えることで、複数人が同時に、広い範囲から観察可能な3D映像を表示するディスプレイである。

画像:多視点裸眼立体ディスプレイ「RePro3D」の表示例
多視点裸眼立体ディスプレイ「RePro3D」の表示例

自然な3D映像の観察

HaptoMIRAGEは、現実空間と情報空間が3次元的に融合したインタラクティブ体験を提供する。例えば、空間中にペンで直接、3次元的なスケッチを描く。展示台の上に3D映像を投影し、展示台を動かせば3D映像も動く、というように実物体を介したインタラクションを行うことが可能となる。

複数のユーザーがそれぞれの視点から、裸眼のまま、自然な3D映像を観察できるようにするために、Hapto MIRAGEはそれぞれのユーザーの立ち位置に応じて、両眼視差(右眼と左眼に異なる映像が入ること)と運動視差(頭の位置の変化に応じて視点が変化し、見えるものが変わること)の双方に対応した光線群を、ユーザーの両眼に提示する。

画像:現実空間への3次元的な描画
現実空間への3次元的な描画

放送分野やエンターテインメント分野、遠隔就労、医療・福祉分野への展開をめざす

こうして、空中に3D映像を投影するすぐれた裸眼3Dディスプレイが開発された。今後このディスプレイは、博物館でのインタラクティブ展示や公共空間の電子看板(デジタルサイネージ)、アーケードゲームなどのエンターテイメントシステムなど、さまざまな分野での応用が期待される。

また研究グループでは、「触原色」原理に基づく触覚の伝送技術を確立することにより、触覚を視聴覚と同様のメディアとして扱えるようにし、それらを統合することで、新たな身体的経験を生み出す「身体性メディア」の研究開発を開始している。2012年に開発したTELESAR Vを発展させ、将来的には、人がどこからでもネットワークを介して自分のアバターを使うことで、身体的制約を乗り越え、空間の隔たりや時差を超えて自在に活躍できる社会を実現すると期待されている。

  • 前のページ
  • 一覧にもどる
  • 次のページ