ポイント
- 3D映像が空中に投影される裸眼3Dディスプレイ「HaptoMIRAGE(ハプト ミラージュ)」を開発。
- 今回開発したディスプレイでは、複数のユーザーが同時にそれぞれの立ち位置から適切な3D映像を閲覧可能。3D映像を中心として約150度の広い視野角を実現。
- 直接手で触れる、空中に絵を描くなど3D映像との直接的な接触体験が可能となり、博物館展示、電子看板(デジタルサイネージ)、業務用ゲーム機械(アーケードゲーム)などさまざまな応用が期待される。
JST 戦略的創造研究推進事業の一環として、慶應義塾大学 大学院メディアデザイン研究科の舘 暲(タチ ススム)特別招聘教授、南澤 孝太 准教授らは、複数のユーザーが同時に裸眼で観察可能な3D映像を空中に投影できる3Dディスプレイ「HaptoMIRAGE」を開発しました。3D映像は現実の環境に重ね合わせて表示され、ユーザーは特殊な眼鏡を掛けることなく、広い範囲から両眼視差と運動視差を持つ立体映像として観察することができます。さらにユーザーと提示映像の間に障害物となる構造がないため、提示映像に直接手を伸ばして操作したり、空中に3Dコンピューターグラフィックスのスケッチを描いたりするなど、現実空間と情報空間がシームレスに融合した、新しい体験が実現します。本研究成果により、公共空間におけるデジタルサイネージ、博物館におけるインタラクティブ展示、アーケードゲームなどのエンターテイメントシステムなどの分野において、実物体と融合した相互作用可能な空中3D映像の利用が容易に実現できるようになることが期待されます。
本研究成果について、2014年9月2日~4日にパシフィコ横浜で開催される日本最大のゲーム開発者カンファレンス「CEDEC2014」において本研究成果を展示公開します。
本成果は、以下の事業・研究領域・研究課題によって得られました。
戦略的創造研究推進事業 チーム型研究(CREST)
研究領域 |
「共生社会に向けた人間調和型情報技術の構築」
(研究総括:西田 豊明 京都大学 大学院情報学研究科 教授) |
研究課題名 |
「さわれる人間調和型情報環境の構築と活用」 |
研究代表者 |
舘 暲(慶應義塾大学 大学院メディアデザイン研究科 特別招聘教授) |
研究期間 |
平成21年10月~平成27年3月 |
JSTはこの領域で、実空間コミュニケーション、ヒューマンインターフェース、メディア処理などの要素技術を融合・統合し、「人間と情報環境の調和」を実現するための基盤技術の構築を目標としています。上記研究課題では、視覚や身体運動と統合された触覚情報提示の設計手法を確立し、実空間コミュニケーション、ヒューマンインターフェース、メディア処理が融合した、見たものを見たままにさわれる知的な情報環境の構築を目指します。
<研究の背景と経緯>
3D映画や3Dテレビなど、3D映像技術は日常のさまざまな場所で用いられるようになりました。現在普及している立体映像の提示技術では、3D眼鏡などの特殊な装置の装着が必要であったり、観察可能な範囲が狭かったりと制約が多く、公共空間など不特定多数が訪れる場所で複数人が同時に3D映像を見ることは困難です。また近年、デジタル情報を実空間に重ね合わせて表示する技術が注目されていますが、ディスプレイなどを介さずに直接3D映像を実空間に投影することはできません。複数のユーザーがそれぞれの視点から眼鏡を装着することなく自然な3D映像を観察できるようにするためには、それぞれのユーザーの立ち位置に応じて、両眼視差(右眼と左眼に異なる映像が入ることによる立体感の知覚)と運動視差(頭の位置の変化に応じて視点が変化することによる立体感の知覚)の双方に対応した光線群をユーザーの両眼に提示することが必要です。
本研究プロジェクトでは、「さわれる情報環境」(図1)の実現を目指し、3D映像に手で触れて操作できる、すなわち「見たものを見たままにさわれる」ディスプレイの研究開発を進めてきました。ユーザーが3D映像に自然に触るには、ユーザーのいる現実空間と3D映像との間に物理的な障害が無い構造で3Dディスプレイを構成する必要があります。既存の3Dテレビでは、ガラス面があるために3D映像に直接触れず、映像と異なる位置で操作を行うことになってしまいます。頭部搭載型ディスプレイ(HMD:Head-Mounted Display)を用いて3D映像を提示する方法もありますが、ユーザーが周囲の実環境から遮断され、現実空間と情報空間との間に乖離が生じます(図2)。このような課題を解決するため、本研究プロジェクトは、映像に直接触れる3Dディスプレイ「RePro3D」を開発し2010年に発表しましたが、今回発表する「HaptoMIRAGE」では新たな映像提示方式により、複数人が同時に、広い範囲から観察可能な3D映像を表示します。
<研究の内容>
HaptoMIRAGE(図3)は従来の3Dディスプレイの課題であった、「裸眼で多視点の3D映像」、「現実空間への3D映像の重ね合わせ」、「複数人での3D映像の共有」、「広範囲からの3D映像の観察」を実現したインタラクティブな3Dディスプレイです。例えば、ペンで示した空間中に直接、3次元的なスケッチを描く(図4)、商品や展示品などの現実の物体の上に立体映像を重ねる、展示台の上に立体映像を投影し展示台を動かせば3D映像も動くように実物体を介したインタラクションを行う(図5)、といった現実空間と情報空間が3次元的に融合した新しいインタラクティブ体験を提供します。
HaptoMIRAGEにおける3D映像提示の原理(図6)は、本研究グループが提案したARIA:Active-Shuttered Real Image Autostereoscopy法を応用しています。ARIA法で構築される3Dディスプレイは、モーションキャプチャセンサー、液晶ディスプレイ、透明液晶ディスプレイ、フレネルレンズの4つの要素から構成されます。本手法では、まずユーザーの視点位置をモーションキャプチャにより計測し、その頭部位置に対応した両眼視差映像を液晶ディスプレイに表示します。この映像がフレネルレンズの手前の空間中に実像として結像します。しかし、このままでは左目用の映像と右目用の映像が両方とも左右の眼に入ってしまうため、それを防ぐために透明液晶ディスプレイを液晶ディスプレイとフレネルレンズとの間に配置しています。透明液晶ディスプレイは、左右の眼それぞれに対応した映像がそれぞれの眼のみに入るように、光線の進行方向を決定するアクティブシャッターとして働きます。これにより、左目用の映像はユーザーの左目のみに、右目用の映像はユーザーの右目のみにと、空間中に結像した視差映像が正しく片方ずつ交互に入り、ユーザーは立体映像として認識することができます。視差映像とアクティブシャッターの位置は、ユーザーの頭部位置に応じて変化するため、広い範囲から3D映像の観察が可能となります。
<今後の展開>
今後は、本研究成果を、本研究プロジェクトで別途開発している触覚提示技術と統合し、3D映像に触った際のリアルな触感を提示することにより、より高い存在感を提供できるインタラクティブな情報環境を構築します。視覚・触覚・身体運動を融合した「さわれる情報環境」によって、情報コンテンツの「視聴」をユーザー自身の「体験」へと拡張し、デジタルサイネージ、博物館や科学館における展示、エンターテイメントなどの実際のフィールドにおいて、これまでの受身的な情報コンテンツとの関わり方を身体的な経験へと拡張する実例を展開していく予定です。
<参考図>
図1 本研究が目指す「さわれる情報環境」のイメージ図
図2 見たものを見たままにさわれるディスプレイ
図3 HaptoMIRAGEの外観
図4 現実空間への3次元的な描画
図5 実物体への立体映像の重畳と、実物体を介した立体映像とのインタラクション
図6 HaptoMIRAGEのシステム構成
<お問い合わせ先>
<研究に関すること>
舘 暲(タチ ススム)
慶應義塾大学 大学院メディアデザイン研究科 特別招聘教授
〒223-8526 神奈川県横浜市港北区日吉4-1-1 協生館
Tel:045-564-2499
E-mail:
<JST事業に関すること>
松尾 浩司(マツオ コウジ)
科学技術振興機構 戦略研究推進部
〒102-0075 東京都千代田区五番町7 K’s五番町ビル
Tel:03-3512-3526 Fax:03-3222-2064
E-mail:
<報道担当>
科学技術振興機構 広報課
〒102-8666 東京都千代田区四番町5番地3
Tel:03-5214-8404 Fax:03-5214-8432
E-mail:
慶應義塾 広報室
〒108-8345 東京都港区三田2-15-45
Tel:03-5427-1541 Fax:03-5441-7640
E-mail: