共同発表：空中に３Ｄ映像を投影する裸眼３Ｄディスプレイを開発

ポイント

３Ｄ映像が空中に投影される裸眼３Ｄディスプレイ「ＨａｐｔｏＭＩＲＡＧＥ(ハプト　ミラージュ)」を開発。
今回開発したディスプレイでは、複数のユーザーが同時にそれぞれの立ち位置から適切な３Ｄ映像を閲覧可能。３Ｄ映像を中心として約１５０度の広い視野角を実現。
直接手で触れる、空中に絵を描くなど３Ｄ映像との直接的な接触体験が可能となり、博物館展示、電子看板（デジタルサイネージ）、業務用ゲーム機械（アーケードゲーム）などさまざまな応用が期待される。

ＪＳＴ戦略的創造研究推進事業の一環として、慶應義塾大学大学院メディアデザイン研究科の舘暲（タチススム）特別招聘教授、南澤孝太　准教授らは、複数のユーザーが同時に裸眼で観察可能な３Ｄ映像を空中に投影できる３Ｄディスプレイ「ＨａｐｔｏＭＩＲＡＧＥ」を開発しました。３Ｄ映像は現実の環境に重ね合わせて表示され、ユーザーは特殊な眼鏡を掛けることなく、広い範囲から両眼視差と運動視差を持つ立体映像として観察することができます。さらにユーザーと提示映像の間に障害物となる構造がないため、提示映像に直接手を伸ばして操作したり、空中に３Ｄコンピューターグラフィックスのスケッチを描いたりするなど、現実空間と情報空間がシームレスに融合した、新しい体験が実現します。本研究成果により、公共空間におけるデジタルサイネージ、博物館におけるインタラクティブ展示、アーケードゲームなどのエンターテイメントシステムなどの分野において、実物体と融合した相互作用可能な空中３Ｄ映像の利用が容易に実現できるようになることが期待されます。

本研究成果について、２０１４年９月２日～４日にパシフィコ横浜で開催される日本最大のゲーム開発者カンファレンス「ＣＥＤＥＣ２０１４」において本研究成果を展示公開します。

本成果は、以下の事業・研究領域・研究課題によって得られました。

戦略的創造研究推進事業チーム型研究（ＣＲＥＳＴ）

研究領域	「共生社会に向けた人間調和型情報技術の構築」（研究総括：西田豊明　京都大学大学院情報学研究科　教授）
研究課題名	「さわれる人間調和型情報環境の構築と活用」
研究代表者	舘暲（慶應義塾大学大学院メディアデザイン研究科　特別招聘教授）
研究期間	平成２１年１０月～平成２７年３月

ＪＳＴはこの領域で、実空間コミュニケーション、ヒューマンインターフェース、メディア処理などの要素技術を融合・統合し、「人間と情報環境の調和」を実現するための基盤技術の構築を目標としています。上記研究課題では、視覚や身体運動と統合された触覚情報提示の設計手法を確立し、実空間コミュニケーション、ヒューマンインターフェース、メディア処理が融合した、見たものを見たままにさわれる知的な情報環境の構築を目指します。

＜研究の背景と経緯＞

３Ｄ映画や３Ｄテレビなど、３Ｄ映像技術は日常のさまざまな場所で用いられるようになりました。現在普及している立体映像の提示技術では、３Ｄ眼鏡などの特殊な装置の装着が必要であったり、観察可能な範囲が狭かったりと制約が多く、公共空間など不特定多数が訪れる場所で複数人が同時に３Ｄ映像を見ることは困難です。また近年、デジタル情報を実空間に重ね合わせて表示する技術が注目されていますが、ディスプレイなどを介さずに直接３Ｄ映像を実空間に投影することはできません。複数のユーザーがそれぞれの視点から眼鏡を装着することなく自然な３Ｄ映像を観察できるようにするためには、それぞれのユーザーの立ち位置に応じて、両眼視差（右眼と左眼に異なる映像が入ることによる立体感の知覚）と運動視差（頭の位置の変化に応じて視点が変化することによる立体感の知覚）の双方に対応した光線群をユーザーの両眼に提示することが必要です。

本研究プロジェクトでは、「さわれる情報環境」（図１）の実現を目指し、３Ｄ映像に手で触れて操作できる、すなわち「見たものを見たままにさわれる」ディスプレイの研究開発を進めてきました。ユーザーが３Ｄ映像に自然に触るには、ユーザーのいる現実空間と３Ｄ映像との間に物理的な障害が無い構造で３Ｄディスプレイを構成する必要があります。既存の３Ｄテレビでは、ガラス面があるために３Ｄ映像に直接触れず、映像と異なる位置で操作を行うことになってしまいます。頭部搭載型ディスプレイ（ＨＭＤ：Ｈｅａｄ－Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）を用いて３Ｄ映像を提示する方法もありますが、ユーザーが周囲の実環境から遮断され、現実空間と情報空間との間に乖離が生じます（図２）。このような課題を解決するため、本研究プロジェクトは、映像に直接触れる３Ｄディスプレイ「ＲｅＰｒｏ３Ｄ」を開発し２０１０年に発表しましたが、今回発表する「ＨａｐｔｏＭＩＲＡＧＥ」では新たな映像提示方式により、複数人が同時に、広い範囲から観察可能な３Ｄ映像を表示します。

＜研究の内容＞

ＨａｐｔｏＭＩＲＡＧＥ（図３）は従来の３Ｄディスプレイの課題であった、「裸眼で多視点の３Ｄ映像」、「現実空間への３Ｄ映像の重ね合わせ」、「複数人での３Ｄ映像の共有」、「広範囲からの３Ｄ映像の観察」を実現したインタラクティブな３Ｄディスプレイです。例えば、ペンで示した空間中に直接、３次元的なスケッチを描く（図４）、商品や展示品などの現実の物体の上に立体映像を重ねる、展示台の上に立体映像を投影し展示台を動かせば３Ｄ映像も動くように実物体を介したインタラクションを行う（図５）、といった現実空間と情報空間が３次元的に融合した新しいインタラクティブ体験を提供します。

ＨａｐｔｏＭＩＲＡＧＥにおける３Ｄ映像提示の原理（図６）は、本研究グループが提案したＡＲＩＡ：Ａｃｔｉｖｅ－Ｓｈｕｔｔｅｒｅｄ　Ｒｅａｌ　Ｉｍａｇｅ　Ａｕｔｏｓｔｅｒｅｏｓｃｏｐｙ法を応用しています。ＡＲＩＡ法で構築される３Ｄディスプレイは、モーションキャプチャセンサー、液晶ディスプレイ、透明液晶ディスプレイ、フレネルレンズの４つの要素から構成されます。本手法では、まずユーザーの視点位置をモーションキャプチャにより計測し、その頭部位置に対応した両眼視差映像を液晶ディスプレイに表示します。この映像がフレネルレンズの手前の空間中に実像として結像します。しかし、このままでは左目用の映像と右目用の映像が両方とも左右の眼に入ってしまうため、それを防ぐために透明液晶ディスプレイを液晶ディスプレイとフレネルレンズとの間に配置しています。透明液晶ディスプレイは、左右の眼それぞれに対応した映像がそれぞれの眼のみに入るように、光線の進行方向を決定するアクティブシャッターとして働きます。これにより、左目用の映像はユーザーの左目のみに、右目用の映像はユーザーの右目のみにと、空間中に結像した視差映像が正しく片方ずつ交互に入り、ユーザーは立体映像として認識することができます。視差映像とアクティブシャッターの位置は、ユーザーの頭部位置に応じて変化するため、広い範囲から３Ｄ映像の観察が可能となります。

＜今後の展開＞

今後は、本研究成果を、本研究プロジェクトで別途開発している触覚提示技術と統合し、３Ｄ映像に触った際のリアルな触感を提示することにより、より高い存在感を提供できるインタラクティブな情報環境を構築します。視覚・触覚・身体運動を融合した「さわれる情報環境」によって、情報コンテンツの「視聴」をユーザー自身の「体験」へと拡張し、デジタルサイネージ、博物館や科学館における展示、エンターテイメントなどの実際のフィールドにおいて、これまでの受身的な情報コンテンツとの関わり方を身体的な経験へと拡張する実例を展開していく予定です。