ＪＳＴ 課題解決型基礎研究の一環として、慶應義塾大学 大学院メディアデザイン研究科の舘(たち) 暲(すすむ) 教授らは、空中に浮かんだ立体映像に手で触ることのできる多視点裸眼立体ディスプレイ注１）「ＲｅＰｒｏ３Ｄ」を開発しました。ユーザーは特殊なメガネをかけることなく、目の前の空間に存在しているかのような自然な立体映像を観察できます。さらに、実際の物体に触っているのと同じ感覚で映像に触ることができます。
従来の立体ディスプレイでは、立体映像を見るために特殊なメガネが必要な方式が主流です。また、映像は画面の中にしか存在せず、触ることはできませんでした。
今回、本研究グループが考案した上下左右方向に４２視点の視差画像を空中に結像するディスプレイ方式に、本研究グループで開発してきた触覚インタフェース技術を統合することにより、実際に触れる立体映像を作りだすことに成功しました。
今後、博物館の展示やデジタルサイネージ注２）、アーケードゲームなど、さまざまな方面への応用が期待されます。
今回開発したＲｅＰｒｏ３Ｄは、２０１０年１０月１４日（日本時間）より日本科学未来館および東京国際交流館（ともに東京都江東区）で開催される「デジタルコンテンツ ＥＸＰＯ ２０１０」で展示されます。
本成果は、以下の事業・研究領域・研究課題によって得られました。
戦略的創造研究推進事業 チーム型研究（ＣＲＥＳＴ）
| 研究領域 |
： |
「共生社会に向けた人間調和型情報技術の構築」
（研究総括：東倉 洋一 国立情報学研究所 教授・副所長）
|
| 研究課題名 |
： |
「さわれる人間調和型情報環境の構築と活用」 |
| 研究代表者 |
： |
舘 暲（慶應義塾大学 大学院メディアデザイン研究科 教授） |
| 研究期間 |
： |
平成２１年１０月～平成２７年３月 |
ＪＳＴはこの領域で、実空間コミュニケーション、ヒューマンインターフェース、メディア処理などの要素技術を融合・統合し、「人間と情報環境の調和」を実現するための基盤技術の構築を目標としています。上記研究課題では、視覚や身体運動と統合された触覚情報提示の設計手法を確立し、実空間コミュニケーション、ヒューマンインターフェース、メディア処理が融合した、見て・触れる知的な情報環境の構築を目指します。
＜研究の背景と経緯＞
立体映像は、今や映画館やアミューズメントパークだけでなく一般家庭でも楽しめるほどになりました。しかし現在普及しつつある立体ディスプレイは、ほとんどが左右の目に視差映像を提示する二眼式です。二眼式では、観察者が頭を動かしたときの運動視差や、複数の観察者に対して複数の視点から見た立体像を正しく提示することができません。より自然な立体映像を複数人に提示するためには「裸眼で多視点に対応した立体ディスプレイ」が必要となります。裸眼で多視点に対応した立体ディスプレイとしては、インテグラルフォトグラフィ（ＩＰ）注３）方式と呼ばれる手法が提案されていますが、この方式では、映像の解像度がレンズの大きさで決まってしまうため、画像の高精細化が難しいという問題がありました。
また、情報を実空間に重畳して表示する拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する研究が近年盛んに行われています。従来のＡＲでは画面の中の実写映像にＣＧを重畳提示する方法が主流で、立体映像をディスプレイの中ではなく「実空間へ重畳して提示」することが求められています。
一方で、バーチャルな物体を触ったり操作したりといった、映像に対する触覚インタフェース注４）も盛んに研究されています。しかし、これまでの画面の中に立体映像を提示する方式では、立体映像と触った場所を完全に一致させることができませんでした。すなわち、「見た場所を見たままに触れる触覚提示」は実現されていませんでした。
＜研究の内容＞
本研究グループでは、触れる人間調和型情報環境の構築と活用を目指して、研究を進めています（図１）。ＲｅＰｒｏ３Ｄ（図２）は、従来の立体ディスプレイの課題であった「裸眼で多視点の立体映像」、「実空間に映像を重畳提示」、「見た場所を見たままに触れる触覚提示」の３つを同時に実現するインタラクティブな立体ディスプレイです。例えば、実物のおもちゃの家からＣＧキャラクターが登場したり、ユーザーが手を差し伸べて手元で物体を操作することが可能になります。
ＲｅＰｒｏ３Ｄで用いている立体映像提示手法は、拡張現実感のための映像を実物体に重畳提示する「再帰性投影技術」を応用したものです（図３）。上下左右にアレイ上に並べられたプロジェクターから照射された光線はハーフミラーを透過し、再帰性反射材のスクリーンに投影されます。スクリーン上では多数の画像が重なった多重像となりますが、各映像の光線は再帰性反射特性によって別々の入射方向に反射します。その後、光線はハーフミラーで反射されプロジェクターの投影レンズの共役点に集光します。各集光点からは空中に結像した別々の映像が観察されるため、上下左右に視差のある３次元映像を実空間に重畳させて提示することができます。
滑らかな運動視差を生じさせるためには、多数の小型プロジェクターを高密度に配置しなければならず、実装は困難とされていました。そこで本研究グループは、高輝度液晶パネル上に多数のレンズを配置することで、小さなプロジェクターを１５ｍｍ間隔で４２台並べた状態と等価な高密度プロジェクターアレイを構成する手法を考案しました。図４は高密度プロジェクターアレイの光学系を示したものです。高輝度液晶パネルに表示した４２視点分の映像を４２個の凸レンズと１個のフレネルレンズを用いて投影することで、上下左右の滑らかな運動視差を実現しています（図５）。
また、ＲｅＰｒｏ３Ｄは赤外カメラによってユーザーの手の動きを検知し、映像に反映させる入力インタフェースを備えています。さらにユーザーの指に本研究グループで開発した指先装着型触覚ディスプレイ（図６）を装着することで映像に直接触った触感をバーチャルに再現するシステムを構築しました（図７）。赤外カメラによってユーザーの指先と立体映像との接触状態を認識し、指先に装着したベルトを伸縮させる機構により物体に接触したときの皮膚変形を再現し、触感を表現します。この効果を実証するため、ＣＧのキャラクターに触ってインタラクションが可能なコンテンツを作成しました（図８）。空中に浮かび上がった妖精に手をかざすと、ユーザーの手の動きに従って妖精が移動したり、表情や仕草が変化したりといったインタラクションが楽しめます。さらに、触覚提示デバイスによって触った時の触感も感じることができます。
＜今後の展開＞
今後は、観察可能な映像の範囲を拡大し、複数人で同じ空間、同じ映像を共有可能な触れる立体ディスプレイシステムを構築する予定です。触覚・視覚・運動を融合した情報環境システムを発展させることで、情報コンテンツの「体験」を可能とする新しいマルチモーダルメディアが実現し、博物館の展示やデジタルサイネージ、アーケードゲームなど、さまざまな方面への応用が期待されます。
＜参考図＞
図１ 本研究グループが目指す、触れる情報環境の概念図
図２ ＲｅＰｒｏ３Ｄの概念図
指先に装着した触覚提示デバイスにより、空中に浮かんだ立体映像に触った触感を感じることができる。
図３ 再帰性投影技術と、これを応用した立体映像提示手法の基本原理
再帰性投影技術は、拡張現実感のための、映像を実物体に重畳提示する技術。光を入射方向に強く反射する特性を持つ再帰性反射材をスクリーンとして、プロジェクターから映像を投影することによって、複雑な形状の実物体に歪みなく映像を提示することができる。再帰性投影技術は、光学迷彩（上図）などに応用されている。
ＲｅＰｒｏ３Ｄでは、再帰性投影技術を応用し、多数のプロジェクターから再帰性反射材のスクリーンに視差画像を投影することで、上下左右の運動視差を伴った立体映像を提示している（下図）。
図４ 高密度プロジェクターアレイの光学系の構成
図５ 複数の視点から見た提示画像
観察者の視点の位置によって物体の見え方が変わることで、奥行きや位置関係を立体的に認識できる。
図６ 指先装着型触覚ディスプレイ
２本のモーターとベルトの駆動により、対象物の存在感や重量感を提示することができる。
図７ ＲｅＰｒｏ３Ｄのシステム構成図
図８ ＲｅＰｒｏ３Ｄの表示例
空中に浮かび上がったキャラクタ（妖精）に触れると、手の動きに応じて移動したり、リアクションを返すといったインタラクションが楽しめる。
＜用語解説＞
- 注１） 多視点立体ディスプレイ
- 現在普及している二眼式と異なり、異なる視点から見た時に物体の見え方が変化する「運動視差」を再現する立体映像提示方式。
- 注２） デジタルサイネージ
- 公共施設や店舗などに設置されたディスプレイに映像や情報を表示する広告媒体。
- 注３） インテグラルフォトグラフィ（ＩＰ）
- レンズアレイを用いて物体から放たれる光線群を再現し、見る角度によって別々の視差画像を提示することで立体像をディスプレイ上に表示する手法。
- 注４） 触覚インタフェース
- ＣＧなどコンピュータ上のバーチャルな物体に触った時の触感を、ユーザーに提示する装置。
＜お問い合わせ先＞
＜研究に関すること＞
舘 暲（タチ ススム）
慶應義塾大学 大学院メディアデザイン研究科 教授
〒223-8526 神奈川県横浜市港北区日吉４－１－１ 慶應義塾 協生館
Tel：045-564-2499
E-mail：
＜ＪＳＴの事業に関すること＞
河村 昌哉（カワムラ マサヤ）
科学技術振興機構 イノベーション推進本部 研究領域総合運営部
〒102-0075 東京都千代田区三番町５番地 三番町ビル
Tel：03-3512-3531 Fax：03-3222-2066
E-mail：
