共同発表：「動く手のひらや物体に映像と触覚刺激を提示できるシステム」の開発～身のまわりのものがコンピュータに変身＝高速で無拘束な未来型情報環境の実現～

東京大学大学院情報理工学系研究科　石川奥研究室は、同大学大学院新領域創成科学研究科　篠田研究室と共同で、動く手のひらや紙などの動物体を高速ビジョンでトラッキングし、その対象に対して遅延なく映像や触覚刺激を無拘束で投影するシステム＝高速で無拘束な未来型情報環境を実現しました。

このシステムは、石川奥研究室で開発された３次元空間内の対象を高速ビジョンと２枚のミラーによって遅延なくトラッキングする２台の「１ｍｓ　Ａｕｔｏ　Ｐａｎ／Ｔｉｌｔシステム」を用いて、動く対象に映像（ゲームやコンピュータの画面、動画等）をプロジェクションすると同時に、対象の３次元位置を２ｍｓ（ミリ秒）ごとに抽出することが可能なシステムと、篠田研究室で開発された超音波発振機アレイを用いた「非接触触覚ディスプレイ」により、対象の３次元位置に合わせて、特に手のひらの特定の位置に触覚刺激を呈示するシステムの２つを統合した新しいシステムです。今回、身のまわりにある紙や手のひらがコンピュータやスマホのディスプレイに変身し、しかも触覚刺激まで感じられるものを実現しました。いわばプロジェクションマッピング技術の動物体版かつ触覚提示版とみなすことができるものです。

開発したシステムは、高速画像処理の技術を用いることで、人間の認識能力をはるかに超えるスピードで環境に存在する手や対象物を認識し、遅延等の違和感なく情報の表示と入力に利用することを可能にするもので、たとえ動く物体であってもその物体をヒューマンインターフェイスの道具に用いることができることを示したものです。従来のコンピュータやスマホがものの中に知的機能を埋め込もうとしていたのに対して、既存の環境や物体そのものに情報を埋め込むものであり、今後の我々の情報環境を劇的に変える可能性を示唆するものと考えています。

なお、本研究は、ＪＳＴ戦略的創造研究推進事業ＣＲＥＳＴの研究領域「共生社会に向けた人間調和型情報技術の構築」（総括　東倉洋一　国立情報学研究所　名誉教授）の中の研究課題「高速センサー技術に基づく調和型ダイナミック情報環境の構築」（研究代表者　石川正俊）の一環として行われたものです。

研究の狙い：高速で無拘束な情報環境によって、違和感のないインターフェイスを実現する。

従来のコンピュータやスマホは、タブレット等の中に知的機能が埋め込まれ、重いものであり、ディスプレイや入力の自由度もあまりありませんでした。それに対して、今回のシステムは、身のまわりにある動く手のひらや紙等の対象物体をコンピュータ、ゲーム、スマホ等の高速で無拘束のディスプレイとして利用し、しかも触覚刺激も同時に呈示することができるシステムです。

一方、従来のヒューマンインターフェイスの多くが、表示の遅延やそれに伴う位置ずれが顕著であったのに対して、今回のシステムは、石川奥研究室が開発した高速画像処理技術を用いて、遅延のないインターフェイスを実現することにより、実世界とのずれや違和感のないインターフェイスを実現しています。つまり、人間の認識能力を超えた認識制御系を実現することにより、実世界を完全に認識制御し、人間には遅延や位置ずれを感じさせないシステムが実現できることを示しています。

この技術により、身のまわりのものや環境が、人間の視覚、触覚、聴覚に対して、遅延のない豊かな情報表現のツールとなり、情報世界と実世界が時空間で一体となった情報環境を生み出すことが可能となると考えています。今回、このような情報環境の実現を目指し、その第一歩として、動く手のひらや紙を視触覚の情報表現のツールとして活用可能なシステムを開発し、いくつかの動作を実現しました。

１ｍｓ　Ａｕｔｏ　Ｐａｎ／Ｔｉｌｔシステム（ステレオ）

このシステムは、ちょうどオートフォーカスが自動的にフォーカスをあわせるのと同様に、画面の中心に対象がくるように自動的にパン・チルト方向を制御する技術です。手のひらや卓球の球のように高速に運動する対象でも、石川奥研究室で開発した５００ｆｐｓ（ｆｌａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）の高速画像処理技術と２枚の小型ミラーを用いた高速視線制御ユニットとによって、安定したトラッキングが実現でき、あたかも画面中央に対象物が止まっているかのように制御することが可能です。

この光学系に同軸でプロジェクタを接続することにより、高速に運動する対象物に映像をプロジェクションすることが可能となりました。今回、コンピュータの画面やスマホの画面、動画等はこのプロジェクタを通して投影されています。性能としては、パン・チルト共に最大６０度のレンジを有し、４０度の視線方向の変更を３．５ｍｓで行うことが可能です。

非接触触覚ディスプレイ

何も装着していない手に触感を提示するため、アレイ上に配置された超音波振動子から放射される空中超音波を収束させ、放射圧によって触感を生成するシステムで、篠田研究室で開発されたものです。

現状のシステムでは４ｇｆまでの力を１ｃｍ径程度のスポットに集中して提示できます。力の大きさや振動パターンを１ｍｓ単位で変化させたり、スポットの位置を皮膚上で高速に移動させることが可能です。

１ｍｓ　Ａｕｔｏ　Ｐａｎ／Ｔｉｌｔシステム（ステレオ）と非接触触覚ディスプレイの協調動作

これら２つのシステムを統合し、２台の１ｍｓ　Ａｕｔｏ　Ｐａｎ／Ｔｉｌｔシステム（ステレオ）で、対象の３次元トラッキングとトラッキング対象への映像の投影を行うとともに、対象物の３次元位置情報を用いて触覚刺激を既定の位置に実現することに成功しました。具体的には、コンピュータ画面、動画、スマホの画面等は、手のひらや紙等に触覚情報とともに投影可能となり、手や対象物を動かしても位置づれを起こさずに安定した呈示が可能なシステムとなっています。

現状の画像処理やヒューマンインターフェイス研究の多くが「人間と同じ動作の実現」を目指しているのに対して、本研究は人間をはるかに超えた視触覚の時間限界に挑む研究であり、違和感のないインターフェイスを追求したものです。この研究成果は、従来の静止物体を通したインターフェイスから脱して、新しい動的なインターフェイスの世界を示しており、静的な対象から動的な対象へと情報環境技術の可能性を広げるものです。

今後の予定

今回のシステム実験上の簡便性からコンパクトに作成しましたが、本来は装置を天井や壁に設置することを目指しており、そのための小型化を目指しています。

また、石川奥研究室の技術的な蓄積から、将来の３次元で変形する形状への投射を予定しています（そのため現在のシステムでは、２次元で、しかも投影画像の大きさと回転へは対応する予定はありません）。また、現在のシステムでは、ディスプレイが遅いため像の安定性が完全ではないので、ＣＲＥＳＴの研究グループのメンバー（徳島大学　山本裕紹　講師）では、高速のディスプレイしかも３次元のディスプレイを開発していますので、この技術のシステムへの導入を予定しています。さらに、ＣＲＥＳＴの研究グループのメンバー（電気通信大学　下条誠　教授）により、対象物や環境側に設置する高速の非接触面状分布センサが開発されており、これもこのシステムに導入することが計画されています。

これらはすべて、人間の認識能力よりもはるかに高速の性能が実現されていますので、環境や物体が人間にとって全く違和感なく情報環境として受け入れられるシステムの構築を目指しています。