JSTトッププレス一覧 > 共同発表

平成25年5月15日

東京大学 大学院情報理工学系研究科
Tel:03-5841-8602(石川教授室)

科学技術振興機構(JST)
Tel:03-5214-8404(総務部 広報課)

「動く手のひらや物体に映像と触覚刺激を提示できるシステム」の開発
〜身のまわりのものがコンピュータに変身=高速で無拘束な未来型情報環境の実現〜

東京大学 大学院情報理工学系研究科 石川奥研究室は、同大学 大学院新領域創成科学研究科 篠田研究室と共同で、動く手のひらや紙などの動物体を高速ビジョンでトラッキングし、その対象に対して遅延なく映像や触覚刺激を無拘束で投影するシステム=高速で無拘束な未来型情報環境を実現しました。

このシステムは、石川奥研究室で開発された3次元空間内の対象を高速ビジョンと2枚のミラーによって遅延なくトラッキングする2台の「1ms Auto Pan/Tiltシステム」を用いて、動く対象に映像(ゲームやコンピュータの画面、動画等)をプロジェクションすると同時に、対象の3次元位置を2ms(ミリ秒)ごとに抽出することが可能なシステムと、篠田研究室で開発された超音波発振機アレイを用いた「非接触触覚ディスプレイ」により、対象の3次元位置に合わせて、特に手のひらの特定の位置に触覚刺激を呈示するシステムの2つを統合した新しいシステムです。今回、身のまわりにある紙や手のひらがコンピュータやスマホのディスプレイに変身し、しかも触覚刺激まで感じられるものを実現しました。いわばプロジェクションマッピング技術の動物体版かつ触覚提示版とみなすことができるものです。

開発したシステムは、高速画像処理の技術を用いることで、人間の認識能力をはるかに超えるスピードで環境に存在する手や対象物を認識し、遅延等の違和感なく情報の表示と入力に利用することを可能にするもので、たとえ動く物体であってもその物体をヒューマンインターフェイスの道具に用いることができることを示したものです。従来のコンピュータやスマホがものの中に知的機能を埋め込もうとしていたのに対して、既存の環境や物体そのものに情報を埋め込むものであり、今後の我々の情報環境を劇的に変える可能性を示唆するものと考えています。

なお、本研究は、JST 戦略的創造研究推進事業 CRESTの研究領域「共生社会に向けた人間調和型情報技術の構築」(総括 東倉 洋一 国立情報学研究所 名誉教授)の中の研究課題「高速センサー技術に基づく調和型ダイナミック情報環境の構築」(研究代表者 石川 正俊)の一環として行われたものです。

研究の狙い:高速で無拘束な情報環境によって、違和感のないインターフェイスを実現する。

従来のコンピュータやスマホは、タブレット等の中に知的機能が埋め込まれ、重いものであり、ディスプレイや入力の自由度もあまりありませんでした。それに対して、今回のシステムは、身のまわりにある動く手のひらや紙等の対象物体をコンピュータ、ゲーム、スマホ等の高速で無拘束のディスプレイとして利用し、しかも触覚刺激も同時に呈示することができるシステムです。

一方、従来のヒューマンインターフェイスの多くが、表示の遅延やそれに伴う位置ずれが顕著であったのに対して、今回のシステムは、石川奥研究室が開発した高速画像処理技術を用いて、遅延のないインターフェイスを実現することにより、実世界とのずれや違和感のないインターフェイスを実現しています。つまり、人間の認識能力を超えた認識制御系を実現することにより、実世界を完全に認識制御し、人間には遅延や位置ずれを感じさせないシステムが実現できることを示しています。

この技術により、身のまわりのものや環境が、人間の視覚、触覚、聴覚に対して、遅延のない豊かな情報表現のツールとなり、情報世界と実世界が時空間で一体となった情報環境を生み出すことが可能となると考えています。今回、このような情報環境の実現を目指し、その第一歩として、動く手のひらや紙を視触覚の情報表現のツールとして活用可能なシステムを開発し、いくつかの動作を実現しました。

1ms Auto Pan/Tiltシステム(ステレオ)

このシステムは、ちょうどオートフォーカスが自動的にフォーカスをあわせるのと同様に、画面の中心に対象がくるように自動的にパン・チルト方向を制御する技術です。手のひらや卓球の球のように高速に運動する対象でも、石川奥研究室で開発した500fps(flame per second)の高速画像処理技術と2枚の小型ミラーを用いた高速視線制御ユニットとによって、安定したトラッキングが実現でき、あたかも画面中央に対象物が止まっているかのように制御することが可能です。

この光学系に同軸でプロジェクタを接続することにより、高速に運動する対象物に映像をプロジェクションすることが可能となりました。今回、コンピュータの画面やスマホの画面、動画等はこのプロジェクタを通して投影されています。性能としては、パン・チルト共に最大60度のレンジを有し、40度の視線方向の変更を3.5msで行うことが可能です。

非接触触覚ディスプレイ

何も装着していない手に触感を提示するため、アレイ上に配置された超音波振動子から放射される空中超音波を収束させ、放射圧によって触感を生成するシステムで、篠田研究室で開発されたものです。

現状のシステムでは4gfまでの力を1cm径程度のスポットに集中して提示できます。力の大きさや振動パターンを1ms単位で変化させたり、スポットの位置を皮膚上で高速に移動させることが可能です。

1ms Auto Pan/Tiltシステム(ステレオ)と非接触触覚ディスプレイの協調動作

これら2つのシステムを統合し、2台の1ms Auto Pan/Tiltシステム(ステレオ)で、対象の3次元トラッキングとトラッキング対象への映像の投影を行うとともに、対象物の3次元位置情報を用いて触覚刺激を既定の位置に実現することに成功しました。具体的には、コンピュータ画面、動画、スマホの画面等は、手のひらや紙等に触覚情報とともに投影可能となり、手や対象物を動かしても位置づれを起こさずに安定した呈示が可能なシステムとなっています。

現状の画像処理やヒューマンインターフェイス研究の多くが「人間と同じ動作の実現」を目指しているのに対して、本研究は人間をはるかに超えた視触覚の時間限界に挑む研究であり、違和感のないインターフェイスを追求したものです。この研究成果は、従来の静止物体を通したインターフェイスから脱して、新しい動的なインターフェイスの世界を示しており、静的な対象から動的な対象へと情報環境技術の可能性を広げるものです。

今後の予定

今回のシステム実験上の簡便性からコンパクトに作成しましたが、本来は装置を天井や壁に設置することを目指しており、そのための小型化を目指しています。

また、石川奥研究室の技術的な蓄積から、将来の3次元で変形する形状への投射を予定しています(そのため現在のシステムでは、2次元で、しかも投影画像の大きさと回転へは対応する予定はありません)。また、現在のシステムでは、ディスプレイが遅いため像の安定性が完全ではないので、CRESTの研究グループのメンバー(徳島大学 山本 裕紹 講師)では、高速のディスプレイしかも3次元のディスプレイを開発していますので、この技術のシステムへの導入を予定しています。さらに、CRESTの研究グループのメンバー(電気通信大学 下条 誠 教授)により、対象物や環境側に設置する高速の非接触面状分布センサが開発されており、これもこのシステムに導入することが計画されています。

これらはすべて、人間の認識能力よりもはるかに高速の性能が実現されていますので、環境や物体が人間にとって全く違和感なく情報環境として受け入れられるシステムの構築を目指しています。

<参考図>

図1

図1 実験システム概要

<参考写真>

写真1

写真1 システムの全体像

写真2

写真2 1ms Pan/Tiltシステム及び触覚ディスプレイ発振機アレイ

写真3

写真3 操作の様子

写真4

写真4 動く紙に表示される映像

写真5

写真5 動く手のひらへのプロジェクション

写真6

写真6 動く手に表示される映像(触覚刺激も表示されている)

<お問い合わせ先>

<研究に関すること>

全体システム及び高速画像処理・トラッキングに関すること
石川 正俊(イシカワ マサトシ)
東京大学 大学院情報理工学系研究科 創造情報学専攻/システム情報学専攻 教授
Tel:03-5841-8602 Fax:03-5841-8604
E-mail:

<触覚ディスプレイに関すること>

篠田 裕之(シノダ ヒロユキ)
東京大学 大学院新領域創成科学研究科 複雑理工学専攻/情報理工学系研究科 システム情報学専攻 教授
Tel:03-5841-6926/04-7136-3900 Fax:03-5841-6926
E-mail:

<JSTの事業に関すること>

木村 文治(キムラ フミハル)
科学技術振興機構 戦略研究推進部 ICTグループ
〒102-0076 東京都千代田区五番町7 K’s五番町ビル
Tel:03-3512-3526 Fax:03-3222-2064
E-mail: