事業成果

身のまわりのものをコンピューターに!

未来型情報環境の実現2017年度更新

画像
石川 正俊(東京大学 大学院情報理工学系研究科 教授)
CREST
共生社会に向けた人間調和型情報技術の構築
「高速センサー技術に基づく調和型ダイナミック情報環境の構築」研究代表者(2009-2015)
ACCEL
「高速画像処理を用いた知能システムの応用展開」研究代表者(2016-2021)

「手のひら」視触覚ディスプレイ

インターネットやスマートフォンなどの情報通信技術の社会浸透により、世界はいま急速に高度情報化社会に移行しつつある。しかし、これだけ普及したコンピューターやスマートフォンにも注文がないわけではない。例えば、小さな電子機器の中に必要な機能をたくさん埋め込むあまり重くなること、ディスプレイや入力の自由度がそれほどないことなどである。

そこで、従来のコンピューターやスマートフォンから大きく発想を転換したシステムが、CREST研究代表者の石川正俊教授らの研究グループによって開発された。空間内を動いている対象(人の手のひらや紙・ボールなどの物体)を、動きを拘束することなく素早く追跡し、そこに遅延なく映像を投影したり触覚刺激を生じさせたりするシステムである。このシステムを使えば、身のまわりのあらゆるものがコンピューターに変身する可能性がある。

画像:動く紙に表示される画像(右)と、動く手のひらに表示される画像(触覚刺激も表示されている)

動く紙に表示される画像(右)と、動く手のひらに表示される画像(触覚刺激も表示されている)

対象を素早く追跡し、触覚刺激を提示

これは、2つのシステムを統合した新しいシステムである。

まず、動いている対象を素早く正確にトラッキング(追跡)するのが、「1ms Auto Pan/Tiltシステム」。研究グループが開発した高速画像処理で対象の位置を2ミリ秒(0.002秒)ごとに抽出することが可能な「高速ビジョン」と、2枚の小型ミラーを用いた「高速視線制御ユニット」とによって、ちょうどオートフォーカスが自動的にフォーカスを合わせるのと同じように、画面の中心に対象がくるようミラーの上下・左右(パン・チルト)方向を制御する技術である。

この光学系に同じ向き・角度でプロジェクターを接続することにより、高速で運動する対象に映像を投影することが可能となった。性能としてはパン・チルトともに最大60度のレンジを有し、40度の視線方向の変更を3.5ミリ秒(0.0035秒)で行うことができる。

一方、同じく研究グループの開発した超音波振動子アレイを用いた「非接触触覚ディスプレイ」は、収束させた空中超音波の放射圧によって「手のひら」などの対象に触感を生じさせるシステムである。現在のシステムでは、7.4 グラム重(500円玉を持ったときに感じる重さとほぼ同じ大きさ)までの力を1cm径程度のスポットに集中して提示できる。また、力の大きさや振動パターンを1ミリ秒単位で変化させたり、スポットの位置を皮膚上で高速に移動させることも可能だ。

以上の「1ms Auto Pan/Tiltシステム」と「非接触触覚ディスプレイ」を統合することで、従来は画面に表示していた情報を、触覚刺激とともに、動く対象に位置ずれなく投影するシステムを構築した。その意味で、近年注目されているプロジェクションマッピング技術の動物体版・触覚提示版ということもできる。

画像:「1ms Pan/Tiltシステム」と「触覚ディスプレ発振機アレイ」

「1ms Pan/Tiltシステム」と「触覚ディスプレー発振機アレイ」

実験システム概要

図:実験システム概要

「次世代3Dディスプレイ」で空中映像を直接手で操作

さらに研究グループでは、広い範囲から観察可能な空中映像を形成し、直接手で操作できる次世代の3Dディスプレイ「AIRR (Aerial Imaging by Retro-Reflection) Tablet」を開発した。これは、入射した方向に光を反射する性質を持つ再帰反射シートを用いて大画面の空中映像を広い視野に提示する「AIRR表示技術」と、「1ms Auto Pan/Tiltシステム」を用いて指先など空間内の対象の位置と動きを2ミリ秒ごとに認識し、空中映像の操作を可能にする「高速3Dジェスチャー認識」を統合したものである。両手で空中映像の拡大や回転が行えるだけでなく、パンチのような素早い動きにも対応可能で、空中映像をジェスチャーで操作できる未来型情報環境であると言える。

「次世代3Dディスプレイ」で空中映像を直接手で操作

既存の環境や物体に情報を埋め込む

現状の画像処理やヒューマンインターフェイス研究の多くは「人間と同じ動作の実現」を目指したものであるのに対して、石川教授らの研究グループが目指したのは、「人間の能力をはるかに超えた視触覚」である。人間が何かを見てから判断し動作をするまでには目→脳→体の情報伝達で60ミリ秒程度の時間が必要となる。石川教授らのシステムでは、高速ビジョンセンサー→コンピューターによる情報処理→高速サーボモーターによって圧倒的な高速処理を達成し、人間の認識能力の時間の限界を突破したのだ。

従来の情報機器がタブレットなどのモノの中に知的機能を埋め込もうとしたのに対して、これらのシステムでは、手のひらや紙などの動く物体や何もない空間といった、既存の環境や物体そのものに情報を埋め込み、直感的な操作を可能にするまったく新しいパラダイムである。今後、情報の世界と実世界は一体となり、私たちをとりまく情報環境は劇的に変わる可能性がある。