省電力と無線化で、カメラの活躍の場はもっと広がる

「空港や駅、店舗、学校、住宅街など街の至る所で監視カメラを見るようになりました。こうしたカメラがインターネットでつながり、集めた動画をいつでもどこでも確認できる『高分散型監視システム』が稼働するのももう間もなくでしょう。安心安全への備えは向上しますが、問題となるのが膨大なデータと消費電力です」と話す周さん。その時のために、監視カメラのデータの圧縮とそれによる省電力化に取り組んでいる。

監視カメラのおもな機能は、画像の「センシング」、「圧縮」、「転送」の3つである。これらのうち、センシングと圧縮でカメラシステム全体の消費電力の約95%を占めるため、現在行われている省電力化研究は、このどちらかに焦点を当てたものがほとんどだ。しかし、近年、各技術の性能の向上が限界を迎えつつあり、新しい突破口が求められている。

そのような状況の中、周さんはある技術に出会った。「2013年に、ソニーとスタンフォード大学が共同で出した論文が目に止まりました。画像のセンシングと圧縮を同時に行う『圧縮センシング』というアイデアがあったのです。しかし、圧縮率をあまり上げられないようでした」。

普通、画像の圧縮では、イメージセンサで取り込んだアナログデータをデジタルデータに変換してから圧縮するが、圧縮センシングでは、アナログデータを取り込む際に圧縮も同時に行う。そのためデジタルデータに変換すべきアナログデータの量が減り、この部分の消費電力を削減できる。しかし、圧縮率が良くないために、転送に電力がかかってしまうという問題が残っていた。

圧縮率を上げるため、周さんは画像を2回圧縮しようと考えた。しかし、すでに圧縮したデータをもう一度圧縮するのは難しい。そこで、ピクセルの性質を利用することにした。「画像はピクセルで構成されており、隣り合うピクセル同士は似た情報を持っていると推定できます。この関連性をデータの圧縮に利用できるのではと考えました」。

具体的には、圧縮センシングする際にピクセル情報を圧縮された「観測データ」に埋め込む。その後、ピクセルの情報を使って観測データを予測し、その予測値と1回目に圧縮した観測データとの差分信号（違い）を量子化とエントロピー符号化によって圧縮する。

こうして2回圧縮したことで、圧縮率は従来法と同程度になった。重要なことは、周さんの手法では同程度の圧縮率を得るための計算量が従来法より少なく、センシングと圧縮にかかる消費電力量を80％も削減できたことだ。さきがけ研究終了後も周さんはさらに改良を続け、今では削減率は90％を超える。一方で転送にかかる電力は変わらず、かつ従来法と同程度の圧縮率を実現したため、システム全体の消費電力は大きく削減された。

「圧縮がうまくいったので、次に圧縮した画像の再構成に取り組みました。これまでの再構成の手法は非常に複雑な上に、あまり画質が良くならないという問題がありました。そこでAIのディープラーニングを使いました」。周さんは画像の再構成に、前のフレームの情報を利用したほか、画質や視認性を向上させる「画像強調技術」や、オリジナルより画素数を増やす「超解像技術」を用いた。こうして、ほかの研究成果に比べて高画質の画像をリアルタイムで再構成するのに成功した。

今後、省電力化はどこまで可能なのだろうか。「今回の成果はいずれも、システム間の性能比較のために用意された標準のテストセットの画像を用いてシミュレーションした結果です。実際の監視カメラは、普通のビデオカメラとは違って、撮影する場所がいつも同じですから、動いていない部分は背景として据え置きにできます。動いている部分だけを取り込んで圧縮すればいいので、データ量をその時々の状況に応じて減らせます」と周さんは説明する。カメラの使い道と状況によって、省電力化の最適化を図ることが可能なのだ。

さらに監視カメラの性能を上げるために、周さんはAIを使った画像解析技術の開発も進めている。この技術が完成すれば、画像を圧縮センシングするのと同時に解析できるようになる。画像の意味が判断できるようになれば、例えば、商品を手に取った目的が買い物なのか、万引きなのかを識別でき、店舗の省人化などに貢献するだろう。

また、大幅な省電力化が実現してバッテリーレス・ワイヤレスでの作動が可能になれば、監視カメラの使い道はさらに大きく開かれる。「小さな風力発電や太陽光発電で監視カメラが動かせるようになれば、今以上にいろいろな場所に設置できます。もし振動で起こる微弱な電力で作動できたら、電力を心配することなく自転車やドローンに搭載できますし、野生動物に装着してその生態の観察にも使えます」。

カメラの可能性を信じ、ここまで成果を上げてきた周さん。いよいよ実用化に向けて動き出す段階となり、「アナログ回路やイメージセンサ回路の試作や検証をする段階に入ったので、ぜひメーカーの方たちとカメラをつくりたいと思っています。また、よりいいものにするために、イメージセンサを開発している方たちに私たちの技術を見ていただきたいのです」と意欲を見せている。