JSTトッププレス一覧 > 共同発表

平成29年12月7日

東京工業大学
熊本大学
早稲田大学
国際レスキューシステム研究機構
科学技術振興機構(JST)
内閣府政策統括官(科学技術・イノベーション担当)

ドローンが耳を澄まして要救助者の位置を検出

~災害発生時の迅速な救助につながる技術を開発~

ポイント

内閣府 総合科学技術・イノベーション会議が主導する革新的研究開発推進プログラム(ImPACT)タフ・ロボティクス・チャレンジ(プログラム・マネージャー:田所 諭)の一環として、東京工業大学の中臺(なかだい) 一博 特任教授、熊本大学の公文 誠 准教授、早稲田大学の奥乃 博 教授、鈴木 太郎 助教らの研究グループは、ドローン自体の騒音や風などの雑音を抑え、要救助者の声などを検出して、迅速な人命救助を支援できるシステムを世界で初めて開発した。

このシステムは、3つの技術要素(HARK注1)を応用したマイクロホンアレイ技術注2)によるドローンや風の騒音下での音源検出の実現、音源の三次元位置推定・地図表示技術開発によるわかりやすいユーザインタフェースの構築、ケーブル1本で接続可能な全天候型マイクロホンアレイの開発)が組み合わさることで構築されている。これまで災害現場では静かに聞き耳を立て要救助者の居場所を探り当てていた。このシステムにより、人が瓦礫の中にいて見つけにくい場合や、夜間、暗所などカメラが使えない場所でも、要救助者を発見できることが期待される。

本成果は、以下の事業・研究プロジェクトによって得られました。

内閣府 革新的研究開発推進プログラム(ImPACT)
URL:https://www.jst.go.jp/impact/

プログラム・マネージャー 田所 諭
研究開発プログラム タフ・ロボティクス・チャレンジ
研究開発課題 UAV搭載マイクロホンアレイを用いた音源探索・同定
研究開発責任者 中臺 一博
研究期間 平成26年度〜平成30年度

この研究開発課題では、ドローン等に搭載したマイクロホンアレイを用いた音源探索技術、音源同定技術の開発に取り組んでいます。

田所 諭 ImPACTプログラム・マネージャーのコメント>

PM

ImPACTタフ・ロボティクス・チャレンジは、災害の予防・緊急対応・復旧、人命救助、人道貢献のためのロボットに必要不可欠な、「タフで、へこたれない」さまざまな技術を創り出し、防災における社会的イノベーションとともに、新事業創出による産業的イノベーションを興すことを目的とし、プロジェクト研究開発を推進しています。

災害現場での要救助者発見には音声情報が重要な役割を果たしますが、実際には周囲の騒音や機材の音によって、助けを求める声を聞くことは大変困難です。倒壊家屋の人命捜索においては、全ての発生音を停止させ、静かにして声を聞き取る「サイレントタイム」が実施されています。特に有人ヘリやドローンでは、プロペラや風による騒音が大きく、地上から呼ぶ人の声を聞くことは、これまでは非常に困難でした。

本研究は、全天候型マイクロホンアレイと、ロバスト音声信号処理技術により、音源の三次元位置推定、地図表示を合わせた、大きな非連続イノベーションです。本技術をドローンに搭載すれば、地上から呼ぶ人の声や、条件が良ければ瓦礫内や屋内からの声をも聞き取り、声を発する人の場所を三次元的に特定することが可能です。今後、ドローンはもとよりさまざまな救助資機材にこの技術が搭載されることにより、要救助者発見につながる音声情報の収集が可能になり、大規模地震災害や水害などでの人命救助実績につながると期待されます。

<研究成果>

研究グループは、ドローンの騒音下でも、要救助者の音声等を検出して、迅速な人命発見につなげることができるシステムを世界で初めて開発した(図1図2)。

このシステムは、大きく3点の技術要素からなる。一点目は、“ロボットの耳”を作ることを目指した「ロボット聴覚注3)研究の成果としてオープンソース化されているソフトウェアHARK(HRI-JP Audition for Robots with Kyoto University)(図3)を応用したマイクロホンアレイ技術である。これにより、ドローンの騒音下でも音源の検出が可能になった。二点目は、三次元音源位置推定、および地図表示技術の開発で、これにより目に見えない音源を操作者にもわかりやすく可視化できるインタフェースを構築できるようになった。三点目は、ドローンへの設置を容易にするために、ケーブル1本でまとめて接続できる16個のマイクロホンからなる全天候型マイクロホンアレイを開発。これにより雨天の要救助者捜索が可能になる。

災害が起きた場合、一般的には3日(72時間)以内に救助しなければ生存確率が大きく下がってしまうと言われており、迅速な要救助者捜索技術の確立が喫緊の問題である。

これまでドローンを使った要救助者捜索技術は、そのほとんどがカメラやそれに似たデバイスを用いたもので、人が瓦礫の中にいて見つけにくい場合や、夜間や暗所などカメラが使えない状況では利用できず、捜索の大きな壁になっていた。本技術は“要救助者が発する音”を検出することから、このような問題を緩和できる可能性がある。近い将来、災害地での要救助者発見にドローンが利用できるようになり、レスキュータスクの有望なツールとなることが期待できる。(図4

<背景>

ロボット聴覚は、2000年に奥乃 教授、中臺 特任教授が中心となって提唱し、世界に向けて発信した日本発の研究領域である。それまでのロボットは、人が口元にマイクを装着しないと人の音声を検出、認識することはできなかった。こうした状況に対して、ロボットは人間と同様、自分自身の耳で離れた音源の音を聞き取るべきだという考えの下、“ロボットの耳”を構築するための研究が進められている。この研究領域は、信号処理、ロボティクス、人工知能と多分野にまたがる学際的研究のため参入障壁が高く、世界的にも認知が遅れていた。

提唱後、奥乃 教授と中臺 特任教授らが中心となり、積極的に国内外の学会を中心にセッションを開催。オープンソースソフトウェアを公開して、講習会やハッカソンなどのイベントを行うなど啓発活動を続けた。その結果、2014年には、ロボットに関する最大の研究コミュニティであるIEEE Robotics and Automation Society(RAS)が「ロボット聴覚」を研究分野として正式にキーワード登録した。

本研究は、人と同様に、音がどこから到来するのかを推定する音源定位技術、到来方向の音を抽出する音源分離技術、分離した音を認識する雑音にロバスト(頑健)な音声認識技術の3つが柱であり、これらを実環境・実時間で動作できる技術を追究してきた。研究グループはこれまでに、聖徳太子のように複数の人が同時に話をしてもそれを聞き分ける技術(同時発話認識技術)を開発し、11人の話者による同時発話料理注文デモに成功。また、複数の回答者が同時に回答しても対応可能なクイズ番組の司会者ロボットなどを作製してきた。

<研究の経緯>

従来のロボット聴覚研究では、屋内環境で人と会話するロボットを対象にして、“ロボットの耳”を構築する研究がなされてきた。今回の研究では、屋内に留まらず屋外環境での利用を想定し、より実用的な技術につなげることを目指した。

本技術は、内閣府が主導するImPACT タフ・ロボティクス・チャレンジ(TRC)注4)(田所 諭 PM)の研究課題として推進している極限音響研究の成果である。用いているマイクロホンアレイ技術は、(株)ホンダ・リサーチ・インスティチュート・ジャパンが研究開発を行い、オープンソース化されているロボット聴覚ソフトウェア HARKをベースにしている。

ImPACT TRCプログラムでは、研究課題として早稲田大学の鈴木 太郎 助教らが高性能GPS研究を推進しており、その成果である高精度ポイントクラウド(点群)を地図データとして提供。これを用い、極限音響研究を推進している東京工業大学の中臺 一博 特任教授、熊本大学の公文 誠 准教授、早稲田大学の奥乃 博 教授らの研究グループが中心となってロボット聴覚の開発を行っている。

<今後の展開>

研究グループは今後、実環境に近いレベルで実証実験を続けることにより、より使いやすく頑健なシステムの構築を目指す。そのために、インテリジェントセンサとしてパッケージ化し、さまざまなドローンに接続できるシステムを検討していく。また、音源の検出だけではなく音源の種類の聞き分けを行うことにより要救助者に関係のある音源だけを識別する機能も追加したい。 このように、災害地での捜索活動に使用できるレベルへと技術を深化させることによって、「ドローン聴覚」技術を確立していく。

<参考図>

図1 構築したマイクロホンアレイ

図1 構築したマイクロホンアレイ

マイクを16個搭載、ケーブル1本で接続可能

図2 マイクロホンアレイを搭載したドローン

図2 マイクロホンアレイを搭載したドローン

ロボット聴覚のオープンソースソフトウェア HARK マイクロホンアレイを用いた音源定位・分離技術を提供

ロボット聴覚のオープンソースソフトウェア HARK
マイクロホンアレイを用いた音源定位・分離技術を提供

HARKのGUI プログラミング環境

HARKのGUI
プログラミング環境

図3 ソフトウェアHARK

図4 瓦礫(土管)の下の要救助者をその声から発見している様子

図4 瓦礫(土管)の下の要救助者をその声から発見している様子

右上地図の青丸が検出された音源位置を表す

<用語解説>

注1) HARK
Honda Research Institute Japan Audition for Robots with Kyoto Universityの略。(株)ホンダ・リサーチ・インスティチュート・ジャパン(HRI-JP)、京都大学等が開発したマイクロホンアレイを用いたロボット聴覚のオープンソースソフトウェア。Harkは、listenを意味する中世英語である。
注2) マイクロホンアレイ技術
複数のマイクロホンから構成されるマイクロホンアレイデバイスを用いて、騒音下でも音の方向を推定したり、特定の音の分離抽出を行ったりする技術。
注3) ロボット聴覚
ロボットが自分自身の耳で周りの環境から音を聞き取ること。日本発の研究領域。
注4) ImPACT タフ・ロボティクス・チャレンジ(Tough Robotics Challenge(TRC))
内閣府が主導する革新的開発推進プログラムにて田所 諭 プログラム・マネージャーが推進する研究開発プログラム。

<デモ映像>

https://youtu.be/71jEYKAEgnc

<お問い合わせ先>

<本研究に関すること>

東京工業大学 工学院 システム制御系 特任教授
中臺 一博(なかだい かずひろ)
E-mail:

<ImPACTの事業に関すること>

内閣府 革新的研究開発推進プログラム担当室
〒100-8914 東京都千代田区永田町1-6-1
Tel:03-6257-1339

<ImPACTプログラム内容およびPMに関すること>

科学技術振興機構 革新的研究開発推進室
〒102-0076 東京都千代田区五番町7 K’s五番町
Tel:03-6380-9012 Fax:03-6380-8263
E-mail:

<報道担当>

東京工業大学 広報・社会連携本部 広報・地域連携部門
Tel:03-5734-2975 Fax:03-5734-3661
E-mail:

熊本大学 マーケティング推進部 広報戦略室
Tel:096-342-3122 Fax:096-342-3007
E-mail:

早稲田大学 広報室 広報課
Tel:03-3202-5454 Fax:03-3202-9435
E-mail:

科学技術振興機構 広報課
〒102-8666 東京都千代田区四番町5番地3
Tel:03-5214-8404 Fax:03-5214-8432
E-mail:

(英文)““Listening” drone helps find victims needing rescue in disasters”