JSTトッププレス一覧 > 共同発表

平成28年6月1日

東北大学
国際レスキューシステム研究機構
早稲田大学
京都大学
東京大学
筑波大学
国立情報学研究所
科学技術振興機構(JST)
内閣府政策統括官(科学技術・イノベーション担当)

倒壊瓦礫内に進入し、声を聞き取ることにより、被災者を発見
内閣府タフ・ロボティクス・チャレンジによる索状ロボット「能動スコープカメラ」
聞き取り能力の飛躍的向上により、地震災害の救助を高度化

ポイント

内閣府総合科学技術・イノベーション会議が主導する革新的研究開発推進プログラム(ImPACT)タフ・ロボティクス・チャレンジ(プログラム・マネージャー:田所 諭)の一環として、東北大学 田所 諭(たどころ さとし) 教授、昆陽 雅司(こんよう まさし) 准教授、早稲田大学 奥乃 博(おくの ひろし) 教授、京都大学 糸山 克寿(いとやま かつとし) 助教、坂東 宜昭(ばんどう よしあき) 特別研究員、東京大学 猿渡 洋(さるわたり ひろし) 教授、筑波大学 牧野 昭二(まきの しょうじ) 教授、国立情報学研究所 小野 順貴(おの のぶたか) 准教授のグループは、瓦礫内捜索用ヘビ型ロボット「能動スコープカメラ」に複数のマイクロホンを搭載し、音響信号処理に基づく音声強調技術によって、瓦礫奥深くの要救助者が発する声を聞き取るシステムの開発に成功しました。

本成果は、以下の事業・研究プロジェクトによって得られました。

内閣府 革新的研究開発推進プログラム(ImPACT) https://www.jst.go.jp/impact/

プログラム・マネージャー 田所 諭
研究開発プログラム タフ・ロボティクス・チャレンジ
研究開発課題1 索状ロボット(細径)の研究開発 (研究開発責任者:田所 諭、研究期間:平成26年度〜平成30年度)
研究開発課題2 極限音響の基礎技術の研究開発 (研究開発責任者:奥乃 博、研究期間:平成26年度〜平成30年度)
研究開発課題3 ブラインド音源分離と高次統計量制御型音声強調に基づく柔軟ロボット音響センシング (研究開発責任者:猿渡 洋、研究期間:平成27年度〜平成29年度)

これらの研究開発課題では、極限環境下で高い能力を持つ索状(ヘビ型)ロボットと、それに搭載する音響処理技術の開発に取り組んでいます。

<田所 諭 プログラム・マネージャーのコメント>

PM

ImPACTタフ・ロボティクス・チャレンジは、災害の予防・緊急対応・復旧、人命救助、人道貢献のためのロボットに必要不可欠な、「タフで、へこたれない」さまざまな技術を創りだし、防災における社会的イノベーションとともに、新事業創出による産業的イノベーションを興すことを目的とし、プロジェクト研究開発を推進しています。

これまで、瓦礫内の要救助者を発見することを目的として能動スコープカメラが開発されてきました。音声は要救助者を発見するための有力な手がかりですが、従来の能動スコープカメラのマイクロホンでは、ロボットの運動が発生するノイズや外部からの騒音にかき消され、瓦礫の遮音性が高いこともあって、要救助者からの声を聞き取ることが困難でした。

本研究は、高い瓦礫内進入性能を持つ能動スコープカメラの新しい設計と多数のマイクロホンの搭載、そのシステムの特長を活かした音声抽出・強調の新しい技術の開発により、この課題に対する非連続イノベーションを達成したところに意義があります。

今後さらなる実用化を進めることによって、地震災害の瓦礫などにおける人命救助の飛躍的向上を図るとともに、設備診断などの産業分野への広い波及効果が期待されます。

<研究の背景と経緯>

熊本地震や阪神淡路大震災に代表される大規模地震災害では、倒壊した建物内に取り残された人の発見と救助が大きな課題です。要救助者が発する助けを求める声は発見の重要な手がかりですが、災害環境での各種騒音にかき消され、瓦礫の外からそれを聞き取ることはたいへん困難でした。索状(ヘビ型)ロボット「能動スコープカメラ」は瓦礫内に進入して要救助者を発見することを目的として開発されたロボットですが、ロボットの運動に伴って発生するノイズが、瓦礫内での声の聞き取りにおける大きな障害でした。

東北大学 田所教授、昆陽准教授、早稲田大学 奥乃教授、東京大学 猿渡教授を中心とするグループは、音声聞き取り性能の向上を目的として、ImPACTタフ・ロボティクス・チャレンジの共同研究開発の1つのテーマとして、能動スコープカメラに搭載可能な音声抽出・強調技術の開発を進めてきました。熊本地震や阪神淡路大震災の被災木造家屋を模擬した評価試験フィールドにて実証試験を行い、一定の性能が確認されました。

なお、ImPACTタフ・ロボティクス・チャレンジで研究開発を進めるレスキューロボットは、1995年の阪神淡路大震災を契機に田所らのグループが提唱し、世界の研究を牽引してきた研究分野です。また、ロボットにマイクをつけ、混合音を聞き分けるロボット聴覚の研究は、2000年に奥乃らが世界で初めて提唱した日本発の研究分野であり、以降、同グループは世界の研究を牽引してきました。これらの研究開発は世界的に高く評価されており、田所教授が災害ロボットの研究で、奥乃教授がロボット聴覚の研究で、牧野教授がブラインド音源分離の研究で、IEEE Fellow(米国電子技術協会 IEEEの最高位メンバー資格)に昇格しています。また、国内でも、科学技術分野での文部科学大臣表彰科学技術賞(研究部門)を、奥乃グループがH25年度にロボット聴覚の研究で、猿渡グループがH27年度にブラインド音源分離の研究で受賞しています。

<研究成果の概要>

能動スコープカメラは、内視鏡の表面に分布型振動駆動のためのアクチュエータを搭載することによって、瓦礫や配管などの狭く深い場所への進入を可能にした索状(ヘビ型)ロボットです。このロボットは数cmの瓦礫の隙間をぬって深さ数mまで探査できる世界で唯一の性能を有しており、これまで、建設現場倒壊事故原因調査などに使用され、福島第一原発建屋内の調査にも使用が検討され、細い配管内部の点検に性能を発揮するなど、優れた実績を上げてきました(図1)。

今回、能動スコープカメラの構造を、柔軟チューブを用いた新しい設計に変更することによって、バス方式で接続された多数のマイクロホン(以下、マイク)を一定間隔で搭載し、マイクアレイを構成することが可能になりました(田所、昆陽担当)。能動スコープカメラを瓦礫内に進入させると、多数のマイクを瓦礫内に分布させることとなり、要救助者の音声を多数の位置で、位相情報も含めて取得することが可能です(図2)。

このシステムの特性を活かした音声抽出・強調を行うために、新たに、VB-MRNMFによる方式(奥乃、糸山、坂東担当)、および、IVA+ポストフィルタによる方式(猿渡、牧野、小野担当)を開発し、能動スコープカメラに搭載することに成功しました。前者は、リアルタイムで音声強調が可能な方式であり、主として瓦礫内で要救助者を捜索する際に効果を発揮します。後者は、数十秒の事後解析の処理時間が必要ですが、より鮮明な音声を得ることができるため、主として要救助者からの状況や健康状態の聞き取りなどに効果を発揮します。

熊本地震の現地調査に基づき、倒壊木造家屋の内部を模擬した試験評価用瓦礫を製作し、本システムの実証実験を行ったところ、これまでと比較して飛躍的に高い聞き取り性能を確認することができました(図3図4)。

<音声抽出・強調技術について>

索状ロボットに装着したマイクアレイ(複数のマイクを使用、配置は任意)から取得した音から音声を強調する上で3つの技術的課題があります。

この3つの課題に対して、音響処理の方式は2つの相反する要求条件―処理性能と処理速度―のトレードオフに対応する必要があります。そこで、ImPACTタフ・ロボティクス・チャレンジでは2つの解決方策を開発しました。

手法Aは、奥乃グループ(早稲田大学、京都大学)が、手法Bは、猿渡グループ(東京大学、筑波大学、国立情報学研究所)が開発しました。いずれの方法も、入力音のスペクトログラムの大部分が雑音であり、音声は少ないという「スペクトログラム上のスパース性注2)」を活用したスパース信号処理に基づいた手法を使用しています。

手法Aは、 スパース信号処理と各マイクの信頼度を推定して、音声強調を行います。本手法は、VB-MRNMF(Variational Bayesian multi-channel robust NMF(Nonnegative Matrix Factorization、非負値行列因子分解)注3))と呼んでいます。具体的には、次のような処理で音声強調を行います。

VB-MRNMFは、図5のように、雑音、特に走行音などの自己雑音や外部雑音に埋もれた音声をノートPC上でリアルタイムに強調することができます。また、障害物などで半数のマイクが覆われたり隠されたりしても、頑健に音声強調をすることができます。

手法Bは、IVA(独立ベクトル分析)注5)と統計的ポストフィルタ処理で音声強調を行います。IVAは、手法Aとは別タイプの音源分離手法であり、音源モデルを「1ランク構造を持つスパース時間・周波数スペクトログラム(NMFの単純な場合に相当)」、音の空間伝搬モデルを「線形時不変フィルタ注6)」で表し、両者を一切のトレーニングシーケンスを使わず個別に自律推定します。これは特に、空中を伝搬する人間の声を表すのに適したモデルであり、比較的歪みの少ない分離音を出力することができます。今回は被災現場における過酷な音環境に鑑み、このIVAをよりロバストにするため、以下2種類の拡張を担当するポストフィルタを開発し、IVAと組み合わせました。

上記2つの拡張により、オペレータなどの要求に応じて、「雑音を強力に抑圧してとにかく音声らしきものを見つける」ことと「被災者が何を言っているのか明瞭化する」ことの両立を図ることが可能になります。また、本ポストフィルタ処理系は、手法Aと併用することも可能です。

<今後の展開>

倒壊家屋内での音声聞き取りにおいて高い性能を発揮できることから、今後、災害救助システムとしての実用化を進めていきます。また、瓦礫内の捜索性能(ロボットの運動能力、および、聞き取り能力)のさらなる向上を図っていきます。

<参考図>

図1 能動スコープカメラ

図2 搭載した複数のマイク

図3 屋外フィールド評価のための瓦礫

図4 熊本地震の倒壊木造家屋の内部を模擬した瓦礫空間への能動スコープカメラの進入

図5 入力音のスペクトログラムと音声強調結果のスペクトログラム

<用語解説>

注1) マイクアレイ処理
複数のマイクを使用して、音の到来方向を知る音源定位、混合音に含まれる音を分離する音源分離という処理から、さらに進んで、分離音の認識、例えば音声認識や鳥の鳴き声認識などを行う技術。ロボットに装着したマイクではロボットの動作音や自分の発話、環境音などいろいろな音が混ざった混合音を処理する必要があり、マイクアレイ処理は不可欠になる。
注2) スペクトログラム上のスパース性
入力音の振幅スペクトログラム中の大部分の成分は雑音成分であるのに対し、音声成分はある範囲に飛び飛びの値しか存在しない。この音声成分の疎(大部分が零の値であるが時々大きな値をとること)な構造を「スパース」と呼ぶ。一方で、ロボットなどで発生する雑音は振幅スペクトログラム上で繰り返し構造を持つことが多く、この状態を時間・周波数の2次元関数を行列に見立てて「低ランク」構造と呼ぶ。よって、音声をスパース、ロボット雑音を低ランクで近似すれば音源分離ができることとなる。
注3) NMF(Nonnegative Matrix Factorization、非負値行列因子分解)
振幅スペクトログラムは、その要素がすべて非負の2次元(時間・周波数)関数として表現され、 それを比較的少ない本数の基底ベクトル(典型的な周波数特性を表す)とそのアクティベーション (時間変化を表す)の積に分解表現する技術をNMFと呼ぶ。NMFを使うことにより、音響信号をより簡潔かつ操作しやすい形で表現することが可能になる。
注4) 振幅スペクトログラム領域
入力音に対して短いフーリエ変換を連続的に施したものをスペクトログラムといい、音を「時間」・「周波数」の2次元関数として表すことができる。このスペクトログラムの絶対値をとったものを振幅スペクトログラムと呼ぶ。
注5) IVA(独立ベクトル分析)
ある音源のスペクトログラムを1ランクのベクトルの時間変動とみなし、その各要素が複数音源間で独立であると仮定する音源分離手法。本技術により、観測信号のみから独立な挙動を示す複数の音源を分離抽出することが可能になる。
注6) 線形時不変フィルタ
入力と出力の関係が線形(信号の定数倍や和に関してその性質が保たれること)であるフィルタにおいて,そのフィルタ特性が時間変動を伴わないもの。例えば、ロボットがほぼ移動しない、または非常にゆっくりと移動している場合には、人間の声が空中を伝搬してマイクへ入力される状態は近似的に「線形時不変フィルタ」で表すことが可能になる。

<お問い合わせ先>

<ロボットシステム全体、および、能動スコープカメラの研究に関すること>

田所 諭(たどころ さとし)
東北大学 大学院情報科学研究科 教授
〒980-8579 宮城県仙台市青葉区荒巻字6-6-01 工学部機械知能系共同棟4階
Tel:022-795-7022
E-mail:

昆陽 雅司(こんよう まさし)
東北大学 大学院情報科学研究科 准教授
〒980-8579 宮城県仙台市青葉区荒巻字6-6-01 工学部機械知能系共同棟4階
Tel:022-795-7025
E-mail:

<音響情報処理の研究に関すること>

奥乃 博(おくの ひろし)
早稲田大学 理工学術院 教授
〒169-0072 東京都新宿区大久保2-4-12 ラムダックスビル3階 早稲田大学「工房」
Tel:03-6233-7864
E-mail:

猿渡 洋(さるわたり ひろし)
東京大学 大学院情報理工学系研究科 教授
〒113-8656 東京都文京区本郷7-3-1 工学部6号館244号室
Tel:03-5841-8706
E-mail:

<ImPACT事業に関すること>

内閣府 革新的研究開発推進プログラム担当室
〒100-8914 東京都千代田区永田町1-6-1
Tel:03-6257-1339

<ImPACTプログラム内容およびPMに関すること>

科学技術振興機構 革新的研究開発推進室
〒102-0076 東京都千代田区五番町7 K’s五番町
Tel:03-6380-9012 Fax:03-6380-8263
E-mail:

<報道担当>

東北大学 総務企画部 広報課 広報係
〒980-8577 宮城県仙台市青葉区片平2-1-1
Tel:022-217-4977 Fax:022-217-4818
E-mail:

早稲田大学 広報室 広報課
〒169-8050 東京都新宿区戸塚町1-104
Tel:03-3202-5454 Fax:03-3202-9435
E-mail:

京都大学 国際広報室
〒606-8501 京都府京都市左京区吉田本町36番地1 時計台1階
Tel:075-753-5727
E-mail:

筑波大学 広報室
〒305-8577 茨城県つくば市天王台1-1-1
Tel:029-853-2039 Fax:029-853-2014
E-mail:

国立情報学研究所 総務部企画課 広報チーム
〒101-8430 東京都千代田区一ツ橋2-1-2
Tel:03-4212-2164 Fax:03-4212-2150
E-mail:

科学技術振興機構 広報課
〒102-8666 東京都千代田区四番町5番地3
Tel:03-5214-8404 Fax:03-5214-8432
E-mail: