JST > 戦略的創造研究推進事業 > ERATO
ERATO
Exploratory Research for Advanced Technology 
戦略的創造研究推進事業(総括実施型研究)
創造科学犠実推進事業
TOP お問い合わせ サイトマップ English
HOME ERATOとは 研究プロジェクト 中間・事後評価 募集について
HOME > 研究プロジェクト > 終了プロジェクト > 北野共生システムプロジェクト > 研究成果集 > ヒューマノイド認知
研究成果集

ヒューマノイド認知(図4)

音環境の理解、視覚・聴覚・運動の融合処理にもとづく複数音源の分離と複数話者同時発話認識を、自ら移動するロボット上で行う技術を開発した。また、これらの機能を、未知の音響特性を有する部屋で実現する手法の基礎技術を確立した。
研究成果の概要

ロボットが人間のパートナーとして知的なソーシャルインタラクションを行うためには、単なるアクチュエータ制御だけではなく、視覚や聴覚といったセンサ情報の処理を適切に行い、ロバストな知覚や認識を行う必要がある。例えば、声のする方向を向いたり、特定の人物に注意を向けるためには、捉えた画像や音響信号から顔や声を抽出、同定して名前や位置を認識することが必要である。また、追跡中に注意を向けていた人物が、後ろを向いてしまったり、物陰に隠れたり、他の人物と交差したりするような場合にも、継続して追跡を行えるように複数のセンサ情報を統合してロバストな状況把握を行うことが必要である。さらに、同時に複数の人を判別するためには、複数の顔を識別したり、複数の声やノイズが混在している状況下でも、カクテルパーティ効果として知られるように特定の音源に注意を向け続ける能力も求められる。視覚、聴覚、およびこれらを統合した処理は、ソーシャルインタラクションを行うための最低限必要な機能といえる。
ロボットでは、視覚処理、および視覚とモータ制御を統合する処理は、アクティブビジョンやビジュアルサーボに代表されるように盛んに研究が行われている分野である。加えて、一般的なロボット聴覚を実現するためアクティブオーディションが提案されているが、本プロジェクトでは、複数の聴覚的な手がかりを統合し、実時間・実環境で複数音源を定位できるロバストなアクティブオーディションを実現した。さらに、アクティブオーディションに複数顔同時認識とステレオビジョンによる視覚処理を統合することによって、聴覚の曖昧性を解消するだけではなく、視覚の視野の狭さ、オクルージョンも解決できるロバストな実時間複数人物追跡システムをヒューマノイドSIG上に実現した。
成果の展開可能なシーズ、用途等

災害救助、介護、セキュリティ、エンターテインメント用のロボット
特許出願

特願平11-165182(1999/06/11)音源同定装置及びその同定方法
特願平11-341240(1999/11/30)ロボット聴覚装置
特願2000-22677(2000/01/31)ロボット聴覚システム<ロボットにおけるアクティブオーディション用聴覚システム>
特願2000-22678(2000/01/31)ロボット聴覚装置<ロボットにおける内部ノイズキャンセリング手法>
特願2000-22679(2000/01/31)ロボット聴覚装置<ロボット聴覚装置における内部マイクの可動機構>
特願2000-173915(2000/06/09)ロボット聴覚装置及びロボット聴覚システム
特願2001-067846(2001/03/09)ロボット視聴覚システム
特願2001-067847(2001/03/09)ロボット視聴覚システム
特願2001-067848(2001/03/09)ロボット視聴覚システム
特願2001-067849(2001/03/09)ロボット視聴覚システム
特願2001-107696(2001/04/05)鳴き声による音声ガイドシステム
特願2002-56670(2002/03/01)ロボット視聴覚システム
特願2002-365764(2002/12/17)ロボット視聴覚システム
論文、報告書等
  1. Nakadai, K.; Hidai, K.; Okuno, H.G.; Mizoguchi, H.; Kitano, H. Real-Time Auditory and Visual Multiple-speaker Tracking For Human-robot Interaction. Journal of Robotics and Mechatronics. 14, 479-489, 2002.
  2. 中臺一博; 奥乃博; 北野宏明. ヒューマノイドにおける聴覚機能の課題とアクティブオーディションによる音源定位. 人工知能学会論文誌, Vol.18 No.2, 2003.
  3. 中臺一博; 日台健一; 奥乃博; 溝口博; 北野宏明. ヒューマノイドを対象にした視聴覚統合による実時間人物追跡:アクティブオーディションと顔認識の統合. 日本ロボット学会誌 Vol.21 No.6, 2003
  4. Nakagawa, Y.; Okuno, H.G.; Kitano, H. Using vision to improve sound source separation. 16th National Conference on Artificial Intelligence (AAAI'99), Orlando, July 1999, 768-775.
  5. Kitano, H.; Okuno, H.G.; Nakadai, K.; Fermin, I.; Sabishch, T.; Nakagawa, Y.; Matsui, T. Designing a humanoid head for RoboCup challenge. The 4th International Autonomous Agent 2000, Barcelona, July 2000.
  6. Nakadai, K.; Lourens, T.; Okuno, H.G.; Kitano, H. Active audition for humanoid. 7th National Conference on Artificial Intelligence (AAAI-2000), Austin, Aug. 2000, 832-839.
  7. Nakadai, K.; Lourens, T.; Okuno, H.G.; Kitano, H. Humanoid active audition. 1st IEEE-RAS International Conference on Humanoid Robot (Humanoid-2000), Cambridge, Sep. 2000.
  8. Lourens, T.; Kitano, H. Selective attention by integration of vision and audition. 1st IEEE-RAS International Conference on Humanoid Robot (Humanoid-2000), Cambridge, Sep. 2000.
  9. Nakadai, K.; Matsui, T.; Okuno, H.G.; Kitano, H. Active audition system and humanoid exterior design. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2000), Takamatsu, Nov. 2000, 1453-1461.
  10. Lourens, T.; Nakadai, K.; Okuno, H.G.; Kitano, H. A Computational Model of Monkey Grating Cells for Oriented Repetitive Alternating Patterns. 9th European Symposium on Artificial Neural Networks(ESANN2001), Bruges, Apr. 2001.
  11. Nakadai, K.; Hidai, K.; Mizoguchi, H.; Okuno, H.G.; Kitano, H. Real-Time Auditory and Visual Multiple-Object Tracking for Humanoids. International Joint Conference on Artificial Intelligence(IJCAI), Seattle, Aug. 2001.
  12. Lourens, T.; Okuno, H.G.; Kitano, H. Automatic Graph Extraction from Color Images. 11th International Conference on Image Analysis and Processing(ICIAP2001), Palermo, Italy, Sep. 26-28, 2001.
  13. Nakadai, K.; Okuno, H.G.; Kitano, H. Epipolar Geometry Based Sound Localization and Extraction for Humanoid Audition. IROS 2001, Hawaii, Oct. 29-Nov. 4, 2001.
  14. Okuno, H.G.; Nakadai, K.; Kitano, H. Human-Robot Interaction Through Real-Time Auditory and Visual Multiple-Talker Tracking. IROS 2001, Hawaii, Oct. 29-Nov. 4, 2001.
  15. Nakadai, K.; Hidai. K.; Okuno, H.; Kitano, H. Real-Time Active Human Tracking by Hierarchical Integration of Audition and Vision. Humanoids2001, Waseda Univ., Nov 22-24, 2001.
  16. Nakadai, K.; Hidai, K.; Okuno, H.G.; Kitano, H. Real-Time Speaker Localization and Speech Separation by Audio-Visual Integration. ICRA2002, Washington D.C., May 11-15, 2002.
  17. Okuno, H.G.; Nakadai, K.; Kitano, H. Social Interaction of Humanoid Robot Based on Audio-Visual Tracking. IEA/AIE-2002, Cairns, June 17-20, 2002.
  18. Nakadai, K.; Okuno, H.G.; Kitano, H. Exploiting Auditory Fovea in Humanoid-Human Interaction. AAAI 2002, Edmonton, Canada, July 28-Aug. 1, 2002.
  19. Okuno, H.G.; Nakadai, K.; Kitano, H. Realizing Audio-Visually triggered ELIZA-like non-verbal Behavior. PRICAI2002, Tokyo, Aug. 18-22, 2002.
  20. Okuno, H.G.; Nakadai, K.; Kitano, H. Real-time Sound Source Localization and Separation for Robot Audition. ICSLP2002, Denver, USA, Sep. 16-20, 2002.
  21. Nakadai, K.; Okuno, H.G.; Kitano, H. Auditory Fovea Based Speech Enhancement and Its Application to Human-Robot Dialog System. ICSLP2002, Denver, Sep. 16-20, 2002.
  22. Nakadai, K.; Okuno, H.G.; Kitano, H. Auditory Fovea Based Speech Separation and Its Application to Dialog System. IROS2002, Lausanne, Sep. 30-Oct. 4, 2002.
  23. Okuno, H.G.; Nakadai, K.; Kitano, H. Design and Implementation of Personality of Humanoids in Human Humanoid Non-verbal Interaction. The 16th International Conference on Industrial & Engineering Applications of Artificial Intelligence & Expert Systems (IEA/AIE2003), Loughborough, UK, June 23-26, 2003.
  24. Okuno, H.G.; Nakadai, K.; Kitano, H. Realizing Personality in Audio-Visually Triggered Non-verbal Behaviors. ICRA2003, Taiwan, Sep. 14-19, 2003.
  25. Nakadai, K.; O kuno, H.G.; Kitano, H. Robot Recognizes Three Simultaneous Speech. ICRA2003, Taiwan, Sep. 14-19, 2003.
  26. Nakadai, K.; Okuno, H.G.; Hidai, K.; Kitano, H. Active Audition Based Humanoid Audition System and Its Evaluation: Localization, Separation and Recognition of Simultaneous Speech. IEEE International Conference on Humanoid Robots (Humanoids-2003), Karlsruhe, Munich, Germany, Oct. 1-3, 2003.
  27. Nakadai, K.; Matsuura, D.; Okuno, H.G.; Kitano, H. Applying Scattering Theory to Robot Audition System: Robust Sound Source Localization and Extraction. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2003), Las Vegas, Oct 27-31, 2003.
研究者名

北野宏明
奥乃博
中臺一博
Tino Lourens
Iris Fermin
日台健一
中川友紀子
図4
戻る

 
独立行政法人
科学技術振興機構 過去のお知らせはこちら ERATO
Exploratory Research for Advanced Technology 
戦略的創造研究推進事業(総括実施型研究)
創造科学技術推進事業 ERATO