JSTトッププレス一覧 > 共同発表

平成29年1月16日

大阪大学
科学技術振興機構(JST)

脳波に基づいて自動作曲を行う人工知能を開発

~音楽刺激で個人の潜在能力を発揮可能なシステム開発に期待~

ポイント

大阪大学 Center of Innovation(COI)拠点は、JST(国立研究開発法人 科学技術振興機構)のセンター・オブ・イノベーション(COI)プログラムによる支援のもと、脳マネジメントにより潜在力を発揮するスーパー日本人の実現を目指し、医脳理工・産学連携のプロジェクトを進めています。

このたび、沼尾 正行(大阪大学 産業科学研究所 教授)、大谷 紀子(東京都市大学 メディア情報学部 教授)、クリムゾンテクノロジー(株)、ベルギーの研究機関imecの連携チームは、“楽曲に対する脳の反応に基づいて自動作曲を行う人工知能の開発”に成功しました。

今後の脳マネジメントシステムは、個人の脳波の状態を検知し、それに基づいて脳の活性化手段を提供し活性化につなげると考えられており、活性化手段は音楽を提供することが有望です。しかし、現在の音楽提供システムは、過去に聴いた曲の類似曲を推薦するか、曲の特徴を細かく指定する必要のある自動作曲システムしか存在せず、手軽に音楽で脳の活性化に結びつけることが困難でした。

しかし今回、ヘッドホンと一体化した脳波センサを開発したことで曲に対する脳波データの収集が容易になり、収集した曲への反応と脳波の関係を機械学習し、ユーザのメンタル状態を活性化させるオリジナルの音楽を容易に生成することが可能になりました。作曲結果は、その場で直ちに、Musical Instrument Digital Interface(MIDI)技術によりアレンジされ、シンセサイザを用いて豊かな音色で再生されます。

以上の技術により将来的に、個人だけではなく聴衆の反応測定が可能になり、聴衆の脳波反応に基づいた作曲の実現も期待されます。また、将来の社会実装の1つの姿として、家庭で個人の状態を脳波で測定し、個人の状態に合った音楽刺激を用いて、個人の潜在力を常に発揮できるシステムの実現が期待されます。

本研究成果について、1月18日(水)~20日(金)に東京ビッグサイトにて開催される第3回ウェアラブルEXPO(西ホール W20-45)にて実機が展示されます。

<研究の背景>

大阪大学 COI拠点では、産学連携アンダーワンルーフのもと、医学・脳科学・理学・工学が連携(医脳理工連携)して、脳機能の解明を行い人間の状態(感情やストレスの状態)との因果関係を解明する研究を行っています。これらの情報を基に、人間の各状態に応じた活性化の手法を開発し、社会に提供する脳マネジメントシステムの研究開発を進めています。

今後、社会に提供される脳マネジメントシステムは状態を検知し、活性化手段を提供し、活性化状態を評価し、さらなる活性化につなげるというサイクルを繰り返しますが、活性化手段として音楽を用いることが有望です。ところが、従来の音楽推薦システムは、過去に聴いた曲の類似曲を推薦するものでした。また、従来の自動作曲システムは、曲の特徴を細かく指定する必要があり、どちらも脳の活性化に結びつけることが困難でした。

そこで、ユーザの求める反応を引き出し、希望する状態に導くため、脳波などのセンサデータに基づいて、音楽コンテンツを生成する必要がありました。

<社会に与える影響(社会的意義)>

本プロジェクトで開発した人工知能により、オーダーメードの作曲が可能になり、音楽療法などの音楽を利用した活性化の手法が利用しやすくなります。また、音楽療法の現場で脳の状態を測定しながら、作曲を変化させることで、音楽刺激の効果の分析が容易になります。さらに、本人工知能の技術をゲームなどのエンターテインメントやスポーツジムなどのヘルスケアに応用することで、より高度な柔軟性を持った音楽システムとして活用することも考えられます。

なお、COIプログラムは社会実装をひとつの目的としており、脳マネジメントの方法の1つとして、将来的には家庭で脳波を測定し、その結果をもとに測定した個人の状態を判断し、個人の状態に合った音楽刺激を用いて、個人の潜在力を常に発揮できるシステムの実現が期待されています。

大阪大学Center of Innovation(COI)拠点

【プロジェクトリーダー】 パナソニック(株) フェロー 上野山 雄
【研究リーダー】 大阪大学 産業科学研究所 教授 松本 和彦

<特記事項>

大阪大学 COI拠点は、国立研究開発法人 科学技術振興機構(JST) センター・オブ・イノベーション(COI)プログラムによる支援により、金沢大学、パナソニック(株)など17機関、27企業と共同で研究を進めています。

<参考図>

ヘッドホン付き脳波センサ

音楽による活性化手法の概要

<お問い合わせ先>

<研究成果に関すること>

大阪大学 産業科学研究所 教授
沼尾 正行(ヌマオ マサユキ)
Tel:06-6879-8425(研究室)
E-mail:

<COI拠点に関すること>

大阪大学 センター・オブ・イノベーション(COI)研究推進機構
Tel:06-6879−4988
E-mail:
URL:http://www.coistream.osaka-u.ac.jp/

<JST事業に関すること>

科学技術振興機構 イノベーション拠点推進部 COIグループ
酒井 重樹(サカイ シゲキ)
Tel:03-5214-7997
E-mail:
URL:http://www.jst.go.jp/coi/

<報道担当>

科学技術振興機構 広報課
〒102-8666 東京都千代田区四番町5番地3
Tel:03-5214-8404 Fax:03-5214-8432
E-mail: