共同発表：脳波に基づいて自動作曲を行う人工知能を開発～音楽刺激で個人の潜在能力を発揮可能なシステム開発に期待～

ポイント

ヘッドホン型ワイヤレス脳波センサを新たに開発し、予め準備した曲に対するユーザの脳波反応に基づいて、自動で作曲を行う人工知能を開発した。
従来の自動作曲では、曲の特徴を細かく指定する必要があったが、本センサと人工知能により曲と脳波の関係を機械学習することが可能になり、指定なしで作曲が可能になった。
今後、音楽刺激を用いて個人のメンタル状態を活性化させ、潜在能力を常に発揮可能なシステムの開発に期待。

大阪大学ＣｅｎｔｅｒｏｆＩｎｎｏｖａｔｉｏｎ（ＣＯＩ）拠点は、ＪＳＴ（国立研究開発法人科学技術振興機構）のセンター・オブ・イノベーション（ＣＯＩ）プログラムによる支援のもと、脳マネジメントにより潜在力を発揮するスーパー日本人の実現を目指し、医脳理工・産学連携のプロジェクトを進めています。

このたび、沼尾正行（大阪大学産業科学研究所　教授）、大谷紀子（東京都市大学メディア情報学部　教授）、クリムゾンテクノロジー（株）、ベルギーの研究機関ｉｍｅｃの連携チームは、“楽曲に対する脳の反応に基づいて自動作曲を行う人工知能の開発”に成功しました。

今後の脳マネジメントシステムは、個人の脳波の状態を検知し、それに基づいて脳の活性化手段を提供し活性化につなげると考えられており、活性化手段は音楽を提供することが有望です。しかし、現在の音楽提供システムは、過去に聴いた曲の類似曲を推薦するか、曲の特徴を細かく指定する必要のある自動作曲システムしか存在せず、手軽に音楽で脳の活性化に結びつけることが困難でした。

しかし今回、ヘッドホンと一体化した脳波センサを開発したことで曲に対する脳波データの収集が容易になり、収集した曲への反応と脳波の関係を機械学習し、ユーザのメンタル状態を活性化させるオリジナルの音楽を容易に生成することが可能になりました。作曲結果は、その場で直ちに、ＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ（ＭＩＤＩ）技術によりアレンジされ、シンセサイザを用いて豊かな音色で再生されます。

以上の技術により将来的に、個人だけではなく聴衆の反応測定が可能になり、聴衆の脳波反応に基づいた作曲の実現も期待されます。また、将来の社会実装の１つの姿として、家庭で個人の状態を脳波で測定し、個人の状態に合った音楽刺激を用いて、個人の潜在力を常に発揮できるシステムの実現が期待されます。

本研究成果について、１月１８日（水）～２０日（金）に東京ビッグサイトにて開催される第３回ウェアラブルＥＸＰＯ（西ホール　Ｗ２０－４５）にて実機が展示されます。

＜研究の背景＞

大阪大学ＣＯＩ拠点では、産学連携アンダーワンルーフのもと、医学・脳科学・理学・工学が連携（医脳理工連携）して、脳機能の解明を行い人間の状態（感情やストレスの状態）との因果関係を解明する研究を行っています。これらの情報を基に、人間の各状態に応じた活性化の手法を開発し、社会に提供する脳マネジメントシステムの研究開発を進めています。

今後、社会に提供される脳マネジメントシステムは状態を検知し、活性化手段を提供し、活性化状態を評価し、さらなる活性化につなげるというサイクルを繰り返しますが、活性化手段として音楽を用いることが有望です。ところが、従来の音楽推薦システムは、過去に聴いた曲の類似曲を推薦するものでした。また、従来の自動作曲システムは、曲の特徴を細かく指定する必要があり、どちらも脳の活性化に結びつけることが困難でした。

そこで、ユーザの求める反応を引き出し、希望する状態に導くため、脳波などのセンサデータに基づいて、音楽コンテンツを生成する必要がありました。

＜社会に与える影響（社会的意義）＞

本プロジェクトで開発した人工知能により、オーダーメードの作曲が可能になり、音楽療法などの音楽を利用した活性化の手法が利用しやすくなります。また、音楽療法の現場で脳の状態を測定しながら、作曲を変化させることで、音楽刺激の効果の分析が容易になります。さらに、本人工知能の技術をゲームなどのエンターテインメントやスポーツジムなどのヘルスケアに応用することで、より高度な柔軟性を持った音楽システムとして活用することも考えられます。

なお、ＣＯＩプログラムは社会実装をひとつの目的としており、脳マネジメントの方法の１つとして、将来的には家庭で脳波を測定し、その結果をもとに測定した個人の状態を判断し、個人の状態に合った音楽刺激を用いて、個人の潜在力を常に発揮できるシステムの実現が期待されています。