事業成果

デジタル音楽の真価を引き出す

音楽理解技術が音楽体験の未来を切り拓く2022年5月更新

画像
後藤 真孝(産業技術総合研究所 人間情報インタラクション研究部門 首席研究員)
さきがけ
「情報と知」研究員(2000-2003)
CREST
共生社会に向けた人間調和型情報技術の構築
「コンテンツ共生社会のための類似度を可知化する情報環境の実現」研究代表者(2011-2016)
信頼されるAIシステム「信頼されるExplorable推薦基盤技術の実現」研究代表者(2020-2025)
ACCEL
「次世代メディアコンテンツ生態系技術の基盤構築と応用展開」研究代表者(2016-2020)
ACT-I
「情報と未来」研究総括(2016-2021)

音楽理解技術がなければ実現できない先進的な音楽サービスを次々と公開

音楽のデジタル化によって、人々が日常生活で音楽を楽しむ環境は飛躍的に向上した。音楽配信や動画共有サービス等が普及したおかげで、膨大な音楽コンテンツをいつでもどこでも楽しめる便利な時代になった。しかし、それはあくまで多量の楽曲を蓄積してアクセスできるようにする「量的な変化」が起きただけだった。

CREST研究代表者であり、かつ、ACCEL研究代表者である後藤真孝首席研究員らは、デジタル音楽が持つ潜在的な可能性はもっと大きく、楽曲の中身に基づいてさまざまな価値を生む「質的な変化」が起きる未来を切り拓けると考えた。そこで、音楽の音響信号から構成要素を推定する最先端の「音楽理解技術」によってデジタル音楽の真価を引き出し、人々が音楽をより能動的に楽しめるようにする技術開発に挑んでいる。

例えば、長年研究開発してきた「音楽理解技術」を発展させて音楽体験の未来を切り拓くために、音楽の構成要素を可視化する能動的音楽鑑賞サービス「Songle(ソングル)」を2012年に一般公開した。その後、大規模な音楽コンテンツを可視化して俯瞰できるようにする音楽視聴支援サービス「Songrium(ソングリウム)」や、簡単に好みの「歌詞アニメーション」を作って楽しめるサービス「TextAlive(テキストアライブ)」を次々に公開した。いずれも、ウェブサイトにアクセスすれば誰でも利用できる。これらによって、音楽への理解が深まるような能動的な音楽鑑賞・創作体験を提供でき、これまで大規模に蓄積されてきた音楽コンテンツに新たな価値を付加することができる。

ウェブ上の楽曲の中身を解析して可視化やサビ出しができるSongle

「Songle」は、後藤首席研究員らが開発した「音楽理解技術」を活用することにより、音楽をより深く理解するのを助けるとともに、ロボットや照明、さまざまな画面表示を音楽に連動して制御することを可能にした世界初のサービスである。

Songleを使えば、従来のように音だけで楽曲を聴くのではなく、サビやメロディ、ビート、コード進行などの音楽の主要素を「音楽地図」として見ながら聴いて、楽曲に対する理解を深めることができる。さらに、ボタンひと押しでいきなりサビを再生して楽曲の一番盛り上がる箇所を聴くこともできる。これは音楽を試し聴きするときに特に便利で、膨大な楽曲の中から好みに応じて次々と選びながら能動的に音楽を鑑賞できる。既に100万曲以上の自動解析結果が音楽地図として公開されている。

さらに、誰でも外部から音楽地図を利用して音楽連動制御を実現できる開発フレームワーク「Songle Widget」も公開中である。既にこの仕組みは、音楽に合わせて自動的にロボットを踊らせたり、照明を制御したり、音楽に合わせて変化するコンピュータグラフィックスを表示したりする用途に、広く使われている。

音楽理解技術を活用した能動的音楽鑑賞サービス「Songle(ソングル)」

図1

ウェブサイト(http://songle.jp)にアクセスすれば誰でも利用できる。

Songleが楽曲の中身を自動解析して「音楽地図」として可視化

図2

横軸が時間。上部の大局的な表示部に楽曲構造が表示される。最上段にサビ区間、その下の5段にさまざまな長さの繰り返し区間が表示される。最下部は、小さい三角形が各拍(四分音符に対応するビート)の位置を、大きい三角形が小節の先頭を示す。その上は、メロディの歌声の音高をピアノロール状に表示。その上にはコード進行がテキストで表示される。

膨大な音楽コンテンツを俯瞰して新しい音楽と出会えるSongrium

近年、動画共有サービスなどの普及により、膨大な数の音楽コンテンツが日々公開されて増え続けているが、人々がそれらの中から関心のある作品を見つける手段は限られていた。しかも、その膨大なコンテンツの全体像をつかむことは困難だった。

そこで、後藤首席研究員らは、ウェブマイニング技術によって音楽コンテンツを自動収集・分類し、音楽理解技術によって自動解析した上で、さまざまな可視化ができる音楽視聴支援サービス「Songrium」を開発した。これは、音楽コンテンツ同士が持つ多様な関係性を可視化でき、例えばニコニコ動画上の歌声合成使用楽曲では、14万件のオリジナル楽曲から61万件の派生作品が生まれている派生関係や、楽曲同士の類似関係などを手がかりに、人々が新たな作品を見つけることができる。

さらに、そうした派生作品が多く作られる楽曲を見つけ出せる「コンテンツ生成力ランキング」や、膨大なコンテンツを時間軸に沿って俯瞰的に鑑賞できる「超歴史プレーヤ」、日々生まれる新曲を俯瞰して試聴しやすい「スマートプレーヤ」など、膨大なコンテンツ全体を俯瞰できる新機能を次々と公開してきた。

図3

大規模コンテンツを俯瞰できる音楽視聴支援サービス「Songrium(ソングリウム)」

ウェブサイト(http://songrium.jp)にアクセスすれば誰でも利用できる。

「歌詞アニメーション」を簡単に作成できるTextAliveも

以上は能動的な鑑賞支援技術だが、デジタル音楽の真価を引き出すためには創作支援技術も重要であり、後藤首席研究員らは、楽曲の歌詞を魅力的に動画で伝える「歌詞アニメーション」に着目し、ウェブブラウザ上で歌詞アニメーションを演出・制作・共有できるサービス「TextAlive」を開発した。

従来の歌詞アニメーション制作では、文字ごとのタイミングと効果的な動きを膨大な手間をかけて調整していたのに対し、TextAliveでは、音楽理解技術によっては歌詞の発音タイミングを自動推定し、プログラミング環境技術によって事前に動画ファイルにせずにプログラムを動的に変更・実行してリアルタイムに描画できる。また、アニメーションの演出をさまざまな「スタイル」から選んで瞬時に切り替えることができたり、自分好みに演出を変えてウェブ上で共有できたり、それをさらに誰かが編集して派生作品を制作できたりと、さまざまな能動的な楽しみ方が可能だ。

今後も後藤首席研究員らは、大規模に蓄積されてきた音楽コンテンツに新たな価値を付加する研究開発を進めていく予定である。既に、研究開発した技術に基づいて、歌声合成ソフトウェアの拡張ツール「VocaListener(ぼかりす)」や歌詞が見えるスピーカー「Lyric speaker」などが企業で製品化されている。企業と共同で実現した歌詞探索ツール「Lyric Jumper」も公開中である。さらに、Songleで自動解析したデータを活用した大規模音楽連動制御プラットフォーム「Songle Sync」を開発、一般公開し、実証実験を開始している。今後も産業界と連携していくことで、次世代のメディアコンテンツ産業の発展に貢献していくことを目指している。

図4

音楽に同期した歌詞アニメーション制作支援サービス「TextAlive(テキストアライブ)」

ウェブサイト(http://textalive.jp)にアクセスすれば誰でも利用できる。