Research

Paper&Grantに関する研究を紹介します

印象を一味変えるコード進行の生成

ある楽曲のメロディはそのままでコード進行を変更することで楽曲の雰囲気に変化をつけることをリハーモナイゼーションといいます． 楽曲をアレンジするような創作活動には専門知識やソフトウェアを使いこなす技能が必要です．
本研究ではそれを解決するため，ユーザがJazz風，Pops風といった和音の響きを手掛かりにハーモニーを探索して和音進行の生成ができるようなシステムの開発に取り組んでいます． ここではVariational Autoencoder(VAE)の潜在空間での補間に着目していますが， 潜在空間上での補間を行うと近隣の適当なデータで補間されて不協和音が生成されてしまうため， 和音の構成音から2音の共起性を求めて不協和音を抑制するようなネットワークを構築しました．

生成例はこちら

小節位置と歌詞に関連する色に基づく照明制御

音楽に同期して，小節位置のタイミングに応じて光を適切な色に変化させる制御手法を提案しました．
自宅でオンラインライブを楽しむ際に，音楽に合わせて光の色を変化させることで，より臨場感のある体験を提供することを目的としています．
具体的には歌詞の名詞と形容詞を抽出し，カラーイメージスケールや単語に関連する色のバリエーションを増やし，Word2Vecを使って類似単語から色を決定します． さらに，曲のビート推定に基づき，各小節位置の切り替わりタイミングで照明色を変化させます．

デモはこちら

Picognizer (共同研究)

※ 音響イベント検出部の実装・評価を担当しました

Picognizerは，JavaScriptのみで記述された電子音検出・認識のためのオープンソースライブラリです．
ゲーム音，録音し再生された人間の声や音楽、電子機器の通知音などの検出を行えます．
機械学習は用いておらず，Webブラウザ単体で軽量に動作します．

ソースコードはこちら

デモ動画はこちら

時間周波数情報に着目した音楽番組からの楽曲区間抽出

音楽番組の頭出しのような視聴支援や音楽情報検索を目的として，楽曲区間を抽出するにあたり， クロマベクトルの時間情報に着目し，音楽番組から楽曲区間を抽出する手法を提案しています．
クロマベクトルでは，楽曲部分は時間方向に連続成分が続き，それ以外の区間は周波数方向に成分が続いたり 不連続であったりすることから，時間方向に続く成分を抽出・指標化し，閾値処理によって楽曲区間の判別を行います．
具体的には，クロマベクトルの各フレームのピーク位置において8近傍の値から時間方向と周波数方向の曲率を算出し， 時間方向に緩やかな場合に1，それ以外は0となるマスクを生成し，ノイズ除去を行うために平滑化フィルタ （メディアンフィルタ，ガウシアンフィルタ，バイラテラルフィルタ）を適用します．

楽曲圧縮による音楽要素の認識への影響

楽曲のダウンロード販売やストリーミング配信に伴い，多数のエンコードファイル(MP3, AAC, OGG, etc.)が見受けられます． 圧縮によって周波数特性が変化するため，これらのファイルを用いて周波数解析を行って音楽要素を認識する場合，影響を及ぼす 可能性があります．本研究は楽曲に対する圧縮の影響を調べるにあたり，客観音質評価や学習ベースの和音認識手法を用いて， 特徴量の解析を行いました．