Research
Paper&Grantに関する研究を紹介します
印象を一味変えるコード進行の生成
ある楽曲のメロディはそのままでコード進行を変更することで楽曲の雰囲気に変化をつけることをリハーモナイゼーションといいます．
楽曲をアレンジするような創作活動には専門知識やソフトウェアを使いこなす技能が必要です．
本研究ではそれを解決するため，ユーザがJazz風，Pops風といった和音の響きを手掛かりにハーモニーを探索して和音進行の生成ができるようなシステムの開発に取り組んでいます．
ここではVariational Autoencoder(VAE)の潜在空間での補間に着目していますが，
潜在空間上での補間を行うと近隣の適当なデータで補間されて不協和音が生成されてしまうため，
和音の構成音から2音の共起性を求めて不協和音を抑制するようなネットワークを構築しました．
生成例はこちら
Picognizer (共同研究)
※ 音響イベント検出部の実装・評価を担当しましたPicognizerは，JavaScriptのみで記述された電子音検出・認識のためのオープンソースライブラリです．
ゲーム音，録音し再生された人間の声や音楽、電子機器の通知音などの検出を行えます．
機械学習は用いておらず，Webブラウザ単体で動作します．
ソースコードはこちら
デモ動画はこちら
時間周波数情報に着目した音楽番組からの楽曲区間抽出
音楽番組の頭出しのような視聴支援や音楽情報検索を目的として，楽曲区間を抽出するにあたり，
クロマベクトルの時間情報に着目し，音楽番組から楽曲区間を抽出する手法を提案しています．
クロマベクトルでは，楽曲部分は時間方向に連続成分が続き，それ以外の区間は周波数方向に成分が続いたり
不連続であったりすることから，時間方向に続く成分を抽出・指標化し，閾値処理によって楽曲区間の判別を行います．
具体的には，クロマベクトルの各フレームのピーク位置において8近傍の値から時間方向と周波数方向の曲率を算出し，
時間方向に緩やかな場合に1，それ以外は0となるマスクを生成し，ノイズ除去を行うために平滑化フィルタ
（メディアンフィルタ，ガウシアンフィルタ，バイラテラルフィルタ）を適用します．
楽曲圧縮による音楽要素の認識への影響
近年，楽曲のダウンロード販売やストリーミング配信に伴い，多数のエンコードファイル (MP3, AAC, OGG, etc.)が見受けられます． 圧縮によって周波数特性が変化するため，これらのファイルを用いて周波数解析を行って音楽要素を認識する場合，影響を及ぼす 可能性があります．本研究は楽曲に対する圧縮の影響を調べるにあたり，客観音質評価や学習ベースの和音認識手法を用いて， 特徴量の解析を行いました．