講演情報
[5M3-GS-2h-04]歌詞意味表現と機能和声を統合したマルチモーダル音楽感情推定と寄与度解析
〇袁 キン1、山極 綾子1、邵 騰飛1、後藤 正幸1 (1. 早稲田大学)
キーワード：
音楽感情推定、マルチモーダル融合、BERT / RoBERTa、機能和声
従来、音楽感情推定研究は主にテキスト情報に基づく手法を中心に発展してきたが、和声などの音楽構造が感情喚起に及ぼす影響についての定量的理解は未だ不十分である。特に「孤独」などの感情は音楽的文脈に強く依存するため、言語情報のみでは推定に限界があり、マルチモーダル解析が不可欠である。本研究では、歌詞意味表現、和声進行、および音響的特徴量を統合したマルチモーダル感情推定モデルを提案する。具体的には、BERTによる歌詞意味表現の獲得、RoBERTaを用いた機能和声の符号化、およびMIDIから抽出した音高などの統計的特徴量を用いる。これらを融合層により統合することで、抽象的な楽理情報から具体的な音響特性までを包含する包括的な感情モデリングを実現した。さらに、アブレーション研究を通じて12種類の感情における各要素の貢献度を算出し、音楽による感情喚起メカニズムの解明を目的とする。特に、言語情報のみでは判別が困難な低覚醒度の感情において、音楽特徴の補完的役割を定量的に検証する。本アプローチにより感情喚起プロセスの学術的理解を深化させ、高度な音楽推薦システムおよび創作支援の基盤構築を目指す。