講演情報
[1Yin-B-08]うつ傾向者と健常者の両者に適用可能なマルチモーダル感情推定システムの研究
〇中山 要1、松本 和幸2、吉田 稔2、康 鑫2、福森 崇貴2、甲田 宗良2、木内 敬太3、梅原 英裕4、中山 知彦5、中瀧 理仁5 (1. 徳島大学大学院創成科学研究科、2. 徳島大学大学院社会産業理工学研究部、3. 独立行政法人労働者健康安全機構労働安全衛生総合研究所、4. アクセシビリティ支援部門、5. 徳島大学大学院医歯薬学研究部)
キーワード：
感情推定、メンタルヘルス、マルチモーダル、特徴量融合、深層学習
本研究では，うつ傾向者と健常者の双方に適用可能なマルチモーダル感情推定システムを提案する．従来のモデルは，感情の鈍麻等がノイズとして扱われるため，うつ傾向者では精度低下がみられる．我々は，言語的文脈(話題)と物理的な表現の間の「感情の不整合」に着目することでこの課題に対処する．本手法では，音声・テキスト・表情の特徴量と話題・うつ病指標を混合訓練データを用いて統合する．これにより健全な「基準」を確立し，うつ状態の「歪み」を特徴量として検出する．実験では精神状態に依存しない堅牢な推定が実証され，文脈と音声が重要な指標であることが明らかとなった．