[5Yin-A] Poster 8

[5Yin-A-46] A Motivational Interviewing Dialogue System using Multimodal RAG

〇Kazuma Kudo¹, Jie Zeng¹, Fumio Nihei¹, Yukiko Nakano¹ (1. Seikei University)

Keywords:

Motivational Interviewing,Dialogue System,Multimodal RAG

動機づけ面接（Motivational Interviewing: MI）は，クライアントの動機を引き出すことで行動変容をカウンセリング手法であり，カウンセラは，クライアントの発話内容だけでなく表情などの非言語行動により表出される情報も考慮して応答することが重要である．一方，大規模言語モデルと検索を組み合わせた Retrieval-Augmented Generation（RAG）は外部知識を活用した応答生成を行う仕組みとして有用性が高いが，現状の対話生成研究の多くはテキスト情報のみをRAGの対象としている．本研究では，表情情報を統合したマルチモーダル RAG を用いた MI 対話システムを構築し，非言語情報の統合方法の違いにより応答の質が異なるのかを検証した．OpenFace により抽出した表情特徴量を用い，ベクトル結合型，注釈追加型，分離検索型の3手法を実装した．MIとしての適切性やカウンセラらしさといった観点から，これらの手法が生成した対話を実験参加者が順位付けを行う評価実験を実施した．その結果，言語情報と表情情報を独立に検索する分離検索型 RAG が最も高い評価を示し，統計的に有意な差が確認された．本研究は，非言語情報の扱い方が MI 対話における応答品質に大きく影響すること