[4K4-GS-6b] Language media processing

2:30 PM - 2:45 PM JST(5:30 AM - 5:45 AM UTC)

[4K4-GS-6b-05] Effects of Acoustic Information in LLMs based Next Utterance Class Prediction of an Intake Interview

〇Tatsu Kitamura¹, Takehito Utsuro¹ (1. University of Tsukuba)

Keywords:

large language models,intake Interview,next utterance class prediction,acoustic information,dialogue

本研究は初回カウンセリング場面における次発話クラス予測を扱う．エージェントが発話方針を決める基盤となる．自動few-shotで生成したDAIC-WOZの教師データを用い，ファインチューニングしたLLMやASTによる音響予測を統合した手法やテキストと音響情報を入力とするLLM手法を提案する．結果はファインチューニング済みLLMは未学習モデルを上回り，音響情報統合でテキストや音声単独単独より予測精度が改善した．本手法は初回カウンセリングエージェントの発話方針決定の可能性を示す．今後は他コーパスでの検証や専門家注釈の整備，クラス条件付き生成や強化学習による方針最適化を進め，実運用化を目指す．