[4Yin-B] Poster 7

[4Yin-B-38] Analysis of Outcome Classification in Japanese Dialogues: Evaluating the Impact of Intermediate Reasoning Steps on Large Language Model Reasoning

〇Taku Sakamoto¹, Kazuya Narita¹, Risa Nishiyama¹ (1. en Inc.)

Keywords:

Large Language Model,Task-Oriented Dialogue,Natural Language Processing

本研究では，日本語タスク指向対話における成果判定の精度向上に向け，判定の前段に中間的な推論ステップ（中間タスク）をLLMに課す手法を導入し，判定精度への影響を検証した．実験では，ネガティブ発話抽出や妥協箇所特定等，性質の異なる複数の中間タスクを設計し，JMultiWOZに基づくデータセットで評価した．その結果，軽量モデルでは適切なタスクの導入により上位モデルとの性能差を縮小できる一方，高い推論能力を持つモデルでは中間タスクの指定がノイズとなり精度を低下させる傾向も確認された．本成果はモデルの能力に応じたプロンプト設計の指針を示すとともに，中間タスクの出力を介した解釈性の向上にも寄与する．