講演情報
[4Yin-B-38]日本語対話における成果判定タスクの分析：中間的な推論ステップの導入が大規模言語モデルの推論に与える影響の評価
〇阪本 拓功1、成田 和弥1、西山 莉紗1 (1. エン株式会社)
キーワード：
大規模言語モデル、タスク指向対話、自然言語処理
本研究では，日本語タスク指向対話における成果判定の精度向上に向け，判定の前段に中間的な推論ステップ（中間タスク）をLLMに課す手法を導入し，判定精度への影響を検証した．実験では，ネガティブ発話抽出や妥協箇所特定等，性質の異なる複数の中間タスクを設計し，JMultiWOZに基づくデータセットで評価した．その結果，軽量モデルでは適切なタスクの導入により上位モデルとの性能差を縮小できる一方，高い推論能力を持つモデルでは中間タスクの指定がノイズとなり精度を低下させる傾向も確認された．本成果はモデルの能力に応じたプロンプト設計の指針を示すとともに，中間タスクの出力を介した解釈性の向上にも寄与する．