[4I5-OS-17b] OS-17

3:45 PM - 4:00 PM JST(6:45 AM - 7:00 AM UTC)

[4I5-OS-17b-02] How Does RAG Respond to Expert Questions?A Log Analysis of a Dialogue System for Historical Research

〇Kyohei Sahara¹, Satoshi Sekine² (1. COTEN, Inc., 2. ichikara Corporation)

Keywords:

Dialog System,RAG,Digital Humanities,Response Analysis,Log Analysis

本研究では，歴史調査向けの Retrieval-Augmented Generation (RAG) システムの応答に対して，専門家と非専門家の質問における言語的差異がどのように影響するかを分析する．約 1,800 冊の歴史書を基盤として構築された RAG ベースの対話システム「Leonardo」の運用ログを用いて，質問と回答の間における構造・語彙・品詞の特徴を Cohen's d で比較した．その結果，Leonardoにおいて質問文と回答文の効果量の間に正の相関（r=0.375, p=0.0172）が認められ，専門家の質問特性がシステムの応答に伝播していることが示された．一方， RAG でない GPT-4o 単体ではそのような相関は見られなかった（r=0.147, p=0.3668）．これにより，語彙の内容は検索を通じて伝播する一方，その多様性は質問そのものではなく，検索された出典資料によって規定されることが示唆された．これらの知見は， RAG における検索メカニズムが，質問の専門性が回答の特性を形作る経路として機能していることを示しており，非専門家ユーザーに対するクエリ作成支援の重要性が改めて確認された．