[5E]検索モデル(5)

14:15 〜 14:40

[5E-03] クエリ拡張におけるLLMの「直接的拡張」の分析

*阿部 健也¹、加藤 誠²、竹岡 邦紘³、小山田 昌史³ (1. 筑波大学大学院人間総合科学学術院人間総合科学研究群知識獲得システム研究室、2. 筑波大学図書館情報メディア系、3. NEC データサイエンスラボラトリー)

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

大規模言語モデル、クエリ書き換え、検索モデル、クエリ拡張

本研究ではLLMベースのクエリ拡張の効果が低下する要因の分析を行った．我々は，「LLMがクエリに関する知識を持っていないケース」と「クエリが曖昧なケース」でLLMベースのクエリ拡張の効果が低下するという仮説を立てた．2つの仮説を検証するために多様な拡張手法，検索モデル，データセットで実験を行った．実験結果からLLMがクエリに関する知識を持っていないケースでは特にNDCG@10においてクエリ拡張の効果が低下する傾向が確認された．クエリが曖昧な場合，解釈によって扱うトピックが大きく変わってしまうような曖昧性を持つクエリでのみ問題となり，Recall@100で拡張の効果が低下する傾向が確認された．また，LLMの知識と曖昧性による問題はクエリの拡張形式と関連があり，回答をクエリに追加するような「直接的拡張」を抑えた形式ではこれらの問題による性能の低下が一部軽減されることがわかった．