講演情報
[1E-02]専門ドメインのための検索拡張適合性判定
*茂手木 太一1、加藤 誠2、畠山 和久3、百合草 陽介3 (1. 筑波大学 大学院人間総合科学学術院人間総合科学研究群情報学学位プログラム 知識獲得システム研究室、2. 筑波大学 図書館情報メディア系、3. 株式会社ミスミグループ本社)
発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり
論文種別：ロングペーパー
インタラクティブ発表：あり
キーワード：
適合性判定、情報検索、LLM
本論文では，LLMに不足しているドメイン知識を補った上で適合性判定を行うために，検索を用いて外部知識を与える適合性判定手法，すなわち検索拡張適合性判定（RAJ）を提案する．RAJでは，まず適合性判定対象のクエリに関する文書の検索を行い，取得した文書を基にLLMでクエリに対する定義文を生成する．生成された定義文をドメイン知識としてLLMに与えた上で適合性判定を行う．RAJの性能を検証するために，TREC Robust 2004，TREC-COVID，NFCorpus，日本の機械部品 EC サイトである MISUMI のデータを使用し，LLMによる適合性判定と人手による適合性判定の一致度を評価した．実験結果から，検索拡張を行わない場合に比べて一致度が上がることを示した．また，提案手法は一般コーパスに比べ，専門ドメインコーパスにおいて性能の向上が見られ，特に不適合文書の再現率が上昇することを示した．