[1E]検索モデル(1)

11:40 〜 12:05

[1E-05] アドホック検索タスクにおけるモデルマージの効果検証

*佐々木 泰河¹、 山本 岳洋¹、大島 裕明¹、藤田 澄男² (1. 兵庫県立大学、2. LINEヤフー株式会社)

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

アドホック検索、大規模言語モデル、モデルマージ

本研究では，アドホック検索タスクにおけるモデルマージの有効性について検証する．モデルマージは，複数のモデルの異なる特性を組み合わせて基盤モデルを構築し，計算コストを抑えつつ性能を向上させる手法として注目されている．我々は，モデルマージをアドホック検索タスクに適用することで，短時間かつ低コストで検索モデルの性能を向上させられると考えた．そこで本研究では，検索タスクに対応するようファインチューニングされたモデルと，検索能力は持たないが特定のドメインに特化するように継続事前学習されたモデルを重みレベルで線形にマージし，医療および日本語ドメインにおける文書検索性能への影響を調査した．実験の結果，モデルマージによって検索性能が向上するケースが確認され，特に検索モデルの重みに比重を置いた場合に高い性能が得られる傾向が見られた．この結果は，アドホック検索タスクへのモデルマージの適用可能性を示唆し，低コストかつ高性能なドメイン特化検索モデルの構築に貢献するものと考えられる．