[1A]文脈を考慮した非言語表現分析

10:25 〜 10:50

[1A-02] 文書検索と大規模言語モデルの活用による表形式データ予測モデルの構築

*西川 幸志¹、加藤 誠¹ (1. 筑波大学)

発表者区分：学生
論文種別：ロングペーパー
インタラクティブ発表：あり

キーワード：

LLM、情報抽出、汎用機械学習技術、ドメイン知識、表形式データ

本論文では，表形式データに基づく予測を行う際に，文書を検索して外部知識を獲得し活用することで，その予測性能を向上させる手法を提案する．提案手法は，(1)表形式データの列名やタイトルから検索クエリを生成し，関連する文書を検索する．(2)検索された文書に基づき大規模言語モデル(LLM)によって予測モデルの事前重みを推定し，事前重みから大きな乖離のない予測モデルを学習する，という2段階から構成される．
医療分野のデータセットを用いた実験により，提案手法は少量データの条件下で最終的な重みと事前重みの差を抑える効果が確認された．一方で，全体的な精度向上は必ずしも明確ではなく，外部知識の選定やモデル構造の改善が必要であることが示唆された．