講演情報
[2H4-OS-2a-03]大規模言語モデルを用いた原因・結果表現抽出手法の誤り分析と改善
〇辻 拓真1、平野 正徳2、今城 健太郎2、坂地 泰紀1、野田 五十樹1 (1. 北海道大学、2. 株式会社Preferred Networks)
キーワード：
大規模言語モデル、因果関係抽出、金融テキストマイニング、誤り分析、プロンプトエンジニアリング
本研究は，ルールベース手法のアルゴリズムを大規模言語モデルに実行させる原因・結果表現抽出手法について，誤り要因の特定と改善策の設計・検証を目的とする．誤り分析の結果，抽出において，手がかり表現の見落としが再現率の低下を，構文パターンの誤判定が適合率の低下を引き起こしていることが明らかになった．改善策として，再現率向上のために手がかり表現候補の提示方法の変更を，適合率向上のために推論過程を構造化して出力させる方式を設計する．実験の結果，推論過程の構造化出力はF1スコアの改善には至らなかったが，手がかり表現候補の提示方法変更により再現率が16ポイント向上し，F1スコアは0.859を達成した．