[2H4-OS-2a] OS-2

2:00 PM - 2:15 PM JST(5:00 AM - 5:15 AM UTC)

[2H4-OS-2a-03] Error Analysis and Improvement of an LLM-based Causal Expression Extraction Method

〇Takuma Tsuji¹, Masanori Hirano², Kentaro Imajo², Hiroki Sakaji¹, Itsuki Noda¹ (1. Hokkaido University, 2. Preferred Networks Inc.)

Keywords:

Large Language Models,Causal Relation Extraction,Financial Text Mining,Error Analysis,Prompt Engineering

本研究は，ルールベース手法のアルゴリズムを大規模言語モデルに実行させる原因・結果表現抽出手法について，誤り要因の特定と改善策の設計・検証を目的とする．誤り分析の結果，抽出において，手がかり表現の見落としが再現率の低下を，構文パターンの誤判定が適合率の低下を引き起こしていることが明らかになった．改善策として，再現率向上のために手がかり表現候補の提示方法の変更を，適合率向上のために推論過程を構造化して出力させる方式を設計する．実験の結果，推論過程の構造化出力はF1スコアの改善には至らなかったが，手がかり表現候補の提示方法変更により再現率が16ポイント向上し，F1スコアは0.859を達成した．