講演情報
[2H4-OS-2a-04]株価変動要因情報に基づき生成された株価変動記事のLLM-as-a-Judge評価・分析
〇小齋 友里菜1、土田 陸斗1、土田謝 陸斗宇程1、宇津呂 武仁1 (1. 筑波大学)
キーワード：
LLM-as-a-Judge、自動評価、株価変動記事生成、株価変動要因情報、大規模言語モデル
本論文では，経済ニュースや企業発情報，株価チャートから得られる株価変動要因情報に基づき，大規模言語モデル(LLMs)を用いて株価変動理由記事を生成する枠組みを対象として，LLM-as-a-Judgeの枠組みにより，生成された記事の自動評価を行う手法を提案する．本論文で採用する株価変動記事生成の枠組みでは，人間の記者と同様に，株価の変動状況を分析し，その背景にある要因情報を入力として与えることで， 株価上昇・下落の理由を説明する文章を生成する．生成に用いる情報は，ニュース・企業発情報のテキストに加え，直近3日間における株価の上昇・下落および変動幅の数値情報である．本論文では，人手により作成された株価変動理由記事を参照記事データとして，LLMsにより生成された記事の品質評価において，LLM-as-a-Judge評価を行い，人手評価結果の間で十分に高い相関を達成する．