[2H5-OS-2b] 金融・会計・経済における情報学

15:45 〜 16:00

[2H5-OS-2b-02] ローカル LLM を用いた利益予測のアウトオブサンプル評価とモデル特性の考察

〇白井 祐典¹、市川 佳彦¹、中川 慧² (1. 株式会社Insight Edge、2. 大阪公立大学)

キーワード：

大規模言語モデル、ローカルLLM、EDINET、利益増減予測

本論文は，日本株式市場における企業利益の増減方向予測に大規模言語モデル(LLMs)を適用し，とくに金融機関の実務利用を想定し，ローカルLLMを用いた場合の性能を検証する．
具体的には，金融庁EDINETに基づき構築されたベンチマークデータセットEDINET-BENCHを用いて，ローカルLLMによる利益変化の方向予測性能を評価する．まず，モデルの事前学習カットオフと有価証券報告書の開示時期を切り分けることで，インサンプルとアウトオブサンプルを区別し，ローカルLLMの真の汎化性能を測定する．次に，業種や企業規模といった企業特性に応じた予測精度の違い，および、予測時にLLMが出力する推論理由を分析し，モデルごとに予測が得意な企業・苦手な企業のパターンを抽出する．