[5Yin-A] Poster 8

[5Yin-A-07] An Analysis of Evaluation Characteristics Using LLM-as-a-Judge for Future Scenario Generation

〇Tomomi Nagao¹, Yuichiro Okugawa¹, Toshimitsu Tanaka¹, Akihiro Katsuno¹, Hiroaki Kawata¹ (1. NTT, Inc.)

Keywords:

Scenario Analysis,LLM as a judge

企業が持続可能な経営を実現する上で、長期的視点に基づく未来シナリオを構築し、戦略策定に活用することが重要である。未来シナリオは、政策動向や社会情勢などの外部環境情報から企業活動に関連する事象を抽出し、それらを将来像としてナラティブに記述するものであり、一般に人手によって生成されている。本研究は、未来シナリオ生成プロセスを大規模言語モデル（LLM）によって支援する可能性を検討することを目的とする。研究の初期段階として、LLMがシナリオ分析ガイドラインに基づく評価観点をどの程度備えているかを検証するため、LLMが生成した未来シナリオを同一のLLMが評価する「LLM as a Judge」の枠組みを用い、人手による評価との比較を行った。評価結果の分析から、LLMがシナリオ分析ガイドラインに基づく評価を行う上で、対応が困難な観点が存在することが明らかになった。本発表は、これらの結果を踏まえ、未来シナリオ生成におけるLLM活用の可能性と課題について議論する。