講演情報
[5Yin-A-07]未来シナリオ生成に向けた LLM as a Judge による評価特性の分析
〇長尾 友美1、奥川 雄一郎1、田中 憲光1、勝野 晃弘1、河田 博昭1 (1. NTT株式会社)
キーワード：
シナリオ分析、LLM as a judge
企業が持続可能な経営を実現する上で、長期的視点に基づく未来シナリオを構築し、戦略策定に活用することが重要である。未来シナリオは、政策動向や社会情勢などの外部環境情報から企業活動に関連する事象を抽出し、それらを将来像としてナラティブに記述するものであり、一般に人手によって生成されている。本研究は、未来シナリオ生成プロセスを大規模言語モデル（LLM）によって支援する可能性を検討することを目的とする。研究の初期段階として、LLMがシナリオ分析ガイドラインに基づく評価観点をどの程度備えているかを検証するため、LLMが生成した未来シナリオを同一のLLMが評価する「LLM as a Judge」の枠組みを用い、人手による評価との比較を行った。評価結果の分析から、LLMがシナリオ分析ガイドラインに基づく評価を行う上で、対応が困難な観点が存在することが明らかになった。本発表は、これらの結果を踏まえ、未来シナリオ生成におけるLLM活用の可能性と課題について議論する。