[5F2-GS-10m] AI応用：LLM適応・評価・アラインメント

13:00 〜 13:15

[5F2-GS-10m-05] LLMデータ分析エージェントの再現性評価

〇山本 泰雅²、井須 久美子¹、小堀 浩子¹、八田 俊之¹、奥田 勝己¹ (1. 三菱電機株式会社、2. 豊橋技科大学)

キーワード：

エージェント、データ分析、LLM

LLMエージェントはデータ分析等の複雑なタスクに有望である．しかし，同一プロンプトに対する出力値の再現性と分析ワークフローの安定性の欠如は産業応用における障壁となる．そこで，本研究では，ゴールのみを提示するWhat型プロンプトと，ゴールに加えて分析プロセスを手順として指示するHow型プロンプトの違いがエージェントの挙動に与える影響を定量的に比較検証した．NASAのMilling Wear予測タスクを用いた実験の結果，What型プロンプトでは回帰モデルの選択が一貫せず，予測精度が大きくばらつくことを確認した．一方，How型プロンプトではワークフローやモデル選択が安定化し，予測精度のばらつきが抑制されることを確認した．また，特徴量エンジニアリングなどの探索的工程がプロンプト形式のみでは制御が困難であることを明らかにした．